Tidak Bermalam Di Muzdalifah

Saya menunaikan ibadah haji bersama beberapa keluarga dengan menyewa mobil saya. Pada waktu malam meninggalkan Arafah kami berangkat dari Arafah jam sembilan, lalu sampai di Muzdalifah jam dua dini hari. Mereka mendesak untuk tidak bermalam di Muzdalifah dengan alasan bahwa mereka bersama keluarga, dan syariat pun mengizinkan itu. Kami di Muzdalifah tidak lebih dari seperempat jam, apakah saya berdosa dalam hal ini?