Keluarga Istri Tidak Membolehkannya Pergi Bersama Suami

Saya seorang lelaki yang telah menikah. Istri dan keluarga saya tinggal di daerah selatan. Pekerjaan saya tidak memperkenankan saya untuk mengunjungi keluarga, kecuali setelah waktu yang lama. Apakah hal itu membuat saya berdosa? Saya ingin sekali hidup bersamanya di tempat saya mencari nafkah, tetapi keluarga pihak istri mencegahnya. Bagaimana jalan keluarnya menurut syariat, dan siapakah yang berdosa jika kondisinya demikian? Memang dalam adat kami, ketika seseorang menikah, maka dia akan dibuatkan sertifikat rumah di samping keluarga mempelai wanita. Kebiasaan ini berkembang di daerah selatan, khususnya al-Qunfudzah.