Wali Atas Anak-Anak Berada Pada Lingkup Suami Istri

Saya seorang pemuda yang sudah menikah dan memiliki beberapa anak dari istri saya. Persoalan yang ada di hadapan saya adalah ayah saya tidak setuju dan melarang saya membawa keluarga saya bersama saya. Dia menolak dan mengancam saya bahwa jika saya membawa keluarga saya bersama saya, maka dia akan pergi ke pengadilan agama (syariat) yang ada di sana kemudian membebaskan diri dari (tanggung jawab terhadap) saya. Dalam kondisi ini, saya menjadi bingung apakah jika saya mengambil istri dan anak-anak saya dan membiarkan ayah saya pergi ke pengadilan agama, maka saya menjadi anak durhaka kepada ayah saya? Perlu diketahui bahwa dia telah beristri dan temannya pergi bersama saya. Saya memohon kepada Allah kemudian kepada Anda sebuah jawaban.