Membawa Mushaf al-Quran Ketika Shalat

Saya seseorang yang membawa mushaf al-Quran saat berdiri dalam ibadah shalat, sebab dengan cara itu saya bisa mengambil manfaat dari mengikuti bacaan imam dan pikiran sayapun tidak bercabang. Namun masalahnya adalah, saya jadi banyak bergerak akibat dari meletakkan mushaf dan membukanya. Apakah saya berdosa dalam hal ini? Mohon penjelasannya.