Mendistribusikan Zakat Kepada Kaum Fakir Dan Memberi Orang Yang Tidak Berhak Karena Khawatir Akan Celotehnya

Bolehkah memberikan zakat kepada orang yang berkecukupan atau masyarakat kelas menengah? Ini karena beberapa orang dermawan memberikan zakat harta mereka kepada saya agar saya bagikan kepada kaum fakir di daerah saya, lalu datanglah orang-orang yang saya sebutkan tadi meminta bagian zakat mereka ini ada yang tua, anak-anak orang kaya dan wanita-wanita yang di antar suaminya. Apakah saya boleh memberi mereka zakat atau tidak? Perlu diketahui bahwa mereka ini jika tidak diberi akan marah, mengomel, mengumpat dan mencaci maki, di samping mengingat bahwa -alhamdulillah- zaman sekarang ini susah ditemukan orang fakir yang sama sekali tidak punya apa-apa. Bagaimanakah solusinya? Apakah saya boleh menolak dan tidak mengambil pemberian zakat orang dermawan dalam kondisi seperti itu? Mengingat bahwa para dermawan tersebut bukan penduduk asli, ataukah orang-orang tadi tetap diberi zakat meskipun sedikit?