بلغ الشيخ أبا القاسم رضي الله عنه أن بوابا كان له على الباب الأول قد لعن معاوية وشتمه، فأمر بطرده وصرفه عن خدمته، فبقي مدة طويله يسأل في أمره فلا والله ما رده إلى خدمته،وأخذه بعض الأهل فشغله معه كل ذلك للتقية.