لا درسه يقرا ولا أحكامه تدرى ولا حين الخطابة يفصح فاكشف هموم المسلمين بثالث فعسى فساد منهم يستصلح فعرضها السلطان على الفقهاء الدين يحضرون مجلسه فى يوم الأحد ثالثه فلم يعرفوا البحيره واستحسن السلطان الأبيات وكان ابتداء سقوط الهروى من عينه ، ثم لما عرض السلطان لأجناد الخلقة فى شهر رمضان وما بعده وألزمهم بحمل مال فرضه عليهم جعل ذلك تحت يد الهروى وتنكر الديرى قاضي القضاة الحنفي للهروى وأخذ يتنقصه حت وصلا فى مجلس السلطان إلى سب كل منهما للاخر وتمادى السر بينهما حتى اجتمعا فى ثامن عشرى المحرم سنة اثنتين وعشرين بين يدى السلطان في الجامع الذى أنشأه بجوار باب زويله وحضر عامه القضاة ومشايخ العلم بسبب عماره ما تهدم من المسجد الحرام ، فسال علاء الدين على بن معلى قاضى الحنابلة الهروى عن أربع مسائل فأخطأ فيها ، فأخذ الديرى يعدد مساوته وقبائحه وأنه كان ضامن يزد عند تمرلنك ، ثم منعه من الفتوى وحكم بذلك فنقذ الحنبلي حكمه ثم المالكى ، فظهر للسلطان وغيره انحطاط الهروى وجهله بالفقه والحديث .
ثم قدمت طائفة من القدس للشكوى عليه ودكروا فيه قوادح فطلبه السلطان فى ثامن ربيع الأول وفوض الحكم فيه للحافظ شهاب الدين أحمد بن حجر مقتى دار العدل فادعى عليه بين يدي المذكور بحضره السلطان فثبت عليه مال كثي وأنزل من القلعة واعتقل بالمدرسة الصالحية ونزل به ذل كثي من رسل القضاة وصاحت عليه العامة وسبوه ورجموه . ثم أخرج من يومه إلى داره ثم رسم عليه فى ثاني عشره ليخرج عما لبت عليه ومنع أن يخرج من داره فسرع في بيع ثيابه وآثاثه ، ثم حمل فى خامس عشره ما كان عنده من مال أجناد الخلقة وهو ألف ألف وست مئة ألف درهم فقبض مبلغ ست مئة ألف، فاشتد الإنكار عليه وشنعت القاله فيه وغضب السلطان منه عضبا زائدا ومنع الديري تواب الهروى من الحكم بمقتضى أنه تبت فسقه ورسم عليه عده