واستمر ابن الحداد على رياسته لا تعمل في البلد قضية حتى يراجع فيها فيفتى فيها أو يشير بالرأي، وشق عليه مع ذلك عزله عن الحكم، فبلغ ذلك الحسين بن هروان وكتب إلى ابن الحداد كتابا حلف له فيه: بالله لأدعن عبد الله بن وليد يضرب في مجلسك بين يديك بالسوط بعد قيام البينة بما نسب إليه. فلم يتم له ذلك. وقدرت وفاة الحسين واستمر ابن الحداد إلى أن ولي عمر بن الحسن العباسي فاستخلفه في الأحكام، فكان يجلس في دار العباسي يومي الخميس والسبت وفي دار نفسه يوم الاثنين. وإذا حج العباسي يجلس بالجامع كما مضى في ترجمة عمر بن الحسن العباسي. قلما ولي الخصيبي كانت بينهما منافسات ومعارضات.

قال ابن زولاق في أمراء مصر: حضر ابن الحداد يوما مجلس كافور في المظالم والقاضي يومئذ الخصيبي، فعارضه أبو بكر ابن الحداد في شيء فقال له: كم تعارضني! وواحد مثلي لا يوجد ومائة ألف مثلك على المزابل! فتألم ابن الحداد من ذلك فاتفق أنه عارضه مرة أخرى وقال: إلى كم تعارضني. فقال: أعارضك إذا أخطأت وأدق عنقك. وحسر أبو بكر عن ذراعه فأظهر كافور إنكار ذلك، فسعى الخصيبي أن يحجب ابن الحداد وأعانه قوم عند كافور، فسفر نحرير الخادم في ابن الحداد عند كافور واستأذن له، فأذن له بعد تمنع فقال: أيها الأستاذ، هذا الشيخ أبو بكر الفقيه الفاضل المتقن. فقال كافور: والخصيبي أيضا من أهل العلم. فقال: أيها الأستاذ ولا سواء. هذا الشيخ عالم وقته، وهو الذي يتجمل به. والخصيبي خاطب الشيخ بما لا يصلح. فقال كافور: وقد خاطبه الشيخ أيضا بما لا يصلح. فاغتاظ ابن الحداد وقال متمثلا:

فلو كنت ضبيا عرفت قرابتي

فبادر أبو محمد كاتب كافور يده على فم ابن الحداد ومنعه أن يتم البيت وهو:

ولكن زنجيا عظيم المشافر

وهو من شعر الفرزدق: فقام ابن الحداد وانصرف وتأخر نحرير. فقال كافور: أيش قال الشيخ؟ شتمني؟ فقال له: لا. ولم يقم نحرير من عند كافور حتى قرر أن ابن الحداد يحضر المجلس بعد أن قال له نحرير: أيها الأستاذ ليس الشيخ ممن يتجمل بالحضور بل الشيخ بحضوره يجمل وتأخره عظيم يكتب به إلى الآفاق فتحصل