بالأصيل ابن الحوافي أعجميا معروفا بخدمة الأمراء وكان المذكور وزيرا للأمير إيلاجك وكان ولده عارض الجيش فخلع عليه خالص جبة أطلس ومقيارا بعراقي واستأذن له في الدخول إلى الدار العزيزة وأن يكون له موصع بباب الحجرة الشريفة يجلس فيه لقضاء مهماته فأذن له في ذلك فكان أستاذ الدار ابن الصاحب يتأذى من هذه الأحوال وكان هذا الخادم قد كبر أمره فخاف منه على منصبه وأن تفضى الحال إلى أن يرتب ابن الأصيل أستاذ الدار فسار أستاذ الدار يسارع في توقف مهامه وتبطيل كثير من أوامره وحسن للخليفة ذلك فبرز الأمر أن يراجع أستاذ الدار في جميع أموره فتأكدت العداوة بين أستاذ الدار ابن الصاحب وبين خالص الخادم وآل الأمر في امتناع الناس من الدخول على خالص وكان من أراد الدخول إليه لحاجة لم يقدم على ذلك إلا بإذن من أستاذ الدار

وكان جماعة من الناس من أهل بغداد ما لهم شغل إلا نقل الحديث من مجلس خالص إلى أستاذ الدار وكان خالص قد اشترى جماعة من الجواري المطربات نحوا من عشرين جارية وكان يبالغ بأثمانهن وكانت الجارية منهن تساوي ألف دينار وكان يحب السماع ولا يشرب وكان يأمر بإحضار جماعة من الأمراء والمماليك فنفذ أستاذ الدار يمنعه من ذلك وقال مثل هذه الحال لا تحتمل أن تكون في الدار العزيزة فتألم خالص من ذلك ورفع أمره إلى الخليفة فاستصوب الخليفة رأي أستاذ الدار وقال نعم ما فعل وإذا أراد هذه الحال يعمر على شاطئ دجلة دارا ولا يفعل ذلك بدار الخلافة ومنع خالص من ذلك الوقت وعمر دارا على شاطئ الدجلة