وقال سليمان بن أبي شيخ: لما كانت الليلة التي توفي فيها الهادي، أخرج هرثمة بن أعين هارون ليلا فأقعده في مرتبة الخلافة، ودعا هارون بيحيى بن خالد، وكان محبوسا في حبس الهادي، وقد عزم على قتله وقتل هارون في تلك الليلة، فحضر يحيى، فاستوزره وأمره بإنشاء الكتب بالبيعة إلى الآفاق.
وقال محمد بن هشام المخزومي: لما مات الهادي، جاء يحيى بن خالد إلى هارون وهو نائم في فراشه في لحاف بغير إزار، فقال له: قم يا أمير المؤمنين، فقال له هارون: كم تروعني إعجابا منك بخلافتي وقد علمت حالي عند هذا الرجل! فإن بلغه هذا فكيف يكون حالي عنده؟ ! فقال: مات أخوك، وهذا خاتمه، فقام ولبس ثيابه وقال: والله لا صليت الظهر إلا ببغداد، وكان بعيساباذ، فصلى على الهادي، وقدم أبا عصمة فضرب عنقه، وكان يؤذيه عند الهادي، ودخل بغداد الظهر ورأس أبي عصمة بين يديه على قناة.
فمن جملة ما آذاه به أن هارون ركب يوما هو وجعفر بن موسى الهادي وأبو عصمة معهما، فاجتاز بقنطرة من قناطر عيساباذ، فالتفت أبو عصمة إلى هارون فقال له: مكانك حتى يعبر ولي العهد، فقال هارون: السمع والطاعة للأمير، ووقف حتى عبر جعفر. ولما وصل هارون إلى كرسي الجسر ببغداد دعا بالغواصين، وقال: كان المهدي قد وهب لي خاتما شراؤه مئة ألف دينار يسمى الجبل، فدخلت على أخي موسى وهو في يدي، فلما خرجت من عنده لحقني سليم الأسود عند هذا المكان وقال: يأمرك أمير المؤمنين أن تعطيه هذا الخاتم، فرميت به في هذا المكان، ووقف حتى نزل الغواصون فغاصوا ساعة وأخرجوه، فسر به سرورا عظيما وقال: هذا أول البشارة.
وقال محمد بن إسحاق الهاشمي: كان الهادي قد خلع الرشيد وبايع لابنه جعفر، فلما مات الهادي، هجم خزيمة بن خازم في تلك الليلة في مواليه وجنده على جعفر بن موسى فأخرجه من فراشه وقال: والله لئن لم تخلع نفسك لأضربن عنقك، وشهر عليه السيف، ولما كان من الغد أقدمه في علية على باب القصر، فجعل ينادي: أيها الناس، من كانت له في عنقي بيعة فقد أحللته منها، والخلافة لعمي هارون، ولا حق لي فيها.