قال ابن جرير: وذكر قوم أن سبب موت الهادي: أنه لما أخذ في خلع هارون والبيعة لابنه جعفر خافت الخيزران على هارون منه، فدست من جواريها لما مرض من غمه وجلس على وجهه، ووجهت إلى يحيى بن خالد: إن الرجل قد توفي، فاجدد في أمرك .
وكان الهادي قد أمر أن لا يسار قدام الرشيد بحربة، فاجتنبه الناس وتركوه، وطابت نفس هارون بالخلع لشدة خوفه على نفسه، فخلعته جماعة من القواد وبايعوا لجعفر بن موسى ، ودخل هارون على موسى فقال له: يا هارون، كأني بك تحدث نفسك بتمام الرؤيا، فقال: إني لأرجو [أن يفضي] الأمر إلي، فأنصف وأصل، فقال له: ذلك الظن بك، فأجلسه معه وأمر له بألف ألف دينار، وكانت الرؤيا أن المهدي قال: رأيت في منامي كأني دفعت إلى موسى قضيبا وإلى هارون قضيبا فأورق قضيب موسى من أعلاه قليلا، وأورق في قضيب هارون من أوله إلى آخره، فدعا المهدي الحكم بن موسى فقال له: أعبر هذه الرؤيا، فقال: يملكان جميعا فتقل أيام موسى، ويبلغ هارون آخر مدى ما عاش خليفة، وتكون أيامه أحسن أيام. فلم يلبث الهادي إلا يسيرا حتى اعتل ثلاثة أيام ومات.
وحكى أبو بكر الصولي: أنه خرج على ظهر قدمه بثرة، فصارت كاللوزة، وافتصد ومات بعد ثلاث، وجاءت أمه الخيزران/ وبه رمق، فأخذت خاتمه من يده وقالت: 151/ أأخوك أحق بهذا الأمر منك. وهو يرى ذلك ولا يقدر على حيلة.
توفي الهادي بعيساباذ للنصف من ربيع الأول من هذه السنة، وقيل: لثلاث عشرة بقيت من ربيع وهو ابن ست وعشرين سنة، وقيل: ثلاث وعشرين، وصلى عليه أخوه هارون ودفن في بستانه بعيساباذ، وكانت خلافته سنة وشهرا وثلاثة عشر يوما، وقيل:
سنة وثلاثة أشهر، وقيل وشهرين وأحد عشر يوما .