ولد بالري ونشأ بها، ثم انتقل إلى نيسابور فسكنها إلى أن مات، وكان أوحد المشايخ في وقته، ومنه انتشرت طريقة التصوف بنيسابور، وقدم بغداد وحدث بها، وكان مجاب الدعوة، وكان أبو حفص الحداد قد زوجه ابنته بنيسابور، وأخذ الطريقة عنه.
قال ابن المنادي: [ولد بالري]، وخرج إلى نيسابور مع شيخه شاه بن شجاع الكرماني يزور أبا حفص النيسابوري، فزوجه ابنته.
[وحكى في "المناقب" عن] أبي عثمان قال: صحبت (¬1) أبا حفص الحداد وأنا شاب، فطردني وقال: لا تجلس عندي، فقمت قائما ولم أوله ظهري، وجعلت أمشي إلى ورائي ووجهي إلى وجهه حتى غبت عنه، وجعلت في نفسي أن أحفر على بابه حفيرة، ولا أخرج منها حتى يرضى عني، فلما رأى ذلك مني قربني، وأدناني، وجعلني من خواص أصحابه (¬2).
وكان بين زكريا النخشبي وبين امرأة سبب قبل توبته على يدي أبي عثمان، فبينا زكريا يوما قائم على رأس أبي عثمان بعدما صار من خواص تلامذته، فكر في شأن المرأة، فرفع أبو عثمان رأسه إليه، وقال له: أما تستحي (¬3)؟ !
وجاء رجل إلى أبي عثمان (¬4) فدعاه إلى ضيافة، فمشى معه إلى باب داره، فقال له يا أستاذ، ليس لدخولك اليوم وجة، وقد ندمت، فرجع، ثم عاد إليه ثانيا وثالثا ورابعا وهو يرد، ثم أخذ بعد ذلك يعتذر إلى أبي عثمان ويقول: إنما أردت أن أختبرك، وأخذ يمدحه، فقال له أبو عثمان: لا تمدحني على خلق تجد في الكلاب مثله، فإن الكلب إذا دعي حضر، وإذا زجر انزجر.
واجتاز أبو عثمان يوما بسكة وقت الهاجرة، فألقي عليه من سطح طشت فيه رماد، فتغير أصحابه، وبسطوا ألسنتهم على الذي ألقاه، فقال أبو عثمان: لا تقولوا شيئا، من استحق النار فصولح على الرماد حق له أن لا يغضب.