وی در رمضان سال ۳۸۵ هجری قمری در طوس زاده شد، گرچه تاریخ دقیق تولد او در دست نیست. از کودکی آغاز به آموختن علوم اسلامی کرد. در سال ۴۰۸، در ۲۳ سالگی، خراسان را به قصد عراق ترک کرد و به بغداد رفت تا از محضر بزرگ‌ترین دانشمند شیعه آن دوران یعنی شیخ مفید درس آموزی کند.[۲]
محمد طوسی در جوانی به درجه اجتهاد رسید و کتاب تهذیب الاحکام را در این دوره و با پیشنهاد استادش، شیخ مفید تألیف کرد.[۳][۴] وی پنج سال از عمرش را به شاگردی شیخ مفید گذراند. پس از مرگ شیخ مفید، نزد شاگرد او سید مرتضی حاضر شد و ۲۳ سال تحصیل کرد.[۵]
سید مرتضی علم الهدی به سال ۴۳۶ درگذشت و پس از وی طوسی، مرجع شیعه شناخته شد. ترکان سلجوقی در سال ۴۴۷ با استفاده از ضعف آل بویه - که شیعه مذهب بودند - به بغداد حمله کردند و با اشغال آن، حکومت آل بویه را برانداختند. طوسی تا سال ۴۴۸ در بغداد بود و مجلس درس خود را در همان شهر تشکیل داد. در سال ۴۴۸ به سبب حمله طغرل به بغداد و انقراض آل بویه بر آزار و اذیت شیعیان توسط اهل سنت و سلجوقیان افزوده شد.
در این زمان عبد الملک وزیر طغرل بیک، به محله‌های شیعه‌نشین حمله کرد و به کشتار آنان پرداخت. حتی به خانه شیخ حمله کردند تا وی را به قتل برسانند، ولی او را نیافتند و وسایل منزل و کتاب‌های او را به آتش کشیدند و نابود ساختند. گفته‌اند طغرل بیک تا سال ۴۴۹، چندین بار کتاب‌های شیخ طوسی را در ملأ عام سوزاند. پس از این حادثه شیخ از بغداد خارج شد و به نجف رفت و حوزه علمیه نجف را تأسیس کرد. گفته شده که در آنجا ۳۰۰ مجتهد تربیت کرد و چندین کتاب نوشت.[۶] برخی گزارش‌ها نیز سال ۴۴۸ را سال تأسیس حوزه علمیه نجف می‌دانند.[۷]
نفوذ علمی به گونه‌ای بود که تا ۸۰ سال فتوایی مخالف فتواهای وی صادر نشد. خاندان شیخ طوسی تا چند نسل همه از علما و فقها بوده‌اند. پسرش شیخ ابو علی ملقب به «مفید ثانی» کتابی به نام «أمالی» دارد و کتاب «النهایة» تألیف پدرش را نیز شرح کرده‌است. همچنین دختران شیخ طوسی نیز فقیهه و فاضله بوده‌اند.
