زمانى‌که رسول خدا (ص) وارد یثرب شد، همه طوایف و افراد سرشناس این شهر مایل بودند حضرت به منزل ایشان وارد شود و هریک از آنان دوست داشتند میزبان ایشان باشند؛ اما آن حضرت فرمود در جایى توقف خواهد کرد که شترش زانو بزند. شتر در زمینى که اکنون مسجد است، زانو زد؛ بنابراین پیامبر (ص) مسجد را در جایی ساخت که مورد رضایت همگان قرار گرفت. ازاین‌رو شاید نیازی به تأکید بر این نکته نباشد که مسجد تجلی وحدت اسلامی است و نباید خود منشأ اختلاف شود.
چندى پس از ورود رسول‌خدا (ص)، سنگ بناى مسجد مدینه نهاده شد و همه اصحاب، از زن و مرد، با اشتیاق شروع به ساخت مسجد کردند. خود رسول خدا (ص) نیز با تمام توان در ساخت مسجد شرکت کرد. نحوه ساخت مسجد می‌تواند این پیام را برای ما داشته باشد که مساجد باید مردمی باشد و حتی به دست مردم ساخته شود و حتی اگر حکومت متولی ساخت آن شده است، مردم در ساخت آن مشارکت کنند.
محلی که پیامبر (ص) در آن مسجد را احداث کرد، در قیاس با طول و عرض منطقه، نقطه میانى به حساب مى‌آمد و ظاهرا این قضیه از دلایل اصلى انتخاب این نقطه براى مسجد بوده است. ساخت مسجد سبب شد جمعیت زیادى از مهاجران و حتى ساکنان محلات دیگر، در اطراف مسجد خانههایى بنا کنند.
به‌دنبال این امر بود که شهر در اطراف مسجد شکل گرفت. این نکته می‌تواند در ساخت مسجد جامع و حتی مساجد محلات مد‌نظر قرار گیرد و از نظر نظم شهرسازی نیز جالب توجه است که مرکز شهر و مرکز محلات با مسجد مشخص شود.
مسجدى که رسول‌خدا (ص) بنا کرد، از جهات زیادى با آنچه امروز در جاى آن ساخته شده است، تفاوت دارد؛ زیرا در زمینى محدودتر و با بنایى سادهتر و خلوص بیشتر بنا شده بود. مساحت مسجد در حدود ۱۰۵۰متر‌مربع و ارتفاع آن ۷۵/۱متر بود، به‌طورى‌که سر برخى افراد به سقف می‌رسید.
نخستین بناى آن از شاخ و برگ و تنه درخت نخل بود و از سال چهارم هجرى، دیوارهاى خشتى و گِلى و پایه‌هایى از تنه درختان خرما برای آن بنا شد. سقف مسجد هم با برگ‌ها و شاخههاى درختان به‌ویژه نخل پوشانده شد؛ به‌طورى‌که هنگام باران، آب بر سر و صورت نمازگزاران می‌ریخت و زمین زیر پیشانى رسول خدا (ص) و اصحاب، گِلى بود.
با‌وجود‌این وقتى یاران گفتند که «اجازت فرما تا سقف مسجد را خاک‌ریزى و گل‌اندود کنیم»، پیامبر (ص) مخالفت کرد و فرمود سقف آن باید مانند «سایبان موسی» باشد. بیهقى در «دلائل‌النبوه» روایت می‌کند که «انصار مالى را جمعآورى کردند و به حضور پیامبر (ص) آوردند؛ و پیشنهاد کردند که مسجد را بازسازى و زیور نمایند؛ و گفتند تا چه هنگام باید زیر این سقف که پوشال خرما است، نماز بگزاریم؟» پیامبر (ص) فرمود: «سقف مسجد برادرم موسى نیز همچنین بود؛ و من از روش او برنمیگردم.»
یکى از بناهایى که هم‌زمان با ساختن مسجد احداث شد، دو حجره یا به تعبیر امروزین، خانه، در دیواره شرقى مسجد بود. این دو حجره براى سکونت رسول‌خدا (ص) و همسرانش، سوده و عایشه، ساخته شده بود. پس از مدتی بر تعداد این حجرات افزودند. اصحاب دیگر نیز هرکدام که توانایى داشتند، حجرهاى در‌کنار مسجد ساختند. حجره‌ها درهایى به مسجد داشتند و در وقت نماز اصحاب از همان در وارد می‌شدند. اما در سال سوم به امر الهی دستور داده شد تا این در‌ها بسته شود، مگر درِ خانه امام على (ع).
در بناى آغازین و زمان پیامبر (ص)، سه در براى مسجد ساخته شد. در بخش شرقى، باب جبرئیل بود، که زمانى «باب آل عثمان» و «باب‌النبى» نیز نامیده میشد. البته باب جبرئیل فعلى، دقیق در‌برابر درِ قدیمی قرار ندارد و قدرى شمالیتر از محل اصلى آن است. باب غربىِ مسجد، «باب عاتکه» است که در حال حاضر به «باب‌الرحمه» مشهور است.
نام‌گذارى این در به «باب رحمت» بر‌پایه حدیثى از رسول خدا (ص) است که شخصى از این در وارد شد و از خداوند طلب نزول باران کرد و پس از هفت روز، به خواسته همان شخص، که از همین در‌آمده بود، تقاضاى قطع باران شد. در سوم هم تا پیش از تغییر قبله، در دیواره جنوبى مسجد در میان محراب حضرت و حجره شریف بود که بعد‌ها با تغییر قبله، به دیوار شمالى منتقل شد.
مسجد‌النبی (ص) در دوره نبوی، پناهگاه نیازمندان و بی‌پناهان بود؛ چنان‌که گروهی از مهاجران فقیر در قسمتى از مسجد به نام صفه که براى آنان در‌نظر گرفته شده بود، اسکان داده شدند. این محل، سقفى داشت تا آنان از تابش خورشید در‌امان باشند و بتوانند در سایه آن بیاسایند. زمینى که به اهل صفه اختصاص داده شده بود، مساحتى ۹۶مترى و مسقف بود که در منتهی‌الیه شرقى مسجد و به‌عبارتى در انتهاى مسجد، کناره دیواره شمالى آن قرار داشت.
امروزه در مسجد‌النبی در محلى که رسول خدا (ص) در آنجا نماز مىگزارد و پیشانى خویش را به‌عنوان سجده در‌برابر حق‌تعالى بر خاک مى‌نهاد، با محراب مواجه می‌شویم. محراب به‌معناى صدر و بالاى مجلس است و از نظر سابقه دینى، مربوط به محرابهایى است که در کلیسا‌ها بوده است. محل نماز رسول‌خدا (ص) کاملا مشخص است و در اینکه محل آن، همین محراب فعلى است، تردیدى وجود ندارد.
البته در زمان پیامبر (ص) و تا چند دهه بعد، چیزى به نام محراب وجود نداشت و مسلمانان تنها با نام آن که در قرآن آمده و مربوط به حضرت مریم (س) است، آشنا بودند. زمانى‌که ولید دستور توسعه مسجد را داد و عمر بن‌عبد‌العزیز آن را اجرا مى‌کرد، در جایگاه نماز رسول خدا (ص)، محرابى ساخته شد. چنین اقدامى به تقلید از آنچه در کلیساهاى نصارا در شام بوده است، صورت گرفت.
بناى نخستین مسجد و توسعه‌هاى بعدى آن، تا زمان ولید بن‌عبد‌الملک، هیچگونه منارهاى را نشان نمىدهد. در آن زمان مؤذن تنها بر بام مرتفعى قرار مى‌گرفت و نداى اذان سر‌مى‌داد. به دستور ولید، چهار‌مناره بر چهار گوشه مسجد‌النبى ساخته شد. این مناره‌ها در گذر زمان، جاى خود را به منارههاى بزرگ‌تر و مستحکمترى داد. منارههاى جدید به دستور سلطان قایتباى ساخته شد که در توسعه جدید، برخى از آن‌ها از میان رفت و برخى باقى ماند و منارههاى جدیدى نیز براى مسجد ساخته شد.