Ketika rombongan keluarga Nabi SAW dan Abu Bakar Ash-Shiddiq ra. sampai di Madinah, ketika itu Rasulullah SAW sedang membangun masjid dan ruangan-ruangan di sekeliling masjid itu. Lalu Nabi SAW menempatkan mereka di sebuah rumah  milik Haritsah bin Nu’man ra. Rasulullah SAW menyempurnakan pernikahannya dengan ‘Aisyah di ruangan itu. Dan Rasulullah SAW pun dikuburkan di tempat yang sama. Haritsah bin Nu’man memiliki beberapa rumah di sekitar masjid Nabawi. Apabila Rasulullah SAW menikahi seseorang, maka Haritsah akan pindah dari rumahnya demi beliau, sehingga akhirnya semua rumahnya digunakan untuk Rasulullah SAW dan istri-istri beliau. Nabi SAW membuat pintu masuk ke masjid meialui pintu kamar  ‘Aisyah. Sehingga diriwayatkan bahwa ketika beliau sedang beri’tikaf, beliau nienjengukkan kepalanya dari masjid lewat pintu ‘Aisyah. lalu ‘Aisyah mencuci kepala beliau sementara dia sedang haid.

Setelah perombakan demi perombakan, akhirnya rumah para istri Nabi SAW harus digusur pada masa Walid bin Abdul Malik. Abdullah bin Yazid berkata tentang kejadian penggusuran itu, “Aku melihat rumah-rumah istri Rasulullah SAW ketika dihancurkan oleh Umar bin Abdul Aziz pada masa kekhalifahan Walid bin Abdul Malik. Rumah-rumah itu disatukan dengan masjid. Rumah-rumah itu terbuat dari bata kering, dan ruangan-ruangannya dibuat dari batang pohon kurma yang disatukan dengan lumpur. Ada sembilan rumah dengan kamar-kamarnya. Rumah itu dimulai dari rumah ‘Aisyah dengan pintu yang berhadapan dengan pintu kamar Rasulullah SAW, sampai rumah Asma’ binti Hasan. Aku melihat rumah Ummu Salamah dan ruangan-ruangannya terbuat dari bata. Cucu laki-lakinya berkata, “Ketika Rasulullah SAW menyerang Dumatut jandal, Ummu Salamah membangun ruangan dengan bata. Ketika Rasulullah SAW datang dan melihat bata itu, beliau masuk menemui Ummu Salamah rha. dan bertanya, bangunan apa ini?’ Dia menjawab, ‘Ya Rasulullah SAW, aku ingin menghalangi pandangan orang’. Beliau SAW berkata, ‘Wahai Ummu Salamah, hal terburuk bagi seorang Muslim dalam membelanjakan uangnya adalah untuk bangunan.’

Di antara makam dan mimbar, terdapat kamar-kamar istri Rasulullah SAW yang terbuat dari batang pohon kurma dengan pintu-pintunya yang ditutupi dengan kain wol hitam. Dan pada hari surat Walid bin Abdul Malik dibacakan, yang memerintahkan agar kamar, kamar istri-istri Rasulullah SAW tersebut disatukan dengan masjid Nabi, banyak orang yang menangis kehilangan. Sa’id bin Musayab rah.a. juga bercerita tentang hari itu, ‘Demi Allah, aku berharap bahwa kamar-kamar itu dibiarkan sebagaimana adanya, sehingga orang-orang Madinah dan para pengunjung dari jauh bisa melihat seolah-olah Rasulullah SAW masih hidup. Hal itu termasuk bagian dari hal-hal yang akan memberi semangat kepada umat untuk menahan diri dari mencari dan menyibukkan diri atas sesuatu yang tidak berguna di dunia ini’.

lmran bin Abi Anas berkata, ‘Di antara rumah-rumah itu ada empat buah rumah yang terbuat dari bata dengan kamar-kamar dari pohon kurma. Ada lima rumah dari batang pohon kurma dilapisi lumpur tanpa bata. Aku mengukur gordennya dan mendapati ukurannya tiga kali satu cubit, dan areanya itu sedemikian, lebih atau kurang. Sedangkan mengenai tangisan, aku bisa mengingat kembali diriku pada sebuah perkumpulan yang dihadiri sebagian sahabat Rasulullah SAW, termasuk Abu Salamah bin Abdurrahman, Abu Umamah bin Sahal, dan Kharijah bin Zaid. Mereka menangis sampai janggut mereka basah oleh air mata. Tentang hari itu Abu Umamah berkata, ‘Seandainya mereka membiarkan dan tidak menghancurkannya sehingga orang-orang bisa menahan diri dari membangun bangunan dan mencukupkan dengan apa yang Allah ridhai pada Rasul-Nya walaupun kunci harta dunia di tangan beliau.’