Az első alkalom, amikor Ábrahám (béke legyen vele), és fia, Iszmail (béke legyen vele) Allah parancsára láttak neki a Ház építésének. Erre közvetlenül Allah adott parancsot nekik. Erről egyértelműen beszámol a Korán és a Szunna.

"S midőn Ábrahám Iszmaillel felemelte az alapokat a Házból, [azt mondták]: Urunk! Fogadd el tőlünk, hiszen Te vagy a Mindent Tudó, Meghalló." (Korán 2: 127)

A Szunnában pedig számos hadisz tárgyalja ezt az eseményt: Al-Bukhári Szahih-jában olvasható Ibn Abbász-tól, aki azt mondta: "...[Ábrahám] mondta: Ó Iszmail, bizony Allah megparancsolt nekem egy dolgot. Tedd azt, amit Urad parancsolt neked! - mondta Iszmail. És fogsz-e segíteni nekem? Igen - felelte - én segíteni fogok neked. [Ábrahám azt] mondta: Allah bizony azt parancsolta nekem, hogy építsek egy Házat itt - s a körülötte lévő magas dombokra mutatott. S annál húzták fel az alapjait a Háznak. Iszmail hordta a köveket, Ábrahám pedig építette."

A kommentátorok között vita volta a Ház alapjaival kapcsolatban, vajon ezek azok az alapok, amelyeket Ábrahám (béke legyen vele) épített, vagy ezek már előtte is megtalálhatók voltak? S arra kapott parancsot, hogy ezekre építkezzen tovább. Az tűnik a valószínűnek, hogy ezek már korábban is léteztek, Ábrahám előtt, ám Allah a dolgok legjobb tudója. A Magasztos Allah mondta: "midőn megmutattuk Ábrahámnak a Ház helyét." Így valószínűbb, hogy a Ház alapjai már korábban is léteztek, s ő csupán arra vezéreltetett, hogy erre építkezzen.
Tehát Ábrahám és fia, Allah parancsára, elkezdte a Ház építését. Amikor pedig a Ház egyik sarkához ért odaillő követ keresett. Kérte hát fiát, hogy hozzon egy ilyet. Iszmail elindult követ keresni, majd miután meglelte elhozta apjának, de látta, hogy ő már a fekete követ berakta a helyére. És azt kérdezte: "Ó apám, ki hozta neked ezt a követ?" "Az hozta, aki nem függ a te építkezésedtől, Gábriel hozta az égből" - felelte Ábrahám (béke legyen vele).

Mohamed próféta (béke legyen vele) azt mondta: "A fekete kő, és az al-Maqám (az a kő, amelyen állva rakta fel a magasabb helyekre a Kába építőköveit Ábrahám (béke legyen vele)) két gyöngy a Paradicsom gyöngyei közül, de Allah fénytelenné tette őket. Ha Allah nem tette volna őket fénytelenné, bevilágították volna a teret kelet és a nyugat között." (At-Tirmidi, Ahmed)

Miután Gábrieltől megkapták a keresett követ, apa és fia folytatta a Ház építését. Amikor egy bizonyos magasságig elértek, ahova már csak nehezen tudta felrakni Ábrahám (béke legyen vele) a köveket, hozták az, azóta, maqámul Ibráhím-nak (Ábrahám állóhelye) nevezett követ, s Iszmail (béke legyen vele) lehelyezte Ábrahám (béke legyen vele) számára, aki felállt rá, és így építkezett tovább. Amikor elkészültek a Kába építésével, azt mondták: "Urunk, fogadd el tőlünk, hiszen Te vagy a mindent Halló és a Tudó!"

A Ház (a Kába), amit Ábrahám (béke legyen vele) és fia, Iszmail (béke legyen vele) épített, a mai napig szinte semmit sem változott. Leszámítva azt, amikor a Kurais újjáépítette, mivel a Kába falai - amik egy korábbi tűzvészben meggyengültek - megrongálódtak egy árvíz miatt. Ez Mohamed próféta (béke legyen vele) küldetése előtt kb. öt évvel történt.

A Kurais törzsei megegyeztek abban is maguk között, hogy annak építésében nem fognak felhasználni mást, csak tiszta forrásból származó jövedelmet, nem veszik igénybe a rossz adományt, sem pedig az uzsorából származó vagyont. Ám mindegyikük húzódozott attól, hogy lerombolják a Kába-t, de bontás nélkül nem tudták újjáépíteni. Végül al-Walid bin al-Mugira azt mondta: "Én leszek az, aki elkezdem a lerombolását" - s megragadta a csákányt, majd felállt a romokra, s így szólt: "Ó Urunk! Mi csupán jót akarunk." Ezzel elkezdte a bontást a sarok felől, és vele együtt romboltak az emberek is, míg nem a rombolásban elérték az alapokat, Ábrahám alapjait. Ezután kezdték az építkezést. A Kába fel volt osztva a Kurais törzs között, azaz minden egyes rész, sarok megépítése egy-egy törzs feladata volt a Kurais törzsszövetségen belül. Mohamed (béke legyen vele) is azok között volt, akik részt vettek a munkálatokban. Mivel a Kurais tiszta forrású pénze kevés volt, ezért nem tudták úgy befejezni, ahogyan Ábrahám (béke legyen vele) megépítette, és így észak felé kisebb lett a Ház. Eredeti formája azonban így is látható, mert a Ház alapjai nem pusztultak el. A Kurais egy alacsony falat (ún. Hidzsr) épített ezen a részen megjelölve azzal, hogy az adott terület még a Kábához tartozik.
Amikor az építkezésben elérték a Fekete Kő helyét, vita támadt a kuraisiak között, mert minden egyes törzs azt szerette volna, ha neki jut az a megtiszteltetés és dicsőség, hogy a helyére illesztheti a Fekete Követ. Négy-öt napig veszekedtek, és ez majdnem vérontásig fajult. Azonban Abu Umajja bin al-Mugira al-Mahzumi közbelépett egy javaslat előterjesztésével: "Ó, Kurais törzs gyülekezete, állapodjatok meg magatok között arról, amiben vitatkoztok! Az első, aki belép ennek a mecsetnek az ajtaján, az döntsön köztetek." A kuraisiak elfogadták a javaslatot. Az első belépő Mohamed (béke legyen vele) volt, s mikor meglátták, azt mondták: "Ő megbízható, elfogadjuk, és elégedettek vagyunk Mohameddel." Miután elmondták neki, hogy miben állapodtak meg, ő (béke legyen vele) azt mondta: "Hozzatok ide nekem egy leplet!" Ezt oda is vitték neki. Ekkor megfogta a Fekete Követ, a lepelre helyezte, majd így szólt: "Minden egyes törzs képviselője fogja meg a lepelnek azt a részét, amely felé esik és emelje fel!" Így vitték a helyére a Fekete Követ, s Mohamed (béke legyen vele) illesztette azt a helyére. Így építette újjá a Kábát a Kurais.

A harmadik alkalom Abdullah bin al-Zubajr és Jazid bin Muáwijja megosztott uralkodásának idején történt, amikor is a kalifátusért vívott harc során a Kábánál zárták körbe ibn al-Zubajr-t, és a csata során a Kába is megrongálódott. Ezután Abdullah teljesen lebontatta a Házat, és Ábrahám (béke legyen vele) szerint építtette újjá. Azaz azt a részt (a Hidzsr-t) is hozzáépíttette, amelyet a Kurais pénzhiány miatt kihagyott. Két ajtót épített, egy keletit és egy nyugatit, mindkettő a földön állt (előtte ugyanis ablakszerű bejárat volt a Kábán, mert a kuraisiak így építették). Ahogyan azt a nagynénjétől Áisától, az Igazhívők anyjától hallotta, hogy ez volt a Próféta (béke legyen vele) kívánsága.

A Kába ilyen maradt, egészen addig, míg al-Haddzsázs meg nem ölte Abdullah-t, s visszaállíttatta olyanná, amilyen a kuraisiak építésében volt, Abdul-Malik bin Marwan utasítása alapján, aki lehet, hogy nem tudott a Próféta (béke legyen vele) azon kívánságáról, hogy a Kábát Ábrahám (béke legyen vele) alapján építsék újjá. (lásd: Muszlim: 4/99).

Ezt követően Ar-Rasid kalifa vissza akarta állítani abba az állapotába a Kábát, melyben Abdullah ibn al-Zubajr idején volt, de Malik ibn Anasz így szólt hozzá: "Allahra kérlek, ó, igazhitűek hercege! Ne engedd, hogy utánad a Kába az uralkodók játékszere legyen, akik egyre csak változtatnak rajta, az elődeikhez képest. Ezáltal eltűnik a Kába tisztelete a hívők szívéből." Végül sikerült Máliknak eltéríteni a kalifát ettől a szándékától.

Ez volt hát az a négy alkalom, amelyről biztosan tudjuk, hogy átépítették a Kábát. Ilyen maradt a Kába - néhány rekonstruálást és javítást leszámítva - senki nem változtatta meg, se király, se kalifa, Hidzsra után 1039-ig, amikor az északi fala a Kábának leomlott egy hatalmas árvíz nyomán. Ekkor újra építette és rekonstruálta az oszmáni szultán, Murád Khán 1040H.-ben

Lehet, hogy ezeken kívül volt még egy ötödik alkalom is, ez azonban nem bizonyított. Ez akkor történhetett, mielőtt Ábrahám (béke legyen vele) felépítette a Házat. Néhány közlés arról számol be, hogy Ádám (béke legyen vele) volt az, aki elsőként felépítette a Kábát, azonban mindnek elég gyenge a hivatkozási alapja. Olyan vélemény is van, mely szerint Sítth, Noé fia építette meg először a Kábát. Ha figyelembe vesszük ezeket a gyenge hitelű hadíszokat is, az idők folyamán ötször építették meg a Kábát. Négy alkalommal ez minden kétséget kizáróan megtörtént, ami pedig ezen kívül volt, azt igazából a Mindenható Allah tudja.