Według innej tradycji islamskiej to Abraham był pierwszym budowniczym Al-Kaby.
Jeszcze inna tradycja muzułmańska mówi, że to Kurajszyci podjęli decyzję o rozbudowie Al-Kaby (lub jej odbudowie po potopie). Czterech wodzów nie mogło zgodzić się, który z nich miał dostąpić zaszczytu przeniesienia czarnego kamienia. Uzgodnili, że poproszą o rozstrzygnięcie pierwszą osobę przechodzącą przez bramę sanktuarium. Okazał się nią Mahomet, który zdjął płaszcz i położył na nim kamień, a każdego z wodzów poprosił o schwycenie płaszcza i wspólne przeniesienie kamienia. Następnie Mahomet własnoręcznie umieścił kamień na wyznaczonym miejscu.
Pierwotnie kamień miał być nieskalanie białym i zmienił barwę na czarną pod wpływem wchłaniania grzechów i zmazywania win składających mu hołd pielgrzymów.
Historia Al-Kaba istniała przynajmniej od roku 200 n.e. i służyła jako miejsce kultu bogów pogańskich. Wiadomo również, że „czarny kamień” był przedmiotem kultu w czasach przedislamskich. Zapisy historyczne wzmiankują wiele kamieni czczonych w regionie, m.in. kamień w Nadżranie czy biały kamień w Tabali koło Mekki. Arabowie w czasach przedislamskich muskali kamień w celu uzyskania błogosławieństwa bóstw.