Lokalna tradycja judeochrześcijańska, poświadczona później przez pisarzy chrześcijańskich i wzniesienie Bazyliki, wskazywała jako miejsce historycznego wydarzenia znajdującą się na stoku wzgórza we wschodniej części starego miasta – Grotę Narodzenia.
W dalszym opisie wydarzeń betlejemskich ewangelista Mateusz mówi jednak wyraźnie o konkretnym domu, a nie o przygodnej grocie-stajni: Mędrcy „weszli do domu i zobaczyli Dziecię z Matką Jego, Maryją”Por. Mt 2,11 (gr. τὴν οἰκίαν, domu).. Miejscowe podania, sięgające VI wieku, informowały również o opuszczeniu pierwotnego prowizorycznego schronienia, by ujść przed siepaczami Heroda. W grocie, odległej od Groty Narodzenia o ok. 200 m w linii prostej, nazywanej dzisiaj Grotą Mleczną, Święta Rodzina miała przygotowywać się do wyruszenia do Egiptu. Gdy w pośpiechu Józef ponaglił Maryję, według palestyńskich podań, kilka kropel karmiącej miało upaść na skałę, zmieniając ubarwienie całej groty na białe. W grocie występuje jasny tuf.