Niewielka warszawska społeczność karaimska stanęła przed koniecznością założenia cmentarza pod koniec lat 80. XIX wieku. Pierwszych zmarłych przewożono aż do Trok, by pochować ich zgodnie z karaimską tradycją na terenie tamtejszego cmentarza. Problematycznym okazywało się przy tym dotrzymywanie rytualnych terminów obrządku, zgodnie z którymi pogrzeb powinien odbyć się niezwłocznie i zabronione jest przetrzymanie ciała przez sobotę.
Pierwotnie, około 1887 roku, nekropolia karaimska miała powstać na terenie ówczesnej gminy Bródno, w sąsiedztwie Kirkutu Praskiego oraz Cmentarza Bródnowskiego. Ostatecznie cmentarz otwarto na drugim krańcu przedmieść Warszawy na Woli.
Działka pod cmentarz o powierzchni 550 m² została nabyta – po uzyskaniu zezwolenia warszawskiego generał-gubernatora – od parafii prawosławnej przy cerkwi Włodzimierskiej Ikony Matki Bożej na Woli. Aktu zakupu dokonało siedmiu Karaimów, spośród których tylko jeden nie pochodził z Krymu. Teren, który przeznaczono pod cmentarz karaimski, leżał ówcześnie na dalekich przedmieściach Warszawy.