W 1951 został on oficjalnie uznany przez MKOI jako Narodowy Komitet Olimpijski.
Izraelski Komitet Olimpijski pierwszą delegację wysłał na Letnie Igrzyska Olimpijskie 1952, które odbyły się w Helsinkach (Finlandia). Delegacja składała się z 26 zawodników, którzy wzięli udział w 5 dyscyplinach sportowych. Od tamtej pory izraelskie reprezentacje olimpijskie wzięły udział we wszystkich letnich igrzyskach olimpijskich, z wyjątkiem Letnich Igrzysk Olimpijskich 1980 w Moskwie (ZSRR), które były bojkotowane przez Izrael z powodu radzieckiej interwencji w Afganistanie.
W latach 1954–1974 komitet był również odpowiedzialny za wysyłanie delegacji sportowców na Igrzyska azjatyckie. Po wojnie Jom Kipur Izrael został wykluczony z możliwości brania udziału w tych igrzyskach. W 1981 państwa arabskie doprowadziły do wykluczenia Izraela z Olimpijskiej Rady Azji. Na początku lat 90. XX wieku Izrael stał się członkiem Europejskiego Komitetu Olimpijskiego.
W 1994 Izrael zadebiutował na zimowych igrzyskach olimpijskich, wysyłając delegację sportowców na Zimowe Igrzyska Olimpijskie 1994 w Lillehammer (Norwegia). Od tamtej pory izraelskie reprezentacje brały udział we wszystkich zimowych igrzyskach olimpijskich.