Jana Matejki 3 w Warszawie.
Po wybuchu II wojny światowej Związek Legionistów Polskich został zdelegalizowany dekretem generalnego gubernatora Hansa Franka, jednakże, wbrew często pojawiającym się w różnych opracowaniach błędnym informacjom, nie zaprzestał swojej działalności, działając pod konspiracyjną nazwą „Grupa Oleandry”.
Od końca lat 60. lub od początku lat 70. środowisko legionowe w Krakowie reaktywowało nieformalnie Związek Legionistów Polskich. 6 sierpnia 1974 grupa ok. 100 legionistów wybrała przez aklamację na prezesa honorowego Związku gen. Mieczysława Boruta-Spiechowicza. Funkcję prezesa pełnił w latach 70. mjr Józef Herzog a nieformalnym kapelanem Związku był o. Adam StudzińskiMirosław Lewandowski, Maciej Gawlikowski: Prześladowani, wyszydzani, zapomniani... Niepokonani. Tom I. ROPCiO i KPN w Krakowie 1977–1981. Kraków: DAR-POINT Leszek Jaranowski, 2009. . Związek organizował uroczyste msze święte w dniach: 19 marca (imieniny Józefa Piłsudskiego), 12 maja (rocznica śmierci Marszałka), 6 sierpnia (rocznica wymarszu I Kompanii Kadrowej) oraz 11 listopada (Święto Niepodległości). Członkowie Związku spotykali się na dorocznych „opłatkach” w refektarzu OO. Dominikanów w Krakowie, zwykle z udziałem arcybiskupa Karola Wojtyły. Legioniści sprawowali także opiekę nad Kryptą Marszałka Piłsudskiego na WaweluJózef Herzog.