W okresie II wojny światowej, do końca 1939 roku niemieckie władze okupacyjne zlikwidowały wszystkie polskie placówki kulturalne w Mysłowicach. Część polskich książek z biblioteki publicznej przekazano na przemiał bądź spalenie. Pod koniec września 1939 roku wznowiła działalność Stadtbibliothek (z niem. Biblioteka Miejska) w domu Chylińskiego przy obecnym Rynku 4. Zasób biblioteczny zgromadzono ze zbiórek wśród mieszkańców, a następnie systematycznie sprowadzano z bibliotek III Rzeszy. W 1941 roku z inicjatywy burmistrza Felixa Gollascha oddano nowe pomieszczenia dla biblioteki przy ówczesnej Modrzejowerstrasse.
Po II wojnie światowej rozpoczęto organizowanie polskiej biblioteki. 21 kwietnia 1948 roku utworzono w Mysłowicach Radę Miejską Biblioteki i Czytelni, w skład której weszli nauczyciele szkół średnich. Przygotowała ona oficjalne otwarcie biblioteki, które nastąpiło 9 maja 1948 roku. Pierwszym kierownikiem biblioteki był Jan Kurek.
Pierwsze polskie książki pochodziły z darów, potem także je kupowano. W latach 1948–1949 gromadzono w większości książki wydane przed II wojną światową, natomiast w następnych latach książki były sprowadzane zgodnie z planem centralnego zaopatrzenia bibliotek w nowości.