Do Polski powrócił dopiero w 1857 i objął dyrekcję prywatnej fabryki papieru, która wkrótce jednak ogłosiła plajtę. Gdyby nie współwyznawcy – ewangelicy, Szwarce pozostałby bez możliwości utrzymania: najpierw zatrudnił go Karol Beyer w swym renomowanym zakładzie fotograficznym, gdzie pozostał do sprzedania firmy w roku 1864, później otrzymał posadę w księgarni firmy Gebethner i Wolff, gdzie pozostał do emerytury.
W ostatnich latach życia Szwarce malował akwarele, które cieszyły się dużym uznaniem. W 1883, na czterystolecie urodzin Marcina Lutra, Szwarce podarował warszawskiej parafii ewangelickiej pw. Św. Trójcy obraz przedstawiający dom w Eisleben, w którym urodził się reformator.
Rodziny Szwarce nie założył. Jego bracia Józef Jan (1805–1848), Feliks Jan (1807–1838), Konstanty Edward (1817–1853), wszyscy jak on wychowankowie Liceum Warszawskiego, i siostra Emilia Regina Heurich (1819–1905) działali w ruchach niepodległościowych obu polskich powstań narodowych XIX wieku. Józef Jan był w czasie powstania porucznikiem ułanów, po klęsce Polaków wyemigrował do Francji i założył tam rodzinę, żeniąc się z panną Eckelt, siostrą kolegi szkolnego Jana Eckelta. Jego syn Bronisław Szwarce kontynuował niepodległościowe tradycje rodziny. Emilia Regina była czynną działaczką obozu Czerwonych w czasie Powstania Styczniowego.