Wcześnie stracił żonę (1851). Po śmierci ojca w marcu 1856 zmuszony został sprzedać rodzinne Piotrowice i przenieść się do majątku posagowego po żonie, do Dobrzechowa na Podkarpaciu. Zabawił tam rok, po czym pozostawiając zarząd majątku synowi Stanisławowi, zdecydował się wyjechać z kraju. Po drodze blisko dwa lata zabawił w Poznańskiem, w Luboni – dobrach przyjaciela rodziny, generała Franciszka Morawskiego.
Z myślą o prowadzeniu badań nad dziejami Polski zgromadził wielki i cenny księgozbiór (głównie o charakterze historyczno-literackim), liczący kilka tysięcy pozycji, pochodzących z okresu od XV do XIX w. Udostępniał go swoim znajomym. Szereg rzadkich druków i rękopisów z tego zbioru Koźmian opracował i wydał w dwóch zeszytach publikacji ("Wyciągi Piotrowickie czyli Niektóre wyjątki z Księgozbioru Piotrowickiego", Wrocław, wyd. Schletter, zeszyt 1. 1842-1845, zeszyt 2. 1842).
Znajdując się w trudnej sytuacji materialnej w 1852 r. większą część biblioteki (3300 ksiąg i 71 rękopisów) Koźmian sprzedał za sumę 25 tys. rubli Aleksandrowi Branickiemu.