Autherietha, a następnie, kiedy dalsza opieka medyczna stała się bezcelowa – niemal 36 lat – przebywał w domu stolarza Zimmera (który jako jeden z niewielu współczesnych poecie zachwycił się jego Hyperionem), zbudowanym na pozostałościach muru miejskiego w miejscu, gdzie wcześniej znajdował się bastion i z tego powodu nazywanym „wieżą”. W tym czasie pisywał już tylko mało wartościowe wiersze, mówił sam do siebie, wobec odwiedzających go z rzadka ludzi był nienaturalnie pokorny i uprzejmy. Rodzina Zimmera – w szczególności jego córka Lotte – opiekowała się nim aż do śmierci w 1843 roku. Młodemu poecie i wielbicielowi Hölderlina, odwiedzającemu go w „wieży” Wilhelmowi Waiblingerowi, zawdzięczamy opis ostatnich lat jego życia w książce Hölderlins Leben, Dichtung und Wahnsinn.

Hölderlin został pochowany na cmentarzu w Tybindze. W 1845 roku przyrodni brat postawił na grobie skromny pomnik. W latach 2019–2020 odnowiono pomnik i metalowy krzyżyk oraz otoczenie grobu.