Mieszkał wraz z rodzicami w Rydze, w Oranienburgu i w majątku Chołmogory.
Z upływem jednak lat w otoczeniu cesarzowej Elżbiety Piotrownej wzrastała obawa, że cesarz powróci na tron, gdyż według Najwyższego Manifestu ogłoszonego w 1731 roku to jemu, po ukończeniu 17. roku życia, przypadał bezwzględnie tytuł imperatora. Aby do tego nie dopuścić, cesarzowa Elżbieta nakazała uwięzić Iwana w jednej z najlepiej strzeżonych rosyjskich twierdz.thumb|Ruiny twierdzy Szlisselburg|lewo mały|Wasilij Mirowicz stojący nad ciałem Iwana VI w twierdzy Szlusselburg
Pobyt w Szlisselburgu W 1756 roku 16-letni Iwan VI został uwięziony w twierdzy w Szlisselburgu, gdzie prawie całkowicie odizolowano go od świata zewnętrznego. W wyniku złego traktowania, izolacji i obawy o życie Iwan w krótkim czasie popadł w chorobę psychiczną. Mieszkał samotnie w celi, do której dostępu pilnowało przez całą dobę ośmiu żołnierzy z rozkazem stawiania zbrojnego oporu każdej próbie uwolnienia więźnia występującego pod imieniem Grigorij.