Mimo że wielki mistrz zakonu krzyżackiego Konrad von Zollner interweniował u Jagiełły w sprawie wyzutych z ojcowizny Kiejstutowiczów, to w liście ze stycznia 1383 Jagiełło stanowczo odmówił żądaniu zwrotu ziem, którymi wcześniej władali.
W okresie starań o koronę królestwa polskiego Jagiełło, walcząc z Krzyżakami, zawarł porozumienie z Witoldem, który wnet porzucił krzyżackich sprzymierzeńców i w 1384 wrócił na Litwę, otrzymując we władanie Grodno, jednakże realną władzę w księstwie litewskim nadal sprawował Jagiełło, mianując swym namiestnikiem rodzonego brata, Skirgiełłę. Razem ze starszym bratem powrócił również Towciwiłł. Po kilku latach, niezadowolony ze swej podrzędnej pozycji Witold w 1389 wszczął bunt przeciwko litewskiemu hospodarowi i po raz kolejny zwrócił się o pomoc do Krzyżaków. Do Witolda ponownie przyłączył się wraz ze swą żoną Towciwiłł, któremu wcześniej, jak i innym zwolennikom Witolda, Jagiełło skonfiskował dobra. W 1390 Towciwiłł wziął udział w krzyżackim najeździe na Wilno, bronione przez litewsko-polską załogę.