Jednak niedługo Eliza musiała się po raz kolejny przeprowadzić, tym razem znowu do domu swoich rodziców w Albany. Było to prawdopodobnie podyktowane ciążą. W styczniu urodziła pierworodnego syna Philipa, nazwanego po ojcu Elizabeth. Wówczas Alexander pisał do niej wiele listów, zapewniając ją o swoim bezpieczeństwie, oraz zdradzając niektóre tajemnice wojskowe, takie jak zamiar oblężenia Yorktown tej jesieni. W międzyczasie brytyjscy żołnierze przeprowadzali atak na Pastures, gdzie mieszkała Eliza, Angelica i pozostali członkowie rodziny. Wszyscy wyszli z tego zdarzenia bez szwanku, dzięki szybkiej reakcji ich siostry Peggy. thumb|Portret Elizabeth Hamilton, którego autorem jest James Sharples, ok. 1795 r. Po oblężeniu Yorktown Alexander wrócił do Elizy w Albany, gdzie mieszkali przez następne dwa lata, aż do przenosin do Nowego Jorku pod koniec 1783 roku. Wcześniej w tym roku, Angelica i jej mąż, John Barker Church, z powodów finansowych byli zmuszeni do wyprowadzenia się do Londynu. Angelica mieszkała za granicą przez ponad czternaście lat, wracając z wizytą do Ameryki w 1785 i 1789. 25 września 1784 roku urodziło się drugie dziecko Elizabeth, Angelica, nazwana po starszej siostrze swojej matki.