Sława Goodmana była tak wielka, że nie miał on finansowej potrzeby koncertowania w południowych stanach, w których większość muzyków jego zespołu zostałaby natychmiast aresztowana z powodu rasistowskiego prawa.
Goodman poznał Alice Hammond Duckworth, siostrę swego przyjaciela Johna Hammonda. Po około trzymiesięcznym spotykaniu się, para wzięła ślub 14 marca 1942. Mieli dwie córki – Benjie i Rachel.
Zależnie od tego, z kim się rozmawia, Goodman był określany jako „wymagający przełożony” lub „arogancki służbista”. Wielu muzyków wspominało o „promieniowaniu”, charakterystycznym spojrzeniu Goodmana, którym obrzucał muzyka nie spełniającego jego wymagań podczas gry. Opowiadali także o nieznośnym skąpstwie artysty, który liczył się z każdym centem, jak za czasów młodości, gdy doświadczał biedy, mimo że dawno osiągnął sławę i bogactwo.
Aż do końca lat 30. miał miejsce ciągły wzrost popularności Goodmana, wraz z jego trio, później kwartetem i sekstetem. 16 stycznia 1938 jego zespół dał słynny koncert w Carnegie Hall. Do połowy lat 40. nastąpił kryzys popularności big bandów.