W 1914 roku Whitney założyła Whitney Studio przy Greenwich Village, gdzie organizowała wystawy prac żyjących artystów amerykańskich, których twórczość była ignorowana przez tradycyjne uczelnie. Do 1929 roku zgromadziła ponad 500 prac, które przekazała w darze dla Metropolitan Museum of Art. Gdy jej dar został odrzucony, założyła własne muzeum, poświęcone wyłącznie na sztuce i artystom Stanów Zjednoczonych. Whitney Museum of American Art zostało założone w 1930 roku a otwarte w 1931 roku w budynku położonym przy West Eighth Street i Greenwich Village.
W 1954 roku muzeum przeniosło się do nowej siedziby przy West 54th Street. Z powodu rosnących zbiorów i braku miejsca pod ich ekspozycję muzeum w 1963 roku nabyło działkę przy Madison Avenue i 75th Street. Działka ta należała do dewelopera i kolekcjonera sztuki Iana Woodnera i była zabudowana starymi kamienicami, które wyburzono pod planowany budynek muzeum. Budynek, zaprojektowany przez Marcela Breuera otwarto w 1966 roku. Jego nowoczesna, granitowa bryła wzbudziła liczne kontrowersje. Krytyk sztuki i autorka dzieł o architekturze określiła go jako „zwalisty, zapadnięty, ponury i styksowy”. Rosnące zbiory sprawiły, że muzeum z upływem czasu zaczęło borykać się z brakiem powierzchni pod ekspozycję swoich zbiorów. Od lat 80.