W 1936 Blackburn spadł do Division Two, jednak po trzech latach powrócił do ekstraklasy.
Po II wojnie światowej wznowiono rozgrywki w Anglii, a Blackburn spadł w roku 1948. Klub pozostał w drugiej lidze przez następne dziesięć lat. Po awansie w 1958 roku sezon skończyli w okolicach środka tabeli. W tych latach Rovers nie odnosiło już takich sukcesów, jednak w 1960 roku dotarli do finału Pucharu Anglii, gdzie przegrali 0:3 z Wolverhampton Wanderers.
Fani drużyny mieli nadzieję na ponowny powrót do czołówki, kiedy podczas sezonu 1963/1964 po zwycięstwie nad West Hamem 8:2 w Boxing Day, znaleźli się na pozycji lidera tabeli. Przewaga punktowa okazała się krótkotrwała, a tytuł został zdobyty przez Liverpool. Blackburn ponownie został zdegradowany z Division One w 1966 roku, co zapoczątkowało 26-letni okres gry w niższych ligach.
W latach 70. Blackburn Rovers rozgrywał mecze pomiędzy Division Two a Division Three. Po przejęciu klubu przez Jacka Walkera, Rovers skończył rozgrywki na 19. miejscu w drugiej lidze pod koniec sezonu 1990/1991, a nowy właściciel zatrudnił Kenny’ego Dalglisha na stanowisko menedżera w październiku 1991 roku.