Historia Historycznie rezerwat znajduje się na terenach dawnej Puszczy Łętowo, kolonizowanej przez książąt mazowieckich, a później obszaru leśnego zwanego Puszczą Czerwoną. Były to dobra Woli Zambrowskiej wchodzące w skład ekonomii Łomża, a administracyjnie należące do leśnictwa Łomża. W 1920 roku uroczysko Grabówka zostało upaństwowione i należało do powstałego po 1918 roku Nadleśnictwa Państwowego Zambrów. Rozporządzeniem Ministra Ochrony Środowiska, Zasobów Naturalnych i Leśnictwa z dnia 12 listopada 1996 r. utworzono na tym terenie rezerwat przyrody pod nazwą „Grabówka”.
Pomniki pomnik przyrody około 200-letni dąb szypułkowy, stanowiący pierwszy przystanek na ścieżce przyrodniczej biegnącej przez rezerwat. Został uznany za pomnik przyrody 26 października 1982 roku. Ma około 30 metrów wysokości, a obwód pnia na wysokości 1,3 metra ma 440 cm. Ponadto w północnej części rezerwatu rosną ponad 100-letnie dęby.
pomnik łowiecki, odsłonięty 26 października 2008 r. podczas uroczystości obchodów 60-lecia Koła Łowieckiego „Łoś” w Zambrowie. Usytuowany jest on pod wysokim dębem i ma formę kamiennego obelisku na postumencie z tablicą z symbolem św.