Według legendy Malcolm III przybył w te okolice około 1059 roku i zbudował drewniany most łączący wschodni i zachodni brzeg. „Kindrochit” oznacza koniec mostu i zakłada się, że zamek został zbudowany w celu ochrony przeprawy. Uważa się, że ruiny pochodzą głównie z XIV wieku, zastępując domniemaną drewnianą konstrukcję pierwotnego zamku.
Po wstąpieniu Jerzego I na tron w 1714 roku, 6 września 1715 roku hrabia Mar rozpoczął w Braemar powstanie jakobickie.
W 1795 roku na wzniesieniu na zachód od Auchendryne zbudowano rzymskokatolicką kaplicę, która służyła jako szkoła. Nadano jej nazwę Chapel Brae,
Do XX wieku Braemar był w dużej mierze własnością jednej z sąsiednich rezydencji Mar, z Auchendryne i Invercauld po jednej stronie i Castleton po drugiej. Rzekomo rywalizacja między osiedlami była czynnikiem decydującym o tym, że każdy z nich miał własny pub, Fife Arms Hotel w Auchendryne i Invercauld Arms Hotel w Castleton, zbudowany nad kopcem, gdzie hrabia Mar podniósł jakobicki standard w 1715 roku.
Katolicyzm był tradycyjnie silny w regionie Braemar, a kości Świętego Andrzeja przez pewien czas spoczywały w Braemar.