Dobre występy w tym zespole zostały zauważone przez włodarzy Brumbies, otrzymał zatem szkoleniowy kontrakt na sezon 2004, a pełny rok później. Wraz z drużyną przygotowywał się do finału Super 12 w sezonie 2004, ostatecznie nie znalazł się nawet na ławce rezerwowych – Brumbies triumfowali w tym meczu, jednak do końca pobytu Ashley-Coopera w tym zespole nie dotarli już do fazy play-off tych rozgrywek. Po występach w przedsezonowych meczach przygotowawczych zadebiutował w Super 12 meczem pierwszej kolejki z Crusaders, a kontuzja ścięgna pozwoliła mu na udział jedynie w trzech meczach sezonu 2005. Już rok później został podstawowym drużyny opuszczając jedynie jedno spotkanie z powodu niegroźnego urazu, zaś w drugiej części sezonu wraz z Brumbies triumfował w Australian Provincial Championship. Ogłosił następnie przedłużenie kontraktu do końca roku 2011.