Historia Wczesne lata i China Cove Zespół został założony przez Conrada Wedde, Samuela F. Scotta i Łukasza Budę w 1997 roku, podczas gdy jeszcze byli uczniami Wellington High School w Nowej Zelandii. W 2001 roku przyłączyli się do nich Tim Hansen (gitara basowa), Richie Singleton (bębny) i Will Ricketts (perkusja). Zespół zaczerpnął swoją nazwę od fikcyjnej organizacji z popularnego serialu telewizyjnego MacGyver. Po wspólnym graniu przez kilka lat, zespół wydał China Cove EP.
Horsepower Ich pierwszy album Horsepower został wydany przez Capital Recordings w połowie 2003 roku i został przyjęty przez krytyków z wielkim entuzjazmem odnosząc spory sukces. Horsepower zawierał takie single jak „This Charming Van” oraz „Let Me Die A Woman”, które bardzo często pojawiały się na falach nowozelandzkich niezależnych stacji radiowych, takich jak 95bFM i RDU-FM.
Pegasus Drugi album zespołu The Phoenix Foundation Pegasus został wydany na początku 2005 roku i ponownie zespół otrzymał dalsze pochwały. Album spotkał się z komercyjnym sukcesem, ostatecznie zdobywając za sprzedaż w Nowej Zelandii status Złotej płyty.