W 1895 Marie przeprowadziła się do Horten. Towarzyszyła jej młodsza o 5 lat fotografka i partnerka Bolette Berg. Kobiety założyły i prowadziły własne studio fotograficzne Berg & Høeg Fotoatelier. Høeg organizowała w atelier fotograficznym spotkania kobiet zainteresowanych feminizmem i sufrażyzmem. W 1896 Høeg założyła w Horten pierwsze w kraju Społeczne Stowarzyszenie Dyskusyjne, które działa do dziś. Spotkania organizowała w konspiracji. Po jakimś czasie zrezygnowała z prowadzenia klubu dyskusyjnego. Wstąpiła do Krajowego Stowarzyszenia na rzecz Prawa Kobiet do Głosowania i założyła w Horten jego oddział. Zorganizowała w Horten Radę Kobiet powiązaną z Narodową Norweską Radą Kobiet oraz Stowarzyszenie Walki z Gruźlicą. Zachował się tekst jej artykułu o prawach wyborczych kobiet, który opublikowała w 1901 w „Gjengangeren”.
W 1903 Høeg i Berg przeniosły się do Kristianii (dzisiejsze Oslo). Pracowały jako zawodowe fotografki. Specjalizowały się w pejzażach, portretowych pocztówkach i okazjonalnie wykonywanych zdjęciach statków. Założyły wydawnictwo Berg og Høghs Kunstforlag A.S. Wydały m.in. trzytomowe dzieło Norske Kvinder dotyczące historii kobiet w Norwegii. Jako wydawczyni Marie używała nazwiska Høgh.