Budowa Mioglobina jest silnie upakowaną, w przybliżeniu kulistą cząsteczką o wymiarach 4,5 x 3,5 x 2,5 nm. Około 75% łańcucha występuje w formie ośmiu prawoskrętnych helis α o długości 7–20 aminokwasów. Poszczególne helisy oznacza się literami od A do H. Aby odnieść się do konkretnego aminokwasu, należy określić, w której helisie się on znajduje (np. F) oraz liczbę wskazującą pozycję od końca N (aminowego) w tej helisie. I tak np. "His F8" odpowiada reszcie histydyny położonej w helisie F na miejscu ósmym w sekwencji.
Grupę prostetyczną mioglobiny stanowi hem. Znajduje się on w zagłębieniu pomiędzy helisami E i F a w jego centrum jest związane koordynacyjnie żelazo w formie jonu Fe2+. Utlenienie jonu żelaza Fe2+ do Fe3+ powoduje utratę aktywności biologicznej białka.
Zewnętrzna część cząsteczki mioglobiny jest polarna, natomiast jej wnętrze jest niepolarne. Dzieje się tak, gdyż reszty aminokwasowe zawierające grupy polarne kierowane są na zewnątrz cząsteczki, a reszty niepolarne kierowane są do środka. Jedynym wyjątkiem od tej reguły są dwie polarne reszty histydyny (F8 i E7), które skierowane są do wnętrza cząsteczki.