Inicjatorem powstania tramwajów i pierwszym dyrektorem został Leopold Mussil.
Pierwsza linia tramwajowa była jednotorowa, z czterema mijankami i prowadziła po dawnej trasie omnibusu spod Dworca do ul. Mostowej na Kazimierzu, gdzie urządzono zajezdnię. Tory miały nietypowy rozstaw szyn 900 mm, który gwarantował możliwość swobodnego współdzielenia wąskich ulic z innymi uczestnikami ruchu. Rozważana była również możliwość użycia kolejowego rozstawu 1435 mm, ale ostatecznie zrezygnowano z niego, aby uniemożliwić koncesjonariuszowi prowadzenie po ulicach ruchu towarowego przy użyciu wagonów kolejowych.
Mimo początkowych obaw, nowy środek komunikacji odniósł duży sukces finansowy, co w 1888 zachęciło władze miejskie do sporządzenia planów rozbudowy sieci. Przepychanki z koncesjonariuszem niezainteresowanym dalszym inwestowaniem pieniędzy trwały do 1894, gdy zawarto odpowiedni aneks do pierwotnej umowy zobowiązujący towarzystwo do wymiany szyn, dobudowania drugiego toru na już istniejącej linii, a także budowy nowej z rynku do Parku Krakowskiego u wylotu ulicy Karmelickiej„Kontrakt zawarty z Towarzystwem tramwajowym o budowę linii Rynek – Ogród Krakowski”, 09.10.1896 r., Kraków.. Nowa linia została otwarta 1 września 1897. Podróż tramwajem konnym podlegała określonym zasadom (stan na 1897 r.).