Generalny Inspektorat Jazdy tworzony był stopniowo, już w kwietniu 1921 inspekcję jazdy powierzono gen. Tadeuszowi Rozwadowskiemu, a w sierpniu 1921 ustanowiono stanowisko pomocnika Generalnego Inspektora Jazdy, na które został powołany gen. Roman Żaba zastąpiony w październiku 1921 r. przez płk. Władysława Oksza-Orzechowskiego.
We wrześniu 1921 minister spraw wojskowych gen. Kazimierz Sosnkowski wydał rozporządzenie, w którym ustalił etat Generalnego Inspektora Jazdy, a w grudniu ustalił także organizację i zakres działania Generalnego Inspektoratu Jazdy (GIJ). W następny roku prestiż Generalnego Inspektoratu Jazdy wzmocniono dodatkowo przemianowując stanowisko pomocnika GIJ na zastępcę tegoż. Siedziba GIJ pierwotnie znajdowała się w Warszawie w Hotelu Europejskim, następnie przeniesiona została do Pałacu Mostowskich, a następnie (1924 r.) na Krakowskie Przedmieście nr 11.
Zakres obowiązków Generalny Inspektor Jazdy miał obowiązek stałego nadzoru nad sprawnością i gotowością bojową formacji jazdy polskiej. Opiniował polską kawalerię pod względem wyposażenia bojowego oraz wyszkolenia taktycznego oddziałów i dowódców tej broni.