Podczas wykopalisk jakie tu miały miejsce w czasach ZSRR, znaleziono tu wielki ilości czarnych naczyń glinianych z wklęsłym, najczęściej geometrycznym ornamentem, szerokie proste miecze oraz po raz pierwszy odnotowane na terenach byłego ZSRR kindżały, topory, siekiery oraz ozdoby z brązu.
Wioska Xocalı wraz z okolicznymi terenami wchodziła w skład chanatu karabaskiego, a od 1822 w skład Imperium Rosyjskiego.
W czasach radzieckich Xocalı była częścią Nagorno-Karabachskiego Obwodu Autonomicznego. Gdy pod koniec istnienia ZSRR pojawił się konflikt między ludnością ormiańską a azerską, władze Azerskiej SRR rozpoczęły tworzenie nowej jednostki administracyjnej. Od roku 1988 do 1990 ludność miejscowości zwiększyła się z 2135 do 6000, w większości poprzez imigrację z radzieckiej Azji Centralnej (w tym 2000 Turków mescheckich) oraz ludności azerskiej z Armenii. W kwietniu 1990 azerskie władze zlikwidowały Nagorno-Karabachski Obwód Autonomiczny, a Xocalı otrzymało status miasta i stało się stolicą nowej jednostki administracyjnej – rejonu Xocalı. W 1991 miasto liczyło już 6300 mieszkańców.
W lutym 1992 roku w pobliżu miasta miała miejsce masakra, w której to Ormianie, przy współudziale rosyjskiego wojska, zamordowali 613 Azerów.