U oblasti veštačke inteligencije (VI), istraživanje usklađivanja VI ima za cilj da usmeri sisteme veštačke inteligencije ka ciljevima, preferencijama i etičkim principima neke osobe ili grupe. Sistem veštačke inteligencije se smatra usklađenim ako unapredi svoje predviđene ciljeve. Neusklađeni sistem veštačke inteligencije može da teži nekim ciljevima, ali ne i predviđenim.
Dizajnerima veštačke inteligencije je često izazov da usklade sistem veštačke inteligencije, jer im je teško da preciziraju čitav spektar željenih i neželjenih ponašanja. Stoga, dizajneri veštačke inteligencije često koriste jednostavnije proksi ciljeve, kao što je dobijanje ljudskog odobrenja. Ali taj pristup može da stvori praznine u zakonu, da previdi neophodna ograničenja ili da nagradi sistem veštačke inteligencije samo zato što izgleda usklađen.
Neusklađeni sistemi veštačke inteligencije mogu da pokvare funkcionisanje i prouzrokuju štetu. Sistemi veštačke inteligencije mogu pronaći praznine koje im omogućavaju da efikasno ostvare svoje proksi ciljeve, ali na nenamerne, ponekad štetne načine (nagrada hakovanja). Oni takođe mogu razviti neželjene instrumentalne strategije, kao što su traženje moći ili opstanak jer im takve strategije pomažu da postignu svoje konačne zadate ciljeve. Štaviše, oni mogu razviti nepoželjne ciljeve koje je teško otkriti pre nego što se sistem primeni i naiđe na nove situacije i distribucije podataka.
Danas ovi problemi utiču na postojeće komercijalne sisteme kao što su jezički modeli, roboti, autonomna vozila, i mašine za preporuke društvenih medija. Neki istraživači veštačke inteligencije tvrde da će sposobniji budući sistemi biti teže pogođeni, pošto su ovi problemi delimično rezultat toga što su sistemi veoma sposobni.
Mnogi od najcitiranijih naučnika VI, uključujući Džefrija Hintona, Jošuu Bendžiha i Stjuarta Rasela, tvrde da se VI približava ljudskim (AGI) i nadljudskim kognitivnim sposobnostima (ASI) i da bi mogla da ugrozi ljudsku civilizaciju ako je neusklađena. O ovim rizicima se i dalje raspravlja.
Usklađivanje veštačke inteligencije je podoblast bezbednosti veštačke inteligencije, studija o tome kako izgraditi bezbedne VI sisteme. Ostale podoblasti VI bezbednosti uključuju robusnost, praćenje i kontrolu sposobnosti. Istraživački izazovi u usklađivanju obuhvataju uvođenje kompleksnih vrednosti u veštačku inteligenciju, razvoj poštene veštačke inteligencije, skalabilan nadzor, reviziju i tumačenje VI modela i sprečavanje pojavljivanja VI ponašanja kao što je traženje moći. Istraživanje usklađivanja ima veze sa istraživanjem interpretabilnosti, (konkurentnom) robusnošću, otkrivanjem anomalija, kalibrisanom nesigurnošću, formalnom verifikacijom, učenjem o preferencijama, bezbednono-kritičkom inženjerstvu, teoriji igara, algoritamskoj pravičnosti, i društvenim naukama.
Reference
Literatura
Spoljašnje veze Specification gaming examples in AI, via DeepMind
Категорија:Вештачка интелигенција Категорија:Кибернетика