У машинском учењу, учење поткрепљењем из људских повратних информација (RLHF; ) је техника за усклађивање интелигентног агента са људским преференцијама. Техника укључује обуку „модела награђивања” (енгл. reward model) који представља преференције, а који се затим користи за обуку других модела путем учења поткрепљењем.
У класичном учењу поткрепљењем, циљ интелигентног агента је да научи функцију која води његово понашање, која се назива политика. Функција се итеративно оптимизује како би се повећао сигнал награде добијен из учинка агента у задатку. Међутим, експлицитно дефинисање функције награђивања која тачно апроксимира људске преференције је изазовно. Стога, RLHF тежи обуци „модела награђивања” директно из људских повратних информација. Модел награђивања се прво обучава на надгледан начин да предвиди да ли је одговор на дати упит добар (висока награда) или лош (ниска награда) на основу података о рангирању прикупљених од људских анотатора. Овај модел затим служи као функција награђивања за побољшање политике агента путем алгоритма оптимизације као што је проксимална оптимизација политике.
RLHF има примене у различитим доменима машинског учења, укључујући задатке обраде природног језика као што су сажимање текста и конверзацијски агенти, задатке рачунарског вида као што су модели текст-у-слику, и развој ботова у видео-играма. Иако је RLHF ефикасна метода за обуку модела да делују боље у складу са људским преференцијама, она се такође суочава са изазовима због начина на који се прикупљају подаци о људским преференцијама. Иако RLHF не захтева огромне количине података за побољшање перформанси, прибављање висококвалитетних података о преференцијама је и даље скуп процес. Штавише, ако се подаци пажљиво не прикупљају из репрезентативног узорка, резултујући модел може испољити нежељене пристрасности.
thumb|350px|Високонивовски преглед учења поткрепљењем из људских повратних информација
Позадина и мотивација Оптимизација модела на основу људских повратних информација је пожељна када је задатак тешко специфицирати, а лако проценити. На пример, неко може желети да обучи модел да генерише безбедан текст који је и користан и безопасан (нпр. без пристрасности, токсичности или другог штетног садржаја). Тражење од људи да ручно креирају примере безопасног и штетног текста било би тешко и дуготрајно. Међутим, људи су вешти у брзој процени и поређењу штетности различитих текстова генерисаних вештачком интелигенцијом. Стога би практичнији циљ био омогућити моделу да користи ову врсту људских повратних информација за побољшање свог генерисања текста.
Упркос јасним предностима укључивања људских повратних информација у обуку модела, претходни напори — укључујући неке који користе учење поткрепљењем — наишли су на значајне изазове. Већина покушаја била је или уска и тешка за генерализацију, неуспешна на сложенијим задацима, или су се суочавали са потешкоћама у учењу из ретких (недостатак специфичних информација и однос према великим количинама текста одједном) или шумних (недоследно награђивање сличних излаза) функција награђивања.
RLHF није био прва успешна метода коришћења људских повратних информација за учење поткрепљењем, али је једна од најшире коришћених. Темељ за RLHF представљен је као покушај стварања општег алгоритма за учење из практичне количине људских повратних информација. Алгоритам какав се данас користи представио је OpenAI у раду о побољшању наставка текста или сажимања на основу људских повратних информација, а почео је да добија на популарности када је иста метода поново коришћена у њиховом раду о моделу InstructGPT. Такође је показано да RLHF побољшава робусност RL агената и њихов капацитет за истраживање, што резултира процесом оптимизације који је вештији у руковању неизвесношћу и ефикасном истраживању окружења у потрази за највећом наградом.
Прикупљање људских повратних информација Људске повратне информације се обично прикупљају тако што се од људи тражи да рангирају примере понашања агента. Ова рангирања се затим могу користити за бодовање излаза, на пример, коришћењем Ело система рангирања, који је алгоритам за израчунавање релативних нивоа вештине играча у игри заснован само на исходу сваке игре. Иако је рангирање излаза најшире прихваћен облик повратних информација, недавна истраживања су истражила друге облике, као што су нумеричке повратне информације, повратне информације на природном језику и тражење директних измена излаза модела.
Једна од почетних мотивација за RLHF била је та што захтева релативно мале количине података за поређење да би био ефикасан. Показало се да мала количина података може довести до упоредивих резултата као и већа количина. Поред тога, повећање количине података обично је мање ефикасно од пропорционалног повећања величине модела награђивања. Ипак, већа и разноврснија количина података може бити кључна за задатке где је важно избећи пристрасност од делимично репрезентативне групе анотатора.
Када се учи из људских повратних информација путем паровног поређења према Бредли-Теријевом моделу (или Плакет-Лусовом моделу за К-струка поређења више од два избора), показано је да процењивач максималне веродостојности (MLE) за линеарне функције награђивања конвергира ако су подаци за поређење генерисани под добро специфицираним линеарним моделом. Ово имплицира да, под одређеним условима, ако је модел обучен да одлучује које изборе би људи преферирали између парова (или група) избора, он ће се нужно побољшати у предвиђању будућих преференција. Ово побољшање се очекује све док су поређења из којих учи заснована на доследном и једноставном правилу.
И модели за офлајн прикупљање података, где модел учи интеракцијом са статичким скупом података и ажурира своју политику у групама, као и модели за онлајн прикупљање података, где модел директно комуницира са динамичким окружењем и одмах ажурира своју политику, математички су проучени доказујући границе сложености узорка за RLHF под различитим моделима повратних информација.
У моделу офлајн прикупљања података, када је циљ обука политике, песимистични MLE који укључује доњу границу поверења као процену награде је најефикаснији. Штавише, када је примењиво, показано је да је директно разматрање К-струких поређења асимптотски ефикасније од њиховог претварања у паровна поређења за сврхе предвиђања.
У онлајн сценарију, када се људске повратне информације прикупљају путем паровних поређења према Бредли-Теријевом моделу и циљ је минимизирање жаљења алгоритма (разлика у перформансама у поређењу са оптималним агентом), показано је да се оптимистични MLE који укључује горњу границу поверења као процену награде може користити за дизајнирање алгоритама ефикасних по питању узорка (што значи да захтевају релативно мало података за обуку). Кључни изазов у RLHF-у приликом учења из паровних (или дуелских) поређења повезан је са не-Марковљевом природом његових оптималних политика. За разлику од једноставнијих сценарија где оптимална стратегија не захтева памћење прошлих акција, у RLHF-у, најбољи правац деловања често зависи од претходних догађаја и одлука, чинећи стратегију инхерентно зависном од меморије.
Примене RLHF је примењен на различите домене обраде природног језика (NLP), као што су конверзацијски агенти, сажимање текста и разумевање природног језика. Обично учење поткрепљењем, у којем агенти уче из својих акција на основу унапред дефинисане „функције награђивања”, тешко је применити на NLP задатке јер награде обично буду тешке за дефинисање или мерење, посебно када се ради о сложеним задацима који укључују људске вредности или преференције. RLHF може усмерити NLP моделе, посебно језичке моделе, да пруже одговоре који се усклађују са људским преференцијама у вези са таквим задацима хватањем њихових преференција унапред у моделу награђивања. Ово резултира моделом способним да генерише релевантније одговоре и одбацује неприкладне или ирелевантне упите. Неки значајни примери језичких модела обучених помоћу RLHF-а су OpenAI-јев ChatGPT (и његов претходник InstructGPT), DeepMind-ов Sparrow, Google-ов Gemini, и Anthropic-ов Claude.
У рачунарском виду, RLHF је такође коришћен за усклађивање модела текст-у-слику. Студије које су успешно користиле RLHF за овај циљ приметиле су да је употреба KL регуларизације у RLHF-у, која има за циљ да спречи да научена политика одлута превише далеко од неусклађеног модела, помогла у стабилизацији процеса обуке смањењем преобучавања на модел награђивања. Примећено је да су финални излази слика из модела обучених са KL регуларизацијом значајно вишег квалитета од оних обучених без ње. Друге методе су покушале да укључе повратне информације кроз директнију обуку — засновану на максимизирању награде без употребе учења поткрепљењем — али су признале да би приступ заснован на RLHF-у вероватно имао боље перформансе због онлајн генерисања узорака које се користи у RLHF-у током ажурирања, као и због поменуте KL регуларизације у односу на претходни модел, која ублажава преобучавање на функцију награђивања.
RLHF је првобитно примењиван на друге области, као што су развој ботова у видео-играма и задаци у симулираној роботици. На пример, OpenAI и DeepMind су обучавали агенте да играју Atari игре на основу људских преференција. У класичној обуци таквих ботова заснованој на RL-у, функција награђивања је једноставно корелирана са тим колико добро агент наступа у игри, обично користећи метрике попут скора у игри. Поређења ради, у RLHF-у, човеку се периодично приказују два клипа понашања агента у игри и он мора да одлучи који изгледа боље. Овај приступ може научити агенте да наступају на такмичарском нивоу без икаквог приступа свом скору. Заправо, показано је да RLHF понекад може довести до супериорних перформанси у односу на RL са метрикама скора јер људске преференције могу садржати корисније информације од метрика заснованих на перформансама. Агенти су постигли снажне перформансе у многим тестираним окружењима, често надмашујући људске перформансе.
Обука У RLHF-у се обучавају два различита модела: модел награђивања и политика учења поткрепљењем (RL). Модел награђивања учи да одреди које понашање је пожељно на основу људских повратних информација, док је политика вођена моделом награђивања да одреди акције агента. Оба модела се обично иницијализују коришћењем претходно обученог ауторегресивног језичког модела. Овај модел се затим уобичајено обучава на надгледан начин на релативно малом скупу података парова упита асистенту и њихових пратећих одговора, које су написали људски анотатори.
Модел награђивања Модел награђивања се обично иницијализује претходно обученим моделом, јер га то иницијализује са разумевањем језика и фокусира обуку експлицитно на учење људских преференција. Поред тога што се користи за иницијализацију модела награђивања и RL политике, модел се такође користи за узорковање података које анотатори треба да пореде.
Модел награђивања се затим обучава заменом последњег слоја претходног модела насумично иницијализованом главом за регресију. Ова промена помера модел са његовог оригиналног задатка класификације над његовим речником на једноставно избацивање броја који одговара скору било ког датог упита и одговора. Овај модел се обучава на подацима поређења људских преференција прикупљеним раније од надгледаног модела. Конкретно, обучава се да минимизира следећу функцију губитка унакрсне ентропије: