Człowiek w pętli (ang. human-in-the-loop, HITL) – podejście do projektowania i stosowania systemów zautomatyzowanych, w którym człowiek jest integralnym elementem pętli sprzężenia zwrotnego lub pętli decyzyjnej, m.in. przez weryfikację wyników, korektę błędów, podejmowanie decyzji końcowych albo dostarczanie etykiet treningowych dla modeli uczących się. W literaturze z zakresu uczenia maszynowego HITL jest opisywany jako zestaw technik łączących automatyczne przetwarzanie z wiedzą i działaniem człowieka (np. adnotacją danych, interaktywnym uczeniem, oceną jakości i poprawą predykcji) w celu uzyskania modeli o wyższej jakości lub niższym koszcie pozyskania danych.
W wariancie HITL człowiek jest włączony w krytyczne momenty działania systemu (np. wtedy, gdy system jest niepewny wyniku albo gdy decyzja jest istotna z punktu widzenia bezpieczeństwa, odpowiedzialności lub kosztu błędu). W praktyce może to oznaczać np. zatwierdzanie, poprawianie lub odrzucanie wyników generowanych automatycznie oraz dostarczanie informacji zwrotnej wykorzystywanej do dalszego uczenia lub strojenia modelu.
W szerszej perspektywie badawczej HITL jest bliski wcześniejszym ujęciom interakcji człowieka z automatyką. W klasycznym modelu poziomów automatyzacji wyróżniono cztery szerokie klasy funkcji, w których człowiek i system mogą dzielić zadania: pozyskiwanie informacji, analizę informacji, wybór decyzji i działania oraz implementację działania; w każdej z nich automatyzacja może przyjmować różny poziom, od działania manualnego po pełną automatyzację.
Zastosowania Uczenie maszynowe i adnotacja danych mały|Adnotatorzy danych przygotowujący dane treningowe dla systemów sztucznej inteligencji. mały|lewo|Schemat uczenia aktywnego: model wybiera próbki do oznaczenia przez człowieka.
W badaniach nad uczeniem głębokim i przetwarzaniem danych HITL jest wiązany m.in. z: uczeniem aktywnym (system wybiera próbki do oznaczenia przez człowieka, aby ograniczać koszt adnotacji), budową systemów wspomagających człowieka w zadaniach takich jak adnotacja dokumentów technicznych, z wykorzystaniem metod uczenia nadzorowanego i nienadzorowanego jako „asysty” dla użytkownika.
Ochrona zdrowia W ochronie zdrowia podejścia HITL są opisywane jako sposób łączenia modeli AI z oceną specjalistów, zwłaszcza w analizie obrazów medycznych oraz w procesach wdrażania narzędzi AI do praktyki klinicznej. W literaturze wskazywano, że udział człowieka może służyć zarówno do adnotacji i selekcji danych, jak i do weryfikacji wyników oraz zwiększania akceptacji narzędzi AI w środowisku klinicznym.
Systemy wspomagania decyzji i zastosowania organizacyjne W literaturze dotyczącej systemów wspomagania decyzji dla bezpieczeństwa przemysłowego wskazywano, że „zasada człowiek w pętli” stanowi paradygmat projektowania i wdrażania hybrydowych systemów cyberfizycznych wykorzystujących techniki sztucznej inteligencji. W badaniach dotyczących zastosowań AI w rachunkowości zarządczej i controllingu podkreślano z kolei potrzebę utrzymania nadzoru ludzkiego (human-in-the-loop) przy użyciu narzędzi AI wspierających procesy decyzyjne.
Pojazdy autonomiczne W obszarze pojazdów autonomicznych zakres udziału człowieka bywa opisywany m.in. przez klasyfikację SAE J3016, obejmującą poziomy od 0 (brak automatyzacji jazdy) do 5 (pełna automatyzacja jazdy). W materiałach amerykańskiej National Highway Traffic Safety Administration poziomy 3–5 są ujmowane jako automated driving systems (ADS), czyli systemy, w których człowiek może nie być oczekiwany do wykonywania zadań związanych z prowadzeniem pojazdu przez pewien czas albo w ogóle. W tym kontekście zagadnienie „człowieka w pętli” odnosi się do zakresu nadzoru kierowcy nad działaniem systemu, gotowości do przejęcia kontroli oraz podziału zadań między człowieka a automatykę.
Modelowanie i symulacja mały|Diagram koncepcyjny systemu typu human-in-the-loop.W literaturze z zakresu modelowania i symulacji termin human-in-the-loop jest używany także w odniesieniu do symulacji, w których człowiek uczestniczy bezpośrednio w działaniu systemu symulacyjnego, a jego decyzje i działania wpływają na przebieg oraz wyniki symulacji.
W takim ujęciu HITL bywa wiązany zwłaszcza z tzw. symulacją wirtualną (virtual simulation), w której realni użytkownicy operują systemami symulowanymi, ćwicząc m.in. umiejętności sterowania, podejmowania decyzji lub komunikacji. Rozwiązania tego typu są stosowane m.in. w lotniczych symulatorach szkoleniowych i eksperymentach z zakresu czynników ludzkich, gdzie pozwalają oceniać wpływ zmian w interfejsach, procedurach i automatyzacji na zachowanie operatorów.
W dokumentacji NASA human-in-the-loop evaluations opisywano jako iteracyjne badania prowadzone podczas projektowania i rozwoju systemów, z udziałem reprezentatywnych użytkowników wykonujących zadania z użyciem reprezentatywnego sprzętu, oprogramowania i procedur. Badania takie służą identyfikowaniu problemów integracji człowieka z systemem oraz ocenie skuteczności, bezpieczeństwa i użyteczności projektu. Podejście to stosuje się m.in. w symulatorach lotu oraz innych środowiskach testowych służących do oceny interfejsów, procedur i wpływu automatyzacji na zachowanie operatorów.
Broń autonomiczna i półautonomiczna mały|Bezzałogowy system Watchkeeper jako przykład systemu operującego pod nadzorem człowieka.
W dyskusji o broni autonomicznej oraz systemach półautonomicznych terminologia „człowiek w pętli” bywa używana do opisu stopnia ludzkiej kontroli nad działaniem systemu uzbrojenia, w szczególności w odniesieniu do wyboru celu i użycia siły. W literaturze wskazywano m.in. model rozróżniający: human-in-the-loop (HITL) – system może selekcjonować cele, ale użycie siły następuje wyłącznie na komendę człowieka, human-on-the-loop (HOTL) – system może działać pod nadzorem człowieka, który ma możliwość przerwania lub nadpisania działania, human-out-of-the-loop (HOOTL) – system jest zdolny do selekcji celów i użycia siły bez udziału człowieka w pętli decyzyjnej.
Międzynarodowy Komitet Czerwonego Krzyża (ICRC) w swoich materiałach opisuje autonomiczne systemy uzbrojenia jako takie, które po uruchomieniu przez człowieka wybierają cele i stosują siłę bez ludzkiej interwencji. W polityce Stanów Zjednoczonych dotyczącej autonomii w systemach uzbrojenia wskazywano wymóg projektowania takich systemów w sposób umożliwiający dowódcom i operatorom sprawowanie „odpowiednich poziomów ludzkiego osądu” nad użyciem siły w systemach autonomicznych i półautonomicznych.
„Meaningful human control” W debacie etyczno-prawnej obok klasyfikacji HITL/HOTL/HOOTL rozwijane jest pojęcie „meaningful human control” (znaczącej/realnej kontroli człowieka), odnoszone do warunków, w których kontrola ludzka nad systemem autonomicznym ma mieć charakter nie tylko formalny, ale też funkcjonalny (m.in. dla utrzymania odpowiedzialności i ograniczania nieakceptowalnego ryzyka). Proponowano m.in. doprecyzowanie tego wymogu przez wskazywanie elementów jakości udziału człowieka (szkolenie, projekt interfejsu i procesu użycia) oraz mechanizmów kontroli „w użyciu” (np. domyślne poziomy kontroli, wyjątki, zasady i zabezpieczenia).
Ograniczenia i krytyka Badania nad interakcją człowieka z automatyką zwracały uwagę na zjawisko out-of-the-loop performance problem, w którym operator nadzorujący silnie zautomatyzowany system może tracić orientację sytuacyjną i zdolność sprawnego przejęcia sterowania po awarii lub nieoczekiwanym zachowaniu systemu.
Nowsze analizy dotyczące nadzoru człowieka nad systemami AI wskazują, że skuteczny nadzór wymaga nie tylko formalnej możliwości ingerencji, lecz także warunków pozwalających wiarygodnie wykrywać nieścisłości, błędy i stronniczość wyników. Podkreśla się też, że sama informacja o obecności człowieka w pętli może zwiększać zaufanie użytkowników, nawet jeśli realna skuteczność nadzoru pozostaje ograniczona.
W literaturze zwracano także uwagę, że samo „wstawienie człowieka” do procesu może być niewystarczające, jeśli projekt systemu i organizacja pracy nie zapewniają użytkownikowi informacji i czasu niezbędnych do świadomej oceny działania systemu oraz realnej możliwości ingerencji w krytycznych momentach.
Zobacz też System wspomagania decyzji Uczenie maszynowe Broń autonomiczna
Przypisy
Kategoria:Sztuczna inteligencja Kategoria:Uczenie maszynowe