マルチエージェント強化学習

マルチエージェント強化学習 (MARL) とは、単一の共有環境下にいる、複数の学習エージェントの挙動を研究する強化学習の一分野であるStefano V. Albrecht, Filippos Christianos, Lukas Schäfer. Multi-Agent Reinforcement Learning: Foundations and Modern Approaches. MIT Press, 2024. https://www.marl-book.com/。それぞれのエージェントは、自身の報酬に動機付けられており、自己利益を増大するために行動する。この利益が他のエージェントと相反する環境も存在し、複雑なグループダイナミクスを引き起こす。

マルチエージェント強化学習は、マルチエージェントシステムやゲーム理論と密接に関係しており、特に繰り返しゲームと関係が深い。MARLの研究においては、報酬最大化の理想的アルゴリズムの探求と、より社会学的な概念群を結びつける。単一エージェントの強化学習の研究は一体のエージェントの報酬最大化アルゴリズムに関心を向けるが、MARLでは協調、互恵性、平等性、社会的影響、言語、統計的差別、といった社会学的指標を定量化し、評価する。

定義

単一エージェントの強化学習と同じように、MARLでは、マルコフ決定過程（MDP）の一種としてモデル化することが多い。

エージェントの集合: 環境の状態空間: 各エージェントの行動空間: , , 状態遷移確率: 即時結合報酬:

チェスや囲碁といった、完全情報の設定下では、MDPも完全観測である。一方、実世界での応用である自動運転など、不完全情報の設定下では、それぞれのエージェントがアクセスできる観測は現在の環境の状態に対して限られたものとなる。部分観測の設定では、一般のケースでは、部分観測確率ゲームがモデルとして利用される。また、協調型のケースでは、分散型部分観測マルコフ決定過程（Dec-POMDP）がモデルとして利用される。

協調と競争

複数エージェントが単一の共有環境で行動する際、エージェント同士の利益は一致する場合も、一致しない場合もある。MARLでは全てのパターンに対して取り扱うことができ、それらがエージェントの振る舞いにどのような影響を与えるか調査できる。

純粋競争型では、エージェントの報酬は完全に相反し、お互いに対立したプレイとなる。純粋協力型では、すべてのエージェントは完全に同じ報酬を受け取るため、お互いに協力するプレイととなる。混合和型は、競争と協力の両者の要素を組み合わせたすべてのゲームをカバーする。

純粋競争型

二体のエージェントがゼロサムゲームをプレイするとき、これは純粋競争型である。チェスや囲碁といった多くの伝統的なゲームはこのカテゴリーに含まれる。また、StarCraftのようなビデオゲームの二人プレイ版もこのカテゴリーである。それぞれのエージェントは他のエージェントを犠牲にすることによってのみ勝利できるため、複雑性が多く削減される。コミュニケーションや社会的ジレンマなどの発生見込みはなく、エージェントが他のエージェントに利するような行動をとるインセンティブもない。

Deep BlueやAlphaGoは、純粋競争設定でエージェントの性能を最適化する方法を示した。

純粋競争設定において排除されない複雑さの一つが、自動カリキュラム（Autocurricula）である。自己対戦によってエージェントの方策が改善されるにつれ、学習の複数の段階が生じることがある。

純粋協調型

MARLは、同一利害を持つ分離されたエージェントがコミュニケーションを取り、協働する方法を探求することに用いられてきた。完全協調設定は、Overcooked など娯楽用の協力ビデオゲームやロボティクスの実世界シナリオなどで研究されている。

純粋協調設定では全エージェントが同一報酬を持つため、社会的ジレンマは起こらない。

純粋協調設定では、しばしば複数の協調戦略が存在し、エージェントは協調する際に特定の「慣習」に収束する。この「慣習」の概念は言語において研究されてきており、より一般的なマルチエージェント協調タスクにおいても示唆されている。

混合和型

複数エージェントが関与する多くの実世界シナリオは協調と競争の両要素を持つ。例えば、複数の自動運転車がそれぞれの経路を計画しているとき、それぞれはバラバラで背反でない利益を持っている。それぞれの車は目的地にたどり着く時間を最小化しようとしているが、全ての車が交通事故を回避したいという共通利害を持っている。

3人以上のゼロサム設定では、しばしば混合和設定と似たような特性を呈する。それぞれのエージェントのペアは非ゼロの効用和を持つためである。

混合和設定は囚人のジレンマといった古典的な戦略型ゲーム（行列ゲーム）や、より複雑な逐次社会的ジレンマ（SSDs）、Among Us、Diplomacy、StarCraft IIといった娯楽用ゲームでも研究できる。

混合和設定はコミュニケーションと社会的ジレンマを引き起こしうる。

社会的ジレンマゲーム理論では、MARLの多くの研究は、例えば囚人のジレンマや、チキンゲームや鹿狩りゲームのような、社会的ジレンマを中心に展開している。

ゲーム理論の研究はナッシュ均衡や、単一エージェントがとるべき理想的方策は何かということに関心を向けるが、MARLの研究は、複数エージェントが試行錯誤過程の中でどのように理想的方策を獲得するかということに目を向ける。エージェントを訓練するために使われる強化学習アルゴリズムは自身の報酬の最大化を行うが、エージェントの利益と集団の利益の衝突が活発な研究の主題となっている。

環境のルールを修正する、内発的報酬を追加するなど、協調を促す様々なテクニックが研究されてきた。

逐次社会的ジレンマ（SSD）囚人のジレンマ、チキンゲーム、鹿狩りゲームといった社会的ジレンマは行列ゲームである。それぞれのエージェントは二つの選択肢から一つだけを一度だけ選ぶ、シンプルな2×2の行列で取った行動に応じた報酬が記述できるゲームである。

人間や他の生物では社会的ジレンマはより複雑な傾向がある。エージェントが時間とともに複数の行動をとり、協力と裏切りの区別は行列ゲームほど自明ではない。逐次社会的ジレンマ（SSD）という概念は、その複雑性をモデル化するために、2017年に導入された。SSDの様々な種類を定義し、その中でのエージェントの行動における協調的ふるまいを示す、研究が進行している。

自動カリキュラム自動カリキュラムとは、特にマルチエージェントの実験において顕著に生じる強化学習の概念である。エージェントが性能を向上させるに従って、エージェントが環境を変化させ、この環境の変化が自身や、他のエージェントに影響を与える。このフィードバックループは、様々な区別される学習の段階を引き起こす。このそれぞれは前の段階に依存している。この学習の積み重なる階層を自動カリキュラムと呼ぶ。自動カリキュラムは特に各エージェントのグループが対立するグループの現在の戦略に対抗しようと競い合う敵対的設定で顕著である,。

かくれんぼゲームは、敵対的設定において自動カリキュラムが生じる分かりやすい例である。この実験では、seekerのチームとhiderのチームが対戦する。一方のチームが新しい戦略を習得するたびに、相手チームはそれに対して最も効果的な対抗策をとるよう自らの戦略を適応させる。hiderが箱を使ってシェルターを作ることを学習すると、seekerはスロープを使ってそのシェルターに侵入することを学習して応答する。それに対し、hiderはスロープをロックすることでseekerに使わせないようにする。するとseekerは、ゲームのグリッチを悪用してシェルター内に侵入する「ボックスサーフィン」によってこれに応答する。学習の各「レベル」は、直前のレベルを前提として現れる創発現象である。これにより、直前の行動に依存した一連の行動の積み重ねが生じる。

強化学習実験における自動カリキュラムは、生命の進化の段階や、人類の文化の発達に喩えられる。進化における主要な段階の一つは20億〜30億年前に起こり、光合成を行う生命体が大量の酸素を生成し始め、大気成分の割合を変化させた。進化の次の段階では、酸素呼吸を行う生命体が進化し、最終的に陸上の哺乳類や人類へとつながった。これらの後半の段階は、光合成の段階によって酸素が広く利用可能になった後に初めて可能となったものである。同様に、人類の文化も、紀元前10000年頃の農業革命によって得られた資源や知見なしには、18世紀の産業革命を迎えることはできなかったとされる。

アルゴリズム一般に、マルチエージェント強化学習アルゴリズムは、PPOやDQN（深層Q学習）といった一般的な強化学習アルゴリズムを拡張したものである。協調的なシナリオにおいては、これらのアルゴリズムはエージェント間のコミュニケーションを特徴とする。しばしば、エージェントが協調して行動し累積報酬を最大化することを学習できるよう、集中学習・分散実行(Centralized Training, Decentralized Execution, CTDE)という手法が用いられる。

マルチエージェントDQN系

独立Q学習（IQL）最も単純なアプローチは、他のすべてのエージェントを環境の一部として扱うというもので、独立Q学習（Independent Q Learning）として知られる手法である。しかし、これは非定常性と呼ばれる重大な問題を引き起こす。

非定常性問題各エージェントは、他のすべてのエージェントを環境の一部として扱う。しかし、各エージェントは自らの方策だけでなく環境そのものも変化させているため、すべてのエージェントにとって一種の「移動ターゲット」現象が生まれ、収束の保証が失われ、環境が非常に混沌としたものになる。

価値分解ネットワーク（VDN） Dec-POMDPにおける協調的なマルチエージェントDQNに対する最も単純なアプローチは、各エージェントが計算したQ値を合計し、大域的なTD誤差に基づいて最適化を行うというもので、これは価値分解ネットワーク（Value-Decomposition Network）として知られる手法である。具体的には、体のエージェントが存在するとし、を各エージェントの観測履歴からなるタプル、を各エージェントが取った行動からなるタプルとすると、大域的なQ関数を次のように定義できる:ここで、各はそのエージェント自身の局所的な観測にのみ依存する。は、各の合計に基づいて勾配を逆伝播することにより、暗黙的に学習される。学習が完了すると、各エージェントは貪欲に行動を選択できる。これは結果として全体のを最大化することになるため、VDNは協調的なシナリオに非常によく適合している。

応用

マルチエージェント強化学習は、科学・産業分野における多様な用途に応用されている:

AIアライメントマルチエージェント強化学習は、AIアライメントの研究にも用いられている。MARL環境における異なるエージェント間の関係は、人間とAIエージェントの関係になぞらえることができる。この2分野が交差する領域の研究では、人間の意図とAIエージェントの行動との間に起こりうる衝突をシミュレートし、そうした衝突を防ぐためにどの変数を変更すればよいかを探ることが試みられている。

限界マルチエージェント深層強化学習には、本質的にいくつかの困難が存在する。環境がもはや定常的ではなくなるため、マルコフ性が破られる。すなわち、遷移や報酬は、あるエージェントの現在の状態のみに依存するわけではなくなる。

マルチエージェント強化学習

Źródło i licencja