GoogleのAI研究者はオープンソースのサッカーシミュレーターGoogle Research Football Environmentを構築したと発表した。次世代の機械学習アルゴリズムをテストするための理想的なプラットフォームだという。
Pong、Space Invaders、Goなどのゲームは洗練されたアルゴリズムで簡単に習得できるようになっているが、Starcraftのような複雑なオープンワールドゲームはまだまだ複雑な課題が残されている。
Google Research Football Environmentの開発により、行動の不確実性と多様なチーム戦略を組み入れながら、よりリアリティなサッカーシミュレーションゲームが提供できるものだ。
Googleによる研究チームはサッカーゲームを攻略するマルチエージェントのための強化学習システムとして、Reinforcement learningアーキテクチャを発表した。
チームリーダーのKarol Kurachによれば、サッカーゲームには瞬時のコントロールやパスなどの学習概念、ハイレベルな戦略に基づく自然なバランスが必要であるため、難しい強化学習問題があるという。
学習アルゴリズムのバーチャルサッカーゲームは、人間と機械の両方と対戦する能力も備え、敵の弱点と人間の非合理性をも内蔵している。
機械学習を現実世界の環境に没入させるためのゲームのユーティリティを超え、著名な監督や有能な熟練コーチでさえ考えたことのない新しいサッカー戦略を与えてくれるというのだ。
Google Research Football Environmentはサッカーゲームをマスターするための強化学習環境であり、ユーザーはチーム内のすべてのプレイヤーを制御するコントロール法や選手間のパスの仕方を学び、ゴールを決めるための動きを習得可能だ。
フットボールエンジンであるGameplay Footballに基づき、キックオフからゴール、ファウル、カード、コーナーキック、ペナルティキック、オフサイドなどの主要なサッカールールを網羅する3Dフットボールシミュレーションをベースに、ルールに誠実なゲームシミュレーションができる。
世界で最も人気のあるスポーツであるサッカーを、ビデオゲームを通じて習得することを目的とした新しいRL環境であり、ユーザーはチーム内の1人またはすべての選手をコントロールし、ゴールを決めるために相手の防御を克服する方法も学べる。
サッカーゲームには短期視点、長期視点、ボールのパスといった概念の学習など自然なバランスが必要なため、非常に挑戦的な課題ではあるが、強化学習(RL)の目的はサッカーゲームを戦略的かつリアリティに楽しむだけではない。
将来的にはロボットや自動運転自動車などの実現に向け、現実世界のアプリケーションを使用することで取り巻く環境と対話を行い、複雑なタスクを解決できるスマートエージェントへとトレーニングすることを目指している。
参考：Having mastered Space Invaders, chess, and Go, AI tackles video soccer
