Время прочтения: 3 мин.

Google лидирует в мире по исследованиям машинного интеллекта. Его дочерняя компания DeepMind, в частности, уже имеет впечатляющий список достижений. Нейронные сети DeepMind достигли сверхчеловеческой производительности в видеоиграх Atari, Pong, Breakout и Space Invaders. Решают и более сложные задачи —  в многопользовательской онлайн-игре Starcraft.

DeepMind успешно развивала ИИ и в более традиционных играх. В 2016 году его машина AlphaGo лихо обыграла одного из сильнейших в мире профессиональных игроков Go. AlphaGo нашел совершенно новые способы игры, которые произвели революцию в понимании того, как люди размышляют и принимают решения в ходе игры.

Но Google не останавливается на достигнутом и теперь обращает свое внимание на более открытые игры, где непредсказуемость играет более важную роль. И его следующая цель – видеоигра футбол.

Karol Kurach и его коллеги из команды Google  Research создали футбольную видеоигру под названием Google Research Football Environment, чтобы позволить исследователям во всем мире протестировать свои алгоритмы, сделать их настраиваемыми, простыми в использовании и бесконечно воспроизводимыми. Исследователи данных могут использовать открытый исходный код для разработки лучших алгоритмов игры в футбол.

Одна из задач для исследователей ИИ — поиск новых заданий для алгоритмов машинного обучения. Простые видеоигры, такие как Pong или Breakout, иногда слишком незатейливы для этих алгоритмов, которые могут достичь сверхчеловеческой производительности всего за несколько часов обучения. Но некоторые из более сложных видеоигр, таких как Starcraft, чересчур сложны. Starcraft — это стратегическая игра в реальном времени для нескольких игроков, действие которой происходит в большой онлайн-Вселенной. Исследователи ИИ заинтересовались им, поскольку это позволяет  играть против других людей и против игровых систем ИИ в сложных условиях. Однако игра настолько обширна и сложна, что требует огромных вычислительных ресурсов для сбора соответствующих данных и обучения системы машинного обучения. Такие ресурсы недоступны большинству исследователей.

Другая проблема заключается в том, что многие перспективные онлайн-среды работают на собственном коде, который исследователи не могут изменить и даже увидеть. Это делает невозможным понимание того, как игра принимает важные решения, а также  эксперименты с различными процессами принятия решений.

В реальном мире умение справляться с неожиданными действиями является важным навыком. Единственный способ овладеть этим навыком для машин — тренироваться в непредсказуемых условиях. Но непредсказуемость должна быть контролируемой.

Для этих целей хорошо подходят футбольные симуляторы. Они имеют определенные уровни предсказуемости, основанные на физике игры. В то же время есть много элементов непредсказуемости, которые возникают из тактики игроков, различий между ними в ситуации борьбы за мяч и так далее.

Поэтому Karol Kurach и его коллеги из Google построили свой собственный симулятор. В качестве базы они использовали общедоступную игру под названием Gameplay Football, которая позволяет симулировать полные футбольные матчи с голами, фолами, угловыми, пенальти, офсайдами и другими атрибутами реальной игры.

Команда также создала несколько стандартных сред различной сложности, в которых можно обучать и тестировать машины искусственного интеллекта. Задачи, стоящие перед машиной, включают забивание в пустые ворота; забивание против вратаря; действия игрока по сценарию 3 против 1, чтобы забить через передачу и так далее. Это создает сложную задачу для обучения с подкреплением, поскольку футбол требует естественного баланса между краткосрочным контролем, изученными концепциями и футбольной стратегией высокого уровня. Алгоритм обучения позволяет играть против других машин или против людей. Это кропотливая работа, которая может помочь машинному обучению работать в более реалистичных средах.

Повышается вероятность того, что машины будущего будут изучать новые футбольные стратегии, которые люди никогда не рассматривали в реальной жизни. Это будет интересно как для исследователей ИИ, так и для любителей футбола.

Подробнее  —  в журнале Technology Review (USA)