Застосування систем машинного навчання в ігрових системах

Abstract

У дослідженні розглянуто еволюцію алгоритмів навчання ігрових агентів із підкріпленням та їх адаптацію до тривимірних середовищ із частковою спостережуваністю. Проаналізовано архітектуру Deep Q-Network (DQN) як першої значущої віхи у розвитку ігрового штучного інтелекту та її подальші вдосконалення — подвійне Q-навчання, пріоритетне відтворення досвіду, дуельні мережі та інтегровану архітектуру Rainbow. Розглянуто розподілені підходи до навчання, зокрема архітектуру IMPALA, алгоритми Data-regularized Q-learning та Self-Predictive Representations. Окремо досліджено проблему переходу від двовимірних до тривимірних ігрових середовищ та сучасні методи її вирішення, включаючи мультиагентне навчання у Quake III Arena та алгоритм Gunner для платформи VizDoom. Наведено актуальну класифікацію алгоритмів ігрового штучного інтелекту. Встановлено, що перспективним напрямком є створення універсальних агентів, здатних функціонувати в широкому спектрі ігрових середовищ без додаткового налаштування.

This study examines the evolution of reinforcement learning algorithms for game agents and their adaptation to partially observable three-dimensional environments. It analyzes the Deep Q-Network (DQN) architecture as the first significant milestone in the development of game artificial intelligence and its subsequent improvements—dual Q-learning, priority experience replay, dueling networks, and the integrated Rainbow architecture. Distributed learning approaches are examined, specifically the IMPALA architecture, Data-regularized Q-learning algorithms, and Self-Predictive Representations. The problem of transitioning from two-dimensional to three-dimensional game environments and modern methods for solving it are investigated separately, including multi-agent learning in Quake III Arena and the Gunner algorithm for the VizDoom platform. A current classification of game artificial intelligence algorithms is presented. It is established that a promising direction is the creation of universal agents capable of functioning in a wide range of game environments without additional configuration.