Метод глубокого метамультиагентного машинного обучения, основан-ный на принципе максимума

Авторы: Смирнова К.Д.
Опубликовано в выпуске: #4(57)/2021
DOI: 10.18698/2541-8009-2021-4-694
Раздел: Информатика, вычислительная техника и управление | Рубрика: Автоматизация и управление технологическими процессами и производствами
Ключевые слова: машинное обучение, обучение с подкреплением, метаобучение, высо-коуровневая система, Q-обучение, мультиагентное обучение, коэффициент дисконтирования, скорость обучения
Опубликовано: 29.04.2021

Рассмотрена концепция машинного обучения и сформулирована целевая задача как поиск максимально универсальных методов обучения. Дано описание используемой в эксперименте дискретной среды и действущих в ней агентов. Описан метод Q-обучения, на котором основан разработанный алгоритм. Приведены результаты эксперимента с концептуальным алгоритмом машинного обучения, основанным на принципе максимума, где в рамках метаобучения алгоритм использовал данные предобученных структур, и исследованы его результаты. Проанализирована работа алгоритма с различными наборами параметров. Исследованы закономерности влияния ключевых параметров обучения на результат и рассмотрены перспективы их использования.

Литература

[1] Шарден Б., Массарон Л., Боскетти А. Крупномасштабное машинное обучение вместе с Python. М., DMK-Press, 2018.

[2] Stadie B.C., Yang G., Houthooft R., et al. Some considerations on learning to explore via meta-reinforcement learning. URL: https://arxiv.org/abs/1803.01118 (дата обращения: 15.02.2021).

[3] Коэльо Л.П., Ричард В. Построение систем машинного обучения на языке Python. М., ДМК Пресс, 2016.

[4] Nilsson N.J. Introduction to machine learning. URL: https://ai.stanford.edu/~nilsson/MLBOOK.pdf (дата обращения: 15.02.2021).

[5] A StarCraft II bot API client library for Python 3. github.com: веб-сайт. URL: https://github.com/Dentosal/python-sc2 (дата обращения: 15.02.2021).

[6] Getting started with Gym. gym.openai.com: веб-сайт. URL: https://gym.openai.com/docs (дата обращения: 15.02.2021).

[7] Флах П. Машинное обучение. Наука и искусство построения алгоритмов, кото-рые извлекают знания из данных. М., ДМК Пресс, 2015.

[8] Мюллер А., Гвидо С. Введение в машинное обучение с помощью Python. Руко-водство для специалистов по работе с данными. М., Диалектика, 2017.

[9] Саттон Р.С., Барто Э.Г. Обучение с подкреплением. М., Бином, 2012.

[10] Schweighofer N. Doya K. Meta-learning in reinforcement learning. Neural Netw., 2003, vol. 16, no. 1, pp. 5–9. DOI: https://doi.org/10.1016/S0893-6080(02)00228-9