部分可观测条件下的策略迁移强化学习方法

doi:10.3969/j.issn.1009-086x.2024.02.007

摘要/Abstract

摘要：

针对多智能体强化学习算法在部分可观测条件下难以形成有效协同策略的问题，基于集中式训练与分散式执行范式（CTDE）提出一种策略迁移强化学习方法。该方法在全局观测下训练可以探索到良好协同策略的教师模块，在部分可观测条件下，学生模块依据最大化累计回报的期望为目标函数在线训练的同时，利用策略蒸馏技术从教师模块进行策略迁移，并自适应调整教师策略对学生策略的影响比重。在多个地图场景中对所提出的方法进行仿真验证，实验结果表明部分可观测条件下学生模块的胜率高于所对比的基线算法的胜率。研究成果可以应用于多智能体合作任务，提升智能体在分散式执行时的协同性能。

关键词: 多智能体, 强化学习, 部分观测, 策略迁移, 集中式训练与分散式执行

Abstract:

Multi-agent reinforcement learning algorithms fail to form effective collaborative policy under partially observable conditions. In view of this problem， a policy transfer reinforcement learning method based on centralized training and decentralized execution （CTDE） paradigm was proposed. Firstly， under global observation， the teacher module was trained to explore good collaborative policy. Then， under partially observable conditions， the student module was trained online with the expectation of maximizing cumulative returns as the objective function， and at the same time， policy distillation techniques were used to transfer policy from the teacher module and adaptively adjust the proportion of teacher policy affecting student policy. Finally， the proposed method was verified by simulation in multiple map scenarios. The experimental results show that under partially observable conditions， the success rate of student modules is higher than that of the baseline algorithms. The research results can be applied to multi-agent collaborative tasks， improving the collaborative performance of agents in decentralized execution.

Key words: multi-agent, reinforcement learning, partial observation, policy transfer, centralized training and decentralized execution（CTDE）

中图分类号:

王忠禹, 徐晓鹏, 王东. 部分可观测条件下的策略迁移强化学习方法[J]. 现代防御技术, 2024, 52(2): 63-71.

Zhongyu WANG, Xiaopeng XU, Dong WANG. Policy Transfer Reinforcement Learning Method for Partially Observable Conditions[J]. Modern Defense Technology, 2024, 52(2): 63-71.

图/表 9

图1 学生模块的策略网络损失函数构成示意图

Fig. 1 Policy network loss function composition for student module

图2 5_vs_5无人机对抗场景

Fig. 2 Confrontation in 5_vs_5 scenario

图3 SMAC中的部分观测与全局观测示意图

Fig. 3 Partial and global observations in SMAC

表1 超参数设置

Table 1 Setting of hyperparameters

超参数	值	超参数	值
批大小	32	MLP层数	64
小批量大小	8	GRU层数	64
折扣因子	0.99	学习率	5e-4
$λ$	0.95	梯度裁剪范数	10.0
优化器	Adam	裁剪系数 $ε$	1e-5
激活函数	ReLU	$t t e s t$	5 000
$T m a x$ （5_vs_5）	2e7	$T m a x$ （SAMC）	5e6

表1 超参数设置

Table 1 Setting of hyperparameters

超参数	值	超参数	值
批大小	32	MLP层数	64
小批量大小	8	GRU层数	64
折扣因子	0.99	学习率	5e-4
$λ$	0.95	梯度裁剪范数	10.0
优化器	Adam	裁剪系数 $ε$	1e-5
激活函数	ReLU	$t t e s t$	5 000
$T m a x$ （5_vs_5）	2e7	$T m a x$ （SAMC）	5e6

图4 5_vs_5场景的多机博弈对抗测试胜率曲线

Fig. 4 Test success rate curves of multi-machine game confrontatiob in 5_vs_5 scenario

图5 算法在5_vs_5场景中的性能表现

Fig. 5 Performance of different algorithms in 5_vs_5 scensrio

图6 8m_vs_9m地图的测试胜率曲线

Fig. 6 Test success rate curves in 8m_vs_9m map

图7 3s5z地图的测试胜率曲线

Fig. 7 Test success rate curves in 3s5z map

图8 5m_vs_6m地图的测试胜率曲线

Fig. 8 Test success rate curves in 5m_vs_6m map

参考文献 21

1	梁星星，冯旸赫，马扬，等. 多Agent深度强化学习综述［J］. 自动化学报， 2020， 46（12）： 2537-2557.
	LIANG Xingxing， FENG Yanghe， MA Yang， et al. Deep Multi-agent Reinforcement Learning： A Survey［J］. Acta Automatica Sinica， 2020， 46（12）： 2537-2557.
2	DU Wei， DING Shifei. A Survey on Multi-agent Deep Reinforcement Learning： From the Perspective of Challenges and Applications［J］. Artificial Intelligence Review， 2021， 54（5）： 3215-3238.
3	MATIGNON L， JEANPIERRE L， MOUADDIB A I. Coordinated Multi-Robot Exploration Under Communication Constraints Using Decentralized Markov Decision Processes［C］∥Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence. Palo Alto， CA， USA： AAAI Press， 2012： 2017-2023.
4	向锦武，董希旺，丁文锐，等. 复杂环境下无人集群系统自主协同关键技术［J］. 航空学报， 2022， 43（10）： 325-357.
	XIANG Jinwu， DONG Xiwang， DING Wenrui， et al. Key Technologies for Autonomous Cooperation of Unmanned Swarm Systems in Complex Environments［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（10）： 325-357.
5	SILVER D， HUANG A， MADDISON C J， et al. Mastering the Game of Go with Deep Neural Networks and Tree Search［J］. Nature， 2016， 529： 484-489.
6	LI Bin. Hierarchical Architecture for Multi-Agent Reinforcement Learning in Intelligent Game［C］∥2022 International Joint Conference on Neural Networks （IJCNN）. Piscataway， NJ， USA： IEEE， 2022： 1-8.
7	丁季时雨，孙科武，董博，等. 基于元课程强化学习的多智能体协同博弈技术［J］. 现代防御技术， 2022， 50（5）： 36-42.
	DING Jishiyu， SUN Kewu， DONG Bo， et al. Multi-agent Autonomous Cooperative Confrontation Based on Meta Curriculum Reinforcement Learning［J］. Modern Defence Technology， 2022， 50（5）： 36-42.
8	李盛祥. 基于强化学习的多智能体协同关键技术及应用研究［D］. 郑州：战略支援部队信息工程大学， 2021.
	LI Shengxiang. Research on Multiagent Cooperation and Applications Based on Reinforcement Learning［D］. Zhengzhou： PLA Strategic Support Force Information Engineering University， 2021.
9	RASHID T， SAMVELYAN M， DE WITT C S， et al. Monotonic Value Function Factorisation for Deep Multi-agent Reinforcement Learning［J］. The Journal of Machine Learning Research， 2020， 21（1）： 7234-7284.
10	SON K， KIM D， KANG W J， et al. QTRAN： Learning to Factorize with Transformation for Cooperative Multi-agent Reinforcement Learning［C］∥Proceedings of the 36th International Conference on Machine Learning. Chia Laguna Resort， Sardinia， Italy： PMLR， 2019： 5887-5896.
11	熊丽琴，曹雷，赖俊，等. 基于值分解的多智能体深度强化学习综述［J］. 计算机科学， 2022， 49（9）： 172-182.
	XIONG Liqin， CAO Lei， LAI Jun， et al. Overview of Multi-agent Deep Reinforcement Learning Based on Value Factorization［J］. Computer Science， 2022， 49（9）： 172-182.
12	YU Chao， VELU A， VINITSKY E， et al. The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games［C］∥Advances in Neural Information Processing Systems. San Francisco， CA， USA： Curran Associates Inc.， 2022： 24611-24624.
13	LOWE R， WU Yi， TAMAR A， et al. Multi-agent Actor-Critic for Mixed Cooperative-Competitive Environments［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2017： 6382-6393.
14	FOERSTER J N， FARQUHAR G， AFOURAS T， et al. Counterfactual Multi-agent Policy Gradients［C］∥Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA， USA： AAAI Press， 2018： 2974-2982.
15	JIANG Jiechuan， LU Zongqing. Learning Attentional Communication for Multi-agent Cooperation［C］∥Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2018： 7265-7275.
16	DAS A， GERVET T， ROMOFF J， et al. TarMAC： Targeted Multi-agent Communication［C］∥Proceedings of the 36th International Conference on Machine Learning. Chia Laguna Resort， Sardinia， Italy： PMLR， 2019： 1538-1546.
17	TSENG W C， WANG T H J， LIN Y C， et al. Offline Multi-agent Reinforcement Learning with Knowledge Distillation［C］∥Advances in Neural Information Processing Systems. San Francisco， CA， USA： Curran Associates Inc.， 2022： 226-237.
18	ZHAO Jian， HU Xunhan， YANG Mingyu， et al. CTDS： Centralized Teacher with Decentralized Student for Multi-agent Reinforcement Learning［J/OL］. IEEE Transactions on Games. （2022-12-27）［2023-12-16］. .
19	闫超，相晓嘉，徐昕，等. 多智能体深度强化学习及其可扩展性与可迁移性研究综述［J］. 控制与决策， 2022， 37（12）： 3083-3102.
	YAN Chao， XIANG Xiaojia， XU Xin， et al. A Survey on Scalability and Transferability of Multi-agent Deep Reinforcement Learning［J］. Control and Decision， 2022， 37（12）： 3083-3102.
20	CZARNECKI W M， PASCANU R， OSINDERO S， et al. Distilling Policy Distillation［C］∥Proceedings of the Twenty-second International Conference on Artificial Intelligence and Statistics. Chia Laguna Resort， Sardinia， Italy： PMLR， 2019： 1331-1340.
21	VINYALS O， BABUSCHKIN I， CZARNECKI W M， et al. Grandmaster Level in StarCraft II Using Multi-agent Reinforcement Learning［J］. Nature， 2019， 575： 350-354.

[1]	梁复台, 周焰, 张晨浩, 宋子豪, 赵小瑞. 对抗条件下空中目标威胁评估方法[J]. 现代防御技术, 2024, 52(1): 147-154.
[2]	白宗磊, 刘秀华, 白天翔, 孙科武. 面向空天防御体系的多任务可控涌现机制研究[J]. 现代防御技术, 2023, 51(3): 39-48.
[3]	丁季时雨, 孙科武, 董博, 杨皙睿, 范长超, 马喆. 基于元课程强化学习的多智能体协同博弈技术[J]. 现代防御技术, 2022, 50(5): 36-42.
[4]	房霄, 曾贲, 宋祥祥, 贾正轩. 基于深度强化学习的舰艇空中威胁行为建模[J]. 现代防御技术, 2020, 48(5): 59-66.
[5]	汤润泽, 张承龙, 李林林. 人工智能在无人战场态势预判与博弈对抗中的应用[J]. 现代防御技术, 2020, 48(5): 25-31.