基于路径-博弈混合策略的无人机空战机动决策

doi:10.3969/j.issn.1009-086x.2023.06.011

摘要/Abstract

摘要：

针对无人机的自主空战机动决策问题，设计了基于路径-博弈混合策略的决策算法。首先根据无人机飞行控制过程中，水平机动和垂直机动可以解耦的原理，提出了相解耦的自主决策机制，使用路径规划实现水平机动决策，使用博弈理论实现垂直机动决策。为提升决策环境的灵活性，设计了能够自适应调整规划范围和分辨率的动态栅格环境。基于QL算法设计路径规划模型，并使用双Q表学习机制改进算法，有效提升了路径规划质量。基于纳什均衡理论构建垂直机动算法模型，根据不同的态势环境设计了代价计算函数，实现了无人机的垂直机动决策。最后，针对一对一空战对抗情景开展仿真验证，验证了算法的有效性，相对于传统基于三维规划空间下的机动决策，可有效缩短规划耗时，提升规划品质。

关键词: 无人机, 机动决策, Q-learning, 纳什均衡, 空战

Abstract:

In view of the autonomous air combat maneuver decision-making problem of unmanned aerial vehicles （UAVs）， a decision-making algorithm based on a path-game hybrid strategy is designed. Firstly， according to the principle that horizontal maneuver and vertical maneuver can be decoupled in the flight control process of UAVs， a decoupled autonomous decision-making mechanism is proposed， which uses path planning to realize horizontal maneuver decision-making and adopts game theory to realize vertical maneuver decision-making. In order to improve the flexibility of the decision-making environment， a dynamic grid environment is designed， which can adaptively adjust the planning range and resolution. The path planning model is designed based on Q-learning （QL） algorithm， and the algorithm is improved by using a double Q-table learning mechanism， which effectively improves the quality of path planning. Based on the Nash equilibrium theory， the vertical maneuver algorithm model is constructed， and the cost calculation function is designed according to different situation environments. Thus， the vertical maneuver decision-making of UAVs is realized. Finally， the simulation of a one-to-one air combat confrontation scenario verifies the effectiveness of the algorithm. Compared with the traditional maneuver decision-making based on three-dimensional planning space， the proposed algorithm can effectively shorten the planning time and improve the planning quality.

Key words: UAV, maneuver decision-making, Q-learning, Nash equilibrium, air combat

中图分类号:

V279

张瀚文, 甘旭升, 魏潇龙, 童荣甲. 基于路径-博弈混合策略的无人机空战机动决策[J]. 现代防御技术, 2023, 51(6): 87-96.

Hanwen ZHANG, Xusheng GAN, Xiaolong WEI, Rongjia TONG. Research on Air Combat Maneuver Decision-Making of UAVs Based on Path-Game Hybrid Strategy[J]. Modern Defense Technology, 2023, 51(6): 87-96.

图/表 13

图1 水平机动策略

Fig. 1 Horizontal maneuver strategy

图2 垂直机动策略

Fig. 2 Vertical maneuver strategy

图3 无人机角度关系

Fig. 3 Angle relationship of UAVs

图4 动态栅格环境

Fig. 4 Dynamic grid environment

图5 机动决策混合算法流程图

Fig. 5 Flow chart of hybrid algorithm for maneuver decision-making

表1 参数设置

Table 1 Parameter setting

参数/单位	值
红方处置坐标	（200 000，200 000，5 000）
红方无人机初始速度v_r/（m·s^-1）	200
蓝方处置坐标	（300 000，300 000，7 000）
蓝方无人机初始速度v_b/（m·s^-1）	180
推力系数 $η$	｛0.8，0.9，1｝
推力F/N	170 000
迎角 $α$ /rad	｛-π/6，0， π/6｝
滚角 $μ$ /rad	｛-π/3，0，-π/3｝
离散时间间隔∆t/s	1
火控雷达辐射角度 $θ f$ /rad	π/6
武器攻击距离 $d f$ /km	60
威胁距离 $T f$ /km	120
攻击概率 $P 1$	0.3
攻击概率 $P 2$	0.05

表1 参数设置

Table 1 Parameter setting

参数/单位	值
红方处置坐标	（200 000，200 000，5 000）
红方无人机初始速度v_r/（m·s^-1）	200
蓝方处置坐标	（300 000，300 000，7 000）
蓝方无人机初始速度v_b/（m·s^-1）	180
推力系数 $η$	｛0.8，0.9，1｝
推力F/N	170 000
迎角 $α$ /rad	｛-π/6，0， π/6｝
滚角 $μ$ /rad	｛-π/3，0，-π/3｝
离散时间间隔∆t/s	1
火控雷达辐射角度 $θ f$ /rad	π/6
武器攻击距离 $d f$ /km	60
威胁距离 $T f$ /km	120
攻击概率 $P 1$	0.3
攻击概率 $P 2$	0.05

图6 算法路径规划对比

Fig. 6 Algorithm comparison of path planning

图7 二维平面空战对抗仿真

Fig. 7 Two-dimensional air combat confrontation simulation

图8 胜率变化曲线

Fig. 8 Winning rate change curve

图9 空战机动决策算法效果对比

Fig. 9 Effect comparison of air combat maneuver decision-making algorithms

图10 垂直机动决策耗时

Fig. 10 Vertical maneuver decision-making time

图11 ACO与改进QL算法对抗仿真

Fig. 11 Confrontation simulation of ACO and improved QL algorithm

图12 决策算法综合耗时对比

Fig. 12 Comprehensive time comparison of decision-making algorithms

参考文献 19

1	黄长强. 未来空战过程智能化关键技术研究［J］. 航空兵器， 2019， 26（1）： 11-19.
	HUANG Changqiang. Research on Key Technology of Future Air Combat Process Intelligentization［J］. Aero Weaponry， 2019， 26（1）： 11-19.
2	黄汉桥，白俊强，周欢，等. 智能空战体系下无人协同作战发展现状及关键技术［J］. 导航与控制， 2019， 18（1）： 10-18.
	HUANG Hanjiao， BAI Junqiang， ZHOU Huan， et al. Present Situation and Key Technologies of Unmanned Cooperative Operation Under Intelligent Air Combat System［J］. Navigation and Control， 2019， 18（1）： 10-18.
3	MCGREW J S， HOW J P， WILLIAMS B， et al. Air-Combat Strategy Using Approximate Dynamic Programming［J］. Journal of Guidance， Control， and Dynamics， 2010， 33（5）： 1641-1654.
4	Air & Space Forces Magazine. Small UAS Flight Plan 2016-2036［EB/OL］. ［2022-09-15］. .
5	张涛，于雷，周中良，等. 基于混合算法的空战机动决策［J］. 系统工程与电子技术， 2013， 35（7）： 1445-1450.
	ZHANG Tao， YU Lei， ZHOU Zhongliang， et al. Decision-Making for Air Combat Maneuvering Based on Hybrid Algorithm［J］. Systems Engineering and Electronics， 2013， 35（7）： 1445-1450.
6	李世豪，丁勇，高振龙. 基于直觉模糊博弈的无人机空战机动决策［J］. 系统工程与电子技术， 2019， 41（5）： 1063-1070.
	LI Shihao， DING Yong， GAO Zhenlong. UAV Air Combat Maneuvering Decision Based on Intuitionistic Fuzzy Game Theory［J］. Systems Engineering and Electronics， 2019， 41（5）： 1063-1070.
7	HUANG Changqiang， DONG Kangsheng， HUANG Hanqiao， et al. Autonomous Air Combat Maneuver Decision Using Bayesian Inference and Moving Horizon Optimization［J］. Journal of Systems Engineering and Electronics， 2018， 29（1）： 86-97.
8	LI Shouyi， WU Qingxian， CHEN Mou， et al. Air Combat Situation Assessment of Multiple UCAVs with Incomplete Information［C］∥Proceedings of 2020 Chinese Intelligent Systems Conference. Singapore： Springer Singapore， 2021： 18-26.
9	朱星宇，艾剑良. 多对多无人机空战的智能决策研究［J］. 复旦学报（自然科学版）， 2021， 60（4）： 410-419.
	ZHU Xingyu， AI Jianliang. Research on Intelligent Decision Making of Many to Many Unmanned Aerial Vehicle Air Combat［J］. Journal of Fudan University（Natural Science）， 2021， 60（4）： 410-419.
10	张宏鹏，黄长强，轩永波，等. 基于深度神经网络的无人作战飞机自主空战机动决策［J］. 兵工学报， 2020， 41（8）： 1613-1622.
	ZHANG Hongpeng， HUANG Changqiang， XUAN Yongbo， et al. Maneuver Decision of Autonomous Air Combat of Unmanned Combat Aerial Vehicle Based on Deep Neural Network［J］. Acta Armamentarii， 2020， 41（8）： 1613-1622.
11	左家亮，杨任农，张滢，等. 基于启发式强化学习的空战机动智能决策［J］. 航空学报， 2017， 38（10）： 212-225.
	ZUO Jialiang， YANG Rennong， ZHANG Ying， et al. Intelligent Decision-Making in Air Combat Maneuvering Based on Heuristic Reinforcement Learning［J］. Acta Aeronautica et Astronautica Sinica， 2017， 38（10）： 212-225.
12	谢建峰，杨启明，戴树岭，等. 基于强化遗传算法的无人机空战机动决策研究［J］. 西北工业大学学报， 2020， 38（6）： 1330-1338.
	XIE Jianfeng， YANG Qiming， DAI Shuling， et al. Air Combat Maneuver Decision Based on Reinforcement Genetic Algorithm［J］. Journal of Northwestern Polytechnical University， 2020， 38（6）： 1330-1338.
13	吴宇，梁天骄. 基于改进一致性算法的无人机编队控制［J］. 航空学报， 2020， 41（9）： 167-185.
	WU Yu， LIANG Tianjiao. Improved Consensus-Based Algorithm for Unmanned Aerial Vehicle Formation Control［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（9）： 167-185.
14	魏潇龙，姚登凯，谷志鸣，等. 基于分割法的无人机路径规划研究［J］. 计算机仿真， 2016， 33（1）： 90-94， 132.
	WEI Xiaolong， YAO Dengkai， GU Zhiming， et al. UAV Path Planning Method Based on Split Method［J］. Computer Simulation， 2016， 33（1）： 90-94， 132.
15	张宏宏，甘旭升，李双峰，等. 复杂低空环境下考虑区域风险评估的无人机航路规划［J］. 仪器仪表学报， 2021， 42（1）： 257-266.
	ZHANG Honghong， GAN Xusheng， LI Shuangfeng， et al. UAV Route Planning Considering Regional Risk Assessment Under Complex Low Altitude Environment［J］. Chinese Journal of Scientific Instrument， 2021， 42（1）： 257-266.
16	孙旭红. 基于强化学习的多智能体对抗算法研究［D］. 成都：电子科技大学， 2021.
	SUN Xuhong. Research on Multi-agent Game Algorithm Based on Reinforcement Learning［D］. Chengdu： University of Electronic Science and Technology of China， 2021.
17	WATKINS C J C H， DAYAN P. Q-Learning［J］. Machine Learning， 1992， 8（3）： 279-292.
18	赵明明，李彬，王敏立. 多无人机超视距空战博弈策略研究［J］. 电光与控制， 2015， 22（4）： 41-45.
	ZHAO Mingming， LI Bin， WANG Minli. On Game Strategy for Multi-UAV Beyond-Visual-Range Air Combat［J］. Electronics Optics & Control， 2015， 22（4）： 41-45.
19	方振平，陈万春，张曙光. 航空飞行器飞行动力学［M］. 北京：北京航空航天大学出版社， 2005.
	FANG Zhenping， CHEN Wanchun， ZHANG Shuguang. Flight Dynamics of Aerospace Aircraft［M］. Beijing： Beihang University Press， 2005.

[1]	周桢, 蔡玉洁, 杨阳, 王创维, 张云飞. 2022年世界防空反导综述及对我国发展启示[J]. 现代防御技术, 2023, 51(6): 26-35.
[2]	屈长虹, 宋钰, 王坤, 崔清勇, 陈蒋洋. 基于PSO算法的反无地基战术激光系统部署方法[J]. 现代防御技术, 2023, 51(5): 15-24.
[3]	袁国栋, 何明, 韩伟, 禹明刚, 成铭洋. 无人机集群社团网络弹性重构研究[J]. 现代防御技术, 2023, 51(5): 50-58.
[4]	王瑞杰, 王得朝, 丰璐, 赵正党, 陈浙梁. 国外无人机蜂群作战样式进展及反蜂群策略研究[J]. 现代防御技术, 2023, 51(4): 1-9.
[5]	陈美杉, 钱坤, 李玲杰, 刘赢. 基于ICRITIC-GCN的空战目标威胁评估[J]. 现代防御技术, 2023, 51(2): 1-13.
[6]	李碧燕, 胡顺. 基于方向信息的无人机群编队控制算法[J]. 现代防御技术, 2023, 51(2): 55-61.
[7]	徐安, 郑万泽, 奚之飞, 党璐菲. 基于进化式决策树的超视距空战机动决策模型[J]. 现代防御技术, 2022, 50(6): 68-82.
[8]	王文涛, 甘旭升, 吴亚荣, 任谨慎, 王翠香. 考虑不确定性的低空无人机运行风险评估方法[J]. 现代防御技术, 2022, 50(5): 14-21.
[9]	宋占福, 赵全习, 胡文志, 黄懿. 无人机支援地面防空作战研究[J]. 现代防御技术, 2022, 50(5): 22-27.
[10]	周方宇, 周洁, 陈超波, 高嵩. 基于克隆免疫决策的无人机集群协同探测跟踪[J]. 现代防御技术, 2022, 50(5): 93-105.
[11]	董康生, 胡伟波, 沈雁鸣, 唐上钦. 美军无人空战装备智能化发展动态及启示[J]. 现代防御技术, 2022, 50(4): 28-37.
[12]	孙丰础, 甘旭升. 无人机双机空战对抗侧向机动路径规划[J]. 现代防御技术, 2022, 50(3): 109-118.
[13]	黄沛, 曹国辉, 张海晶, 张钧杰. 小型侦察无人机任务能力及拒止距离分析[J]. 现代防御技术, 2022, 50(1): 1-6.
[14]	刘群, 杨昭, 周传霞. 某型旋翼无人机极限风速下运动失稳及失能特性研究[J]. 现代防御技术, 2022, 50(1): 19-24.
[15]	刘玄冰, 周绍磊, 肖支才, 祁亚辉, 代飞扬. 固定翼无人机航迹跟踪抗风性研究[J]. 现代防御技术, 2022, 50(1): 41-47.