对抗条件下空中目标威胁评估方法

doi:10.3969/j.issn.1009-086x.2024.01.019

摘要/Abstract

摘要：

威胁常随着双方对抗的开展存在着动态演化的特点，传统威胁评估方法更多基于静态威胁进行研究，缺乏动态威胁的预测估计。针对此问题，提出一种对抗条件下的空中目标威胁评估方法。设定红方为进攻方，蓝方为防御方，以红方目标为智能体建立强化学习模型，设计其状态空间、动作空间、转换函数及奖励函数。建立威胁评估模型，确立威胁元素指标，设计威胁评估模型。对模型进行训练，训练完成的模型可根据对抗情况预测红方空中目标威胁。经试验分析，该方法在对抗条件下对红方空中目标威胁评估更具合理性。

关键词: 威胁评估, 强化学习, 空中目标, 对抗, 预测

Abstract:

Threats often have the characteristics of dynamic evolution with the development of bilateral confrontation. Traditional threat assessment methods are more based on static threats and lack of prediction of dynamic threats. To solve this problem， this paper proposes a threat assessment method for aerial targets under confrontational conditions. Setting the red side as the attacking side and the blueside as the defending side. The reinforcement learning model is established with the enemy target as the agent， and its state space， action space， transition function and reward function are designed. The threat assessment model is established， the threat element index is established， and the threat assessment method is designed. The model is trained， and the trained model can predict the enemy aerial target threat according to the confrontation situation. Through test and analysis， the method is more reasonable for threat assessment of enemy aerial targets under confrontation conditions.

Key words: threat assessment, reinforcement learning, aerial target, confrontation, prediction

中图分类号:

TJ 85

梁复台, 周焰, 张晨浩, 宋子豪, 赵小瑞. 对抗条件下空中目标威胁评估方法[J]. 现代防御技术, 2024, 52(1): 147-154.

Futai LIANG, Yan ZHOU, Chenhao ZHANG, Zihao SONG, Xiaorui ZHAO. Threat Assessment Method of Aerial Targets under Confrontational Conditions[J]. Modern Defense Technology, 2024, 52(1): 147-154.

图/表 7

图1 对抗条件下威胁评估框架

Fig. 1 Diagram of threat assessment framework under confrontational conditions

图2 空中目标威胁评估指标体系

Fig. 2 Aerial target threat assessment index

图3 作战想定图示

Fig. 3 Operational scenario diagram

图4 状态空间图示

Fig. 4 State space diagram

图5 有向图图示

Fig. 5 Directed graph

图6 奖励值标注

Fig. 6 Reward value annotation

图7 Q值标注

Fig. 7 Q value annotation

参考文献 19

1	孟光磊，周铭哲，朴海音，等. 基于协同战术识别的双机编队威胁评估方法［J］. 系统工程与电子技术， 2020， 42（10）： 2285-2293.
	MENG Guanglei， ZHOU Mingzhe， PIAO Haiyin， et al. Threat Assessment Method of Dual-Aircraft Formation Based on Cooperative Tactical Recognition［J］. Systems Engineering and Electronics， 2020， 42（10）： 2285-2293.
2	STEINBERG A N， BOWMAN C L. Rethinking the JDL Data Fusion Levels［J］. Nssdf Jhapl， 2004， 38： 39.
3	LLINAS J， BOWMAN C， ROGOVA G， et al. Revisiting the JDL Data Fusion Model II［R］. ［S.l.］： Space and Naval Warfare Systems Command San Diego Ca， 2004.
4	STEINBERG A N， BOWMAN C L， WHITE F E. Revisions to the JDL DATA FUSION MODEL［C］∥Proceedings Volume 3719， Sensor Fusion： Architectures， Algorithms， and Applications III. Bellingham， WA， USA： SPIE， 1999： 430-441.
5	STEINBERG A N， BOWMAN C L. Revisions to the JDL Data Fusion Model［C］∥LIGGINS M E， HALL D L， LLINAS J. Handbook of Multisensor Data Fusion： Theory and Practice. 2nd ed. Boca Raton： CRC Press， 2009： 65-88.
6	OKELLO N， THORNS G. Threat Assessment Using Bayesian Networks［C］∥Sixth International Conference of Information Fusion， 2003. Proceedings of the. Piscataway， NJ， USA： IEEE， 2003： 1102-1109.
7	STOVER J A， HALL D L， GIBSON R E. A Fuzzy-Logic Architecture for Autonomous Multisensor Data Fusion［J］. IEEE Transactions on Industrial Electronics， 1996， 43（3）： 403-410.
8	QU Changwen， HE You. A Method of Threat Assessment Using Multiple Attribute Decision Making［C］∥6th International Conference on Signal Processing， 2002. Piscataway， NJ， USA： IEEE， 2002： 1091-1095.
9	LOONEY C G， LIANG L R. Cognitive Situation and Threat Assessments of Ground Battlespaces［J］. Information Fusion， 2003， 4（4）： 297-308.
10	GONSALVES P， CUNNINGHAM R， TON N， et al. Intelligent Threat Assessment Processor （ITAP） Using Genetic Algorithms and Fuzzy Logic［C］∥Proceedings of the Third International Conference on Information Fusion. Piscataway， NJ， USA： IEEE， 2000： THB 1/18 -THB 1/24.
11	GONSALVES P G， BURGE J E， HARPER K A. Architecture for Genetic Algorithm-Based Threat Assessment［C］∥Sixth International Conference of Information Fusion， 2003. Proceedings of the Piscataway， NJ， USA： IEEE， 2003： 965-971.
12	Szepesvári C. Algorithms for Reinforcement Learning［C］∥BRACHMAN R， ROSSI F， STONE P. Synthesis Lectures on Artificial Intelligence and Machine Learning. Cham： Springer Cham， 2010： 1-103.
13	SUTTON R S， BARTO A G. Reinforcement Learning： an Introduction［M］. 2nd ed. Cambridge： The MIT Press， 2018.
14	KUMAR A， ZHOU A， TUCKER G， et al. Conservative Q-Learning for Offline Reinforcement Learning［C］∥Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2020： 1179-1191.
15	BOTVINICK M， RITTER S， WANG J X， et al. Reinforcement Learning， Fast and Slow［J］. Trends in Cognitive Sciences， 2019， 23（5）： 408-422.
16	DULAC-ARNOLD G， LEVINE N， MANKOWITZ D J， et al. Challenges of Real-World Reinforcement Learning： Definitions， Benchmarks and Analysis［J］. Machine Learning， 2021， 110（9）： 2419-2468.
17	VAN HASSELT H， GUEZ A， SILVER D. Deep Reinforcement Learning with Double Q-Learning［C］∥Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Palo Alto， CA， USA： AAAI Press， 2016： 2094-2100.
18	ZHANG Qiang， HU Junhua， FENG Jinfu， et al. Air Multi-target Threat Assessment Method Based on Improved GGIFSS［J］. Journal of Intelligent & Fuzzy Systems， 2019， 36（5）： 4127-4139.
19	ZHU Chonghao， ZHANG Ananjing， LIU Yang， et al. Comparison of GA-BP and PSO-BP Neural Network Models with Initial BP Model for Rainfall-Induced Landslides Risk Assessment in Regional Scale： A Case Study in Sichuan， China［J］. Natural Hazards， 2020， 100（1）： 173-204.

[1]	鲍俊臣, 韩道文, 程立, 王双宇, 宋振之. 基于层次分析法的穿透性制空作战飞机威胁评估[J]. 现代防御技术, 2024, 52(1): 8-15.
[2]	徐煦, 曾芳玲, 卢振耀. 自适应调零接收机抗干扰能力分析及其对抗方法[J]. 现代防御技术, 2023, 51(4): 16-24.
[3]	李喆, 童逸琦, 夏文博, 应宇欣. 一种多源集中式空中目标类型综合识别方法[J]. 现代防御技术, 2023, 51(4): 53-62.
[4]	白宗磊, 刘秀华, 白天翔, 孙科武. 面向空天防御体系的多任务可控涌现机制研究[J]. 现代防御技术, 2023, 51(3): 39-48.
[5]	陈美杉, 钱坤, 李玲杰, 刘赢. 基于ICRITIC-GCN的空战目标威胁评估[J]. 现代防御技术, 2023, 51(2): 1-13.
[6]	陈黎, 李芳芳, 邹长虹. 基于动态贝叶斯网络和模板匹配的空中目标意图识别[J]. 现代防御技术, 2023, 51(2): 62-70.
[7]	宋振之, 韩道文, 鲍俊臣, 黄朝阳. 基于改进ADC模型光电对抗系统作战效能评估方法[J]. 现代防御技术, 2023, 51(1): 26-34.
[8]	黄海金, 季焓, 刘骁佳, 杨波, 王宁. 面向售后保障的导弹装备健康管理系统研究[J]. 现代防御技术, 2023, 51(1): 75-85.
[9]	王帅, 王亚彬, 王金帼, 王茁, 赵建民. 陆军合成旅典型装备保障系统数字孪生模型[J]. 现代防御技术, 2023, 51(1): 96-106.
[10]	薛德鑫, 单涛, 董士军, 张进. 一种非协作通信信号调制方式识别方法[J]. 现代防御技术, 2022, 50(5): 152-159.
[11]	丁季时雨, 孙科武, 董博, 杨皙睿, 范长超, 马喆. 基于元课程强化学习的多智能体协同博弈技术[J]. 现代防御技术, 2022, 50(5): 36-42.
[12]	刘思彤, 张占月, 刘达, 许益乔. 高超声速飞行器防御体系建设顶层构想[J]. 现代防御技术, 2022, 50(4): 10-16.
[13]	孙雪琪, 张锐. 基于轨迹跟踪预测的反HTV2中制导研究[J]. 现代防御技术, 2022, 50(4): 62-72.
[14]	孙丰础, 甘旭升. 无人机双机空战对抗侧向机动路径规划[J]. 现代防御技术, 2022, 50(3): 109-118.
[15]	李威, 卢盈齐. 基于聚类组合赋权的空袭目标威胁评估方法[J]. 现代防御技术, 2022, 50(3): 17-24.