一种RetinaNet与SE融合的航空取证目标检测算法

doi:10.3969/j.issn.1009-086x.2022.01.004

摘要/Abstract

摘要：

针对在开展航空侦察取证时缺乏自动化、智能化取证手段的情况，提出了一种基于RetinaNet与SE融合的航空取证目标检测算法，解决目标尺度变化大、数据集中类别不均衡的问题，并通过SE（squeeze-excitations）模块引入注意力机制进一步改进性能。该改进算法中的特征金字塔网络FPN可有效应对目标尺寸变化较大问题，Focal Loss可有效应对数据均衡性问题，SE模块引入通道注意力机制对特征图进行加强，可进一步利用提取的通道间相关性增强有效特征并抑制无效特征。通过仿真实验，验证了算法能够在增加少量计算条件下提高目标检测准确率，进一步增强模型的表征能力，有效提高目标检测效率，可为相关工程应用提供参考。

关键词: 航空取证, 目标检测, RetinaNet, SE模块, 数据均衡, 通道注意力

Abstract:

Aiming at the lack of automated and intelligent forensics methods in the aviation reconnaissance and evidence collection， an aviation forensics target detection algorithm based on the fusion of RetinaNet and SE is proposed to solve the problem of large changes in target scale and imbalance in data collection. The performance is further improved by introducing an attention mechanism through the SE （squeeze-excitations） module. The feature pyramid network（FPN） can effectively deal with the problem of large changes in target scale， Focal Loss can effectively deal with the imbalance of categories in dataset， the SE module introduces a channel attention mechanism to strengthen the feature map， and can further use the extracted channel correlation to enhance effective features and suppress ineffective features. Through simulation experiments， it is verified that the algorithm can improve the accuracy of target detection with a small amount of calculation increased， further enhance the characterization ability of the model， and effectively improve the efficiency of target detection， which can provide a reference for related engineering applications.

Key words: aviation forensics, target detection, RetinaNet, Squeeze-excitation（SE） module, data equalization, channel attention

中图分类号:

TP391.4

刘克, 潘广煜, 郑大国, 顾佼佼, 孟春英. 一种RetinaNet与SE融合的航空取证目标检测算法[J]. 现代防御技术, 2022, 50(1): 25-32.

Ke LIU, Guang-yu PAN, Da-guo ZHENG, Jiao-jiao GU, Chun-ying MENG. An Aerial Forensic Target Detection Algorithm Based on RetinaNet and SE Fusion[J]. Modern Defense Technology, 2022, 50(1): 25-32.

图/表 11

图1 目标尺度(大与小)变化示意图

Fig.1 Schematic diagram of the change of target scale (large and small)

图2 FPN示意图

Fig.2 FPN schematic diagram

图3 调制因子示意图

Fig.3 Modulation factor diagram

图4 加入SE模块前后的ResNet示意图

Fig.4 Schematic diagram of SE-ResNet module

图5 SE-RetinaNet模型示意图

Fig.5 Schematic diagram of SE-RetinaNet model

表1 ResNet-50和SE-ResNet-50网络结构对比

Table 1 Comparison of ResNet-50 SE-ResNet-50

输出尺寸	ResNet-50	SE-ResNet-50
112×112	conv，7×7，64，stride 2
56×56	Max pool，3×3，stride 2
56×56	$c o n v ?, ? 1 × 1 ?, ? 64 c o n v ?, ? 3 × 3 ?, ? 64 c o n v ?, ? 1 × 1 ?, ? 256 × 3$	$c o n v ?, ? 1 × 1 ?, ? 64 c o n v ?, ? 3 × 3 ?, ? 64 c o n v ?, ? 1 × 1 ?, ? 256 ??? f c ?, ? 16 ?, ? 256 × 3$
28×28	$c o n v ?, ? 1 × 1 ?, ? 128 c o n v ?, ? 3 × 3 ?, ? 128 c o n v ?, ? 1 × 1 ?, ? 512 × 4$	$c o n v ?, ? 1 × 1 ?, ? 128 c o n v ?, ? 3 × 3 ?, ? 128 c o n v ?, ? 1 × 1 ?, ? 512 ??? f c ?, ? 32 ?, ? 512 × 4$
14×14	$c o n v ?, ? 1 × 1 ?, ? 256 c o n v ?, ? 3 × 3 ?, ? 256 c o n v ?, ? 1 × 1 ?, ? 1 ? 024 × 6$	$c o n v ?, ? 1 × 1 ?, ? 256 c o n v ?, ? 3 × 3 ?, ? 256 c o n v ?, ? 1 × 1 ?, ? 1 ? 024 ??? f c ?, ? 64 ?, ? 1 ? 024 × 6$
7×7	$c o n v ?, ? 1 × 1 ?, ? 512 c o n v ?, ? 3 × 3 ?, ? 512 c o n v ?, ? 1 × 1 ?, ? 2 ? 048 × 3$	$c o n v ?, ? 1 × 1 ?, ? 512 c o n v ?, ? 3 × 3 ?, ? 512 c o n v ?, ? 1 × 1 ?, ? 2 ? 048 ??? f c ?, ? 128 ?, ? 2 ? 048 × 3$
1×1	Global average pool，1 000-d fc，softmax

表1 ResNet-50和SE-ResNet-50网络结构对比

Table 1 Comparison of ResNet-50 SE-ResNet-50

输出尺寸	ResNet-50	SE-ResNet-50
112×112	conv，7×7，64，stride 2
56×56	Max pool，3×3，stride 2
56×56	$c o n v ?, ? 1 × 1 ?, ? 64 c o n v ?, ? 3 × 3 ?, ? 64 c o n v ?, ? 1 × 1 ?, ? 256 × 3$	$c o n v ?, ? 1 × 1 ?, ? 64 c o n v ?, ? 3 × 3 ?, ? 64 c o n v ?, ? 1 × 1 ?, ? 256 ??? f c ?, ? 16 ?, ? 256 × 3$
28×28	$c o n v ?, ? 1 × 1 ?, ? 128 c o n v ?, ? 3 × 3 ?, ? 128 c o n v ?, ? 1 × 1 ?, ? 512 × 4$	$c o n v ?, ? 1 × 1 ?, ? 128 c o n v ?, ? 3 × 3 ?, ? 128 c o n v ?, ? 1 × 1 ?, ? 512 ??? f c ?, ? 32 ?, ? 512 × 4$
14×14	$c o n v ?, ? 1 × 1 ?, ? 256 c o n v ?, ? 3 × 3 ?, ? 256 c o n v ?, ? 1 × 1 ?, ? 1 ? 024 × 6$	$c o n v ?, ? 1 × 1 ?, ? 256 c o n v ?, ? 3 × 3 ?, ? 256 c o n v ?, ? 1 × 1 ?, ? 1 ? 024 ??? f c ?, ? 64 ?, ? 1 ? 024 × 6$
7×7	$c o n v ?, ? 1 × 1 ?, ? 512 c o n v ?, ? 3 × 3 ?, ? 512 c o n v ?, ? 1 × 1 ?, ? 2 ? 048 × 3$	$c o n v ?, ? 1 × 1 ?, ? 512 c o n v ?, ? 3 × 3 ?, ? 512 c o n v ?, ? 1 × 1 ?, ? 2 ? 048 ??? f c ?, ? 128 ?, ? 2 ? 048 × 3$
1×1	Global average pool，1 000-d fc，softmax

表2 ResNet-50和SE-ResNet-50指标对比

Table 2 ResNet-50 SE-ResNet-50 indicators

比较指标	ResNet-50	SE-ResNet-50	增量/%
GPU训练一步	190 ms	209 ms	5.26
CPU推理一张 224×224的图像	164 ms	167 ms	1.83
计算量（GFLOPs）	3.86	3.87	0.26
参数（百万）	25.00	27.50	10.00

表3 SE模块对原模型的改进效果

Table 3 Improvement effect of the SE module on the original model

ResNet-50

ResNet-101

ResNet-152

95.23

96.62

97.38

97.01

98.16

99.18

3.87

7.60

11.32

表4 各机型AP统计

Table 4 AP statistics of each model

机型	AP
AP-3	99.03
P-3K	98.59
P-8A	98.18
OP-3	91.99
EP-3E	93.62
CP-140	96.51
P-8	99.08
猎鹰200	1.00
C-130	97.73
庞巴迪	99.77
YS-11EB	1.00
舰载直升机	90.61
EP-3	96.03

图6 4个指标可视化图

Fig.6 Visualization of 4 indicators

图7 检测结果分析

Fig.7 Analysis of test results

参考文献 15

1	吴翔，钟雨轩，岳琪琪，等. 基于深度学习的尺度自适应海面目标跟踪算法［J］.水下无人系统学报，2020，28（6）：618-625.
	WU Xiang， ZHONG Yu⁃xuan， YUE Qi⁃qi，et al. Scale Adaptive Sea Surface Target Tracking Algorithm Based on Deep Learning［J］. Journal of Unmanned Undersea Systems， 2020， 28（6）： 618-625.
2	江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］.航空学报，2021，42（4）：137-151.
	JIANG Bo，QU Ruo⁃kun，LI Yan⁃dong， et al. Object Detection in UAV Imagery Based on Deep Learning：Review［J］. Acta Aeronautica et Astronautical Sinica， 2021，42（4）：137-151.
3	王志虎，沈小青，桂伟龙.光学成像小目标检测技术综述［J］.现代防御技术，2020，48（5）：67-73.
	WANG Zhi⁃hu，SHEN Xiao⁃qing，GUI Wei⁃long. Survey of Small Targets Detection Technology in Optical Imaging［J］. Modern Defence Technology，2020，48（5）：67-73.
4	Oksuz Kemal， Baris Can Cam， Kalkan Sinan， et al. Imbalance Problems in Object Detection： A Review［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020， 1：1.
5	王文庆，庞颖，刘洋，等.双重注意机制的空对地目标智能检测算法［J］.现代防御技术，2020，48（6）：81-88.
	WANG Wen⁃qing，PANG Ying，LIU Yang，et al. Air⁃to⁃Ground Target Intelligent Detection Algorithm Based on Dual Attention Mechanism［J］. Modern Defence Technology，2020，48（6）：81-88.
6	YU Yong⁃can，ZHAO Jian⁃hu，GONG Quan⁃hua，et al. Real⁃Time Underwater Maritime Object Detection in Side⁃Scan Sonar Images Based on Transformer⁃YOLOv5［J］. Remote Sensing，2021，13（18）：3555-3560.
7	REN Shao⁃qing， HE Kai⁃ming， Girshick Ross， et al. Faster R⁃CNN： Towards Real⁃Time Object Detection with Region Proposal Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）， 2017， 39（6）：1137-1149.
8	LIN Tsung⁃yi ， Goyal Priya， Girshick Ross， et al. Focal Loss for Dense Object Detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.
9	REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real⁃Time Object Detetion［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegs， USA， 2016：779-788.
10	LIU Wei， Dragomir Anguelov， Dumitru Erhan， et al. SSD： Single Shot Multibox Detector［C］∥ European Conference on Computer Vision. Springer， September17， 2016.
11	Shrivastava Abhinav， Gupta Abhinav， Girshick Ross. Training Region⁃Based Object Detectors with Online Hard Example Mining［C］∥ 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas， NV， USA， 2016.
12	HU Jie， SHEN Li， Albanie Samuel， et al. Squeeze⁃and⁃Excitation Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.
13	CAI Zhao⁃wei， FAN Quan⁃fu， Rogerio Feris， et al. A Unified Multi⁃Scale Deep Convolutional Neural Network for Fast Object Detection［C］∥ ECCV 2016： European Conference on Computer Vision. Springer， 2016.
14	LIN Tsung⁃Yi， Dollár Piotr， Girshick Ross， et al. Feature Pyramid Networks for Object Detection［C］∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA，2017.
15	COCO Common Objects in Context．Detection Evaluation ［P/OL］. （2019-10-24）［2021-07-28］. .

[1]	李洋, 梁潇, 贾海萨. 基于知识蒸馏的SAR图像舰船目标检测[J]. 现代防御技术, 2023, 51(4): 78-85.
[2]	何明, 朱梓涵, 翟绪龙, 翟政, 郝程鹏. 基于多分支上下文融合的空对地目标检测算法[J]. 现代防御技术, 2023, 51(3): 91-98.
[3]	岳磊, 袁建虎, 杨柳, 吕婷婷. 一种巡逻执勤目标检测算法研究[J]. 现代防御技术, 2023, 51(1): 67-74.
[4]	代妍, 刘丹, 胡庆荣, 陈成增, 王悦循. 一种针对雷达回波分裂的相位补偿处理方法[J]. 现代防御技术, 2022, 50(3): 84-89.
[5]	刘海涵, 吕卫祥. 基于时间反转变换的动目标相参积累算法[J]. 现代防御技术, 2022, 50(2): 67-75.
[6]	李潇飞, 唐意东. 基于先验稀疏模型的光谱图像压缩采样检测[J]. 现代防御技术, 2021, 49(3): 115-122.
[7]	王文庆, 庞颖, 刘洋, 杨东方, 张萌. 双重注意机制的空对地目标智能检测算法[J]. 现代防御技术, 2020, 48(6): 81-88.
[8]	王志虎, 沈小青, 桂伟龙. 光学成像小目标检测技术综述[J]. 现代防御技术, 2020, 48(5): 67-73.
[9]	陈睿容, 孙武, 贾学振, 徐秋锋. 基于二阶Keystone的空间目标检测方法[J]. 现代防御技术, 2020, 48(4): 93-101.
[10]	康红霞, 黄树彩, 黄文龙, 吴建峰. 最小二乘向量机结合光谱维信息检测弱小目标[J]. 现代防御技术, 2018, 46(4): 86-91.
[11]	王万田, 袁俊泉, 王力宝, 陈阿磊. 基于MDCFT的天空双基地雷达机动目标检测方法[J]. 现代防御技术, 2018, 46(3): 191-198.
[12]	张宏伟, 许道明, 马俊涛, 冉宏远. Radon变换的雷达低慢小目标检测方法[J]. 现代防御技术, 2018, 46(3): 105-111.
[13]	许道明, 张宏伟. 雷达低慢小目标检测技术综述[J]. 现代防御技术, 2018, 46(1): 148-155.