复杂海况下的海上船舶目标检测算法

doi:10.3969/j.issn.1009-086x.2024.06.012

摘要/Abstract

摘要：

针对海洋环境下无人艇载光学图像背景信息复杂、小目标，当前目标检测算法特征提取能力不足、定位能力弱、检测精度差等问题，提出了一种基于YOLOv7-Tiny的改进的海上目标检测算法。利用RepVGG在推理时的“无损耗”特性设计了特征提取模块RepELAN，在不影响推理速度的同时提升网络特征提取能力；改进特征共享融合网络，融合高分辨率特征图提升对小目标特征提取能力，裁剪低分辨率特征图减少网络推理计算量；针对网络在复杂环境下定位检测能力弱的问题，设计检测头模块，区分定位与分类2种解耦头，提升网络定位检测能力。在建立的船舶目标检测数据集进行实验，检测精度提升了6.2%，设计了模块消融实验与对比实验，论证了所提算法的有效性。

关键词: 目标检测, YOLOv7-Tiny, 解耦头, 特征融合, 小目标, 海上船舶

Abstract:

Aiming at the problems of complex background information and small target of unmanned vehicle-borne optical images in marine environment， insufficient feature extraction ability， weak positioning ability and poor detection accuracy of the current target detection algorithm， an improved maritime target detection algorithm based on YOLOv7-Tiny is proposed. The feature extraction module RepELAN is designed by using the "lossless" feature of RepVGG during inference， which improves the feature extraction capability of the network without affecting the inference speed. The feature sharing and fusion network is improved， which fuses high-resolution feature maps to improve the ability to extract features of small targets， and crops low-resolution feature maps to reduce the amount of network inference calculation. Aiming at the problem that the network has weak positioning and detection capabilities in complex environments， the detection head module is designed to distinguish between two decoupling heads， positioning and classification， and improve the network positioning detection capability. In the established ship target detection dataset， the detection accuracy is improved by 6.2%， and the module ablation experiment and comparative experiment are designed， which demonstrates the effectiveness of the proposed algorithm.

Key words: object detection, YOLOv7-Tiny, decouple the head, feature fusion, small goals, ships at sea

中图分类号:

TN957.51

邢汇源, 崔亚奇, 王子玲, 熊伟, 蒋丙栋. 复杂海况下的海上船舶目标检测算法[J]. 现代防御技术, 2024, 52(6): 88-96.

Huiyuan XING, Yaqi CUI, Ziling WANG, Wei XIONG, Bingdong JIANG. Target Detection Algorithm for Ships at Sea Under Complex Sea Conditions[J]. Modern Defense Technology, 2024, 52(6): 88-96.

图/表 14

图1 改进后的算法模型结构

Fig. 1 Improved algorithm model structure

图2 RepVGG模块示意图

Fig. 2 Schematic diagram of the RepVGG module

图3 主干网络中的RepELAN

Fig. 3 RepELAN in a backbone network

图4 颈部网络中的RepELAN

Fig. 4 RepELAN in the neck network

图5 颈部网络的多尺度融合图示

Fig. 5 Multi-scale fusion diagram of neck network

图6 DEHead检测头图示

Fig. 6 Diagram of DEHead detection head

表1 数据集信息

Table 1 Dataset information

参数	数值	类别	数量
数据总数	39 776	帆船	112 376
数据总数	39 776	渔船	15 793
训练集	31 776	漂浮目标	4 955
训练集	31 776	客船	31 627
测试集	4 000	快艇	18 964
测试集	4 000	货船	41 683
验证集	4 000	特殊船舶	2 135

图7 部分样本图及标注样例

Fig. 7 Sample drawings and annotations

图8 数据集信息可视化结果

Fig. 8 Visualization results of dataset information

表2 消融试验结果

Table 2 Ablation test results

RepELAN	FSFN	DEHead	mAP@0.5/%
			70.6
√			72.5
	√		74.0
		√	73.1
√	√	√	76.8

图9 损失函数曲线

Fig. 9 Loss function curve

图10 图像特征提取可视化

Fig. 10 Image feature extraction visualization

表3 对比实验结果

Table 3 Comparison of experimental results

算法	Paras（M）	FLOPs	FPS	mAP@0.5/%
YOLOv7-Tiny	6.2	13.8	286	70.6
YOLOv7	36.9	104.7	161	76.0
PPYOLOE-S	7.9	17.4	208	73.0
PPYOLOE-M	23.4	49.9	123	74.8
YOLOv5-S	7.2	16.3	159	71.9
YOLOv5-M	21.2	49.0	122	75.2
YOLOX-S	9.0	26.8	102	71.9
YOLOX-M	25.3	73.8	81	72.5
Ours	8.8	23.5	220	76.8

图11 前后检测结果对比图

Fig. 11 Comparison of test results before and after

参考文献 25

1	QI Shengxiang， MA Jie， LIN Jin， et al. Unsupervised Ship Detection Based on Saliency and S-HOG Descriptor from Optical Satellite Images［J］. IEEE Geoscience and Remote Sensing Letters， 2015， 12（7）： 1451-1455.
2	黄洁，姜志国，张浩鹏，等. 基于卷积神经网络的遥感图像舰船目标检测［J］. 北京航空航天大学学报， 2017， 43（9）： 1841-1848.
	HUANG Jie， JIANG Zhiguo， ZHANG Haopeng， et al. Ship Object Detection in Remote Sensing Images Using Convolutional Neural Networks［J］. Journal of Beijing University of Aeronautics and Astronautics， 2017， 43（9）： 1841-1848.
3	REN Shaoqing， HE Kaiming， GIRSHICK R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
4	GAO Lianru， HE Yiqun， SUN Xu， et al. Incorporating Negative Sample Training for Ship Detection Based on Deep Learning［J］. Sensors， 2019， 19（3）： 684.
5	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587.
6	GIRSHICK R. Fast R-CNN［EB/OL］. （2015-09-27）［2022-08-20］. .
7	LIU Wei， ANGUELOV D， ERHAN D， et al. SSD： Single Shot MultiBox Detector［C］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 21-37.
8	FU Chengyang， LIU Wei， RANGA A， et al. DSSD： Deconvolutional Single Shot Detector［EB/OL］. （2017-01-23）［2023-07-17］. .
9	LI Zuoxin， YANG Lu， ZHOU Fuqiang. FSSD： Feature Fusion Single Shot Multibox Detector［EB/OL］.［2023-07-17］. .
10	REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real-Time Object Detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2016： 779-788.
11	REDMON J， FARHADI A. YOLO9000： Better， Faster， Stronger［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2017： 6517-6525.
12	REDMON J， FARHADI A. YOLOv3： An Incremental Improvement［EB/OL］. （2018-04-08）［2023-07-17］. .
13	BOCHKOVSKIY A， WANG C Y， LIAO Hongyuan. YOLOv4： Optimal Speed and Accuracy of Object Detection［EB/OL］. （2020-04-23）［2023-07-17］. .
14	LI Chuyi， LI Lulu， JIANG Hongliang， et al. YOLOv6： A Single-Stage Object Detection Framework for Industrial Applications［EB/OL］. （2022-09-07）［2023-07-17］. .
15	WANG C Y， BOCHKOVSKIY A， LIAO Hongyuan. YOLOv7： Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors［C］∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2023： 7464-7475.
16	顾佼佼，李炳臻，刘克，等. 基于改进Faster R-CNN的红外舰船目标检测算法［J］. 红外技术， 2021， 43（2）： 170-178.
	GU Jiaojiao， LI Bingzhen， LIU Ke， et al. Infrared Ship Target Detection Algorithm Based on Improved Faster R-CNN［J］. Infrared Technology， 2021， 43（2）： 170-178.
17	马啸，邵利民，金鑫，等. 基于改进Mask R-CNN的可见光图像中舰船目标检测方法［J］. 北京理工大学学报， 2021， 41（7）： 734-744.
	MA Xiao， SHAO Limin， JIN Xin， et al. Ship Target Detection in Optical Images Based on Improved Mask R-CNN［J］. Transactions of Beijing Institute of Technology， 2021， 41（7）： 734-744.
18	唐崇武，刘洪喜，代长安. 基于改进Yolov3算法的舰船目标检测识别系统［J］. 航空电子技术， 2022， 53（2）： 39-46.
	TANG Chongwu， LIU Hongxi， DAI Changan. Improved YOLOv3 Based Ship Target Detection and Recognition System［J］. Avionics Technology， 2022， 53（2）： 39-46.
19	胡欣，马丽军. 基于YOLOv5的多分支注意力SAR图像舰船检测［J］. 电子测量与仪器学报， 2022， 36（8）： 141-149.
	HU Xin， MA Lijun. Multi-Branch Attention SAR Image Ship Detection Based on YOLOv5［J］. Journal of Electronic Measurement and Instrumentation， 2022， 36（8）： 141-149.
20	钱坤，李晨瑄，陈美杉，等. 基于YOLOv5的舰船目标及关键部位检测算法［J］. 系统工程与电子技术， 2022， 44（6）： 1823-1832.
	QIAN Kun， LI Chenxuan， CHEN Meishan， et al. Ship Target and Key Parts Detection Algorithm Based on YOLOv5［J］. Systems Engineering and Electronics， 2022， 44（6）： 1823-1832.
21	DING Xiaohan， ZHANG Xiangyu， MA Ningning， et al. RepVGG： Making VGG-Style ConvNets Great Again［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2021： 13728-13737.
22	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature Pyramid Networks for Object Detection［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2017： 936-944.
23	LIU Shu， QI Lu， QIN Haifang， et al. Path Aggregation Network for Instance Segmentation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768.
24	SONG Guanglu， LIU Yu， WANG Xiaogang. Revisiting the Sibling Head in Object Detector［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2020： 11560-11569.
25	GE Zheng， LIU Songtao， WANG Feng， et al. YOLOX： Exceeding YOLO Series in 2021［EB/OL］. （2021-08-06）［2023-07-17］. .

[1]	康梦雪, 张金鹏, 马喆, 黄旭辉, 刘雅婷, 宋子壮. 基于高级语义特征蒸馏的增量式连续目标检测方法[J]. 现代防御技术, 2024, 52(1): 41-48.
[2]	师俞晨. 基于遥感影像水下目标尾迹探测综述[J]. 现代防御技术, 2024, 52(1): 83-91.
[3]	李洋, 梁潇, 贾海萨. 基于知识蒸馏的SAR图像舰船目标检测[J]. 现代防御技术, 2023, 51(4): 78-85.
[4]	何明, 朱梓涵, 翟绪龙, 翟政, 郝程鹏. 基于多分支上下文融合的空对地目标检测算法[J]. 现代防御技术, 2023, 51(3): 91-98.
[5]	岳磊, 袁建虎, 杨柳, 吕婷婷. 一种巡逻执勤目标检测算法研究[J]. 现代防御技术, 2023, 51(1): 67-74.
[6]	代妍, 刘丹, 胡庆荣, 陈成增, 王悦循. 一种针对雷达回波分裂的相位补偿处理方法[J]. 现代防御技术, 2022, 50(3): 84-89.
[7]	刘海涵, 吕卫祥. 基于时间反转变换的动目标相参积累算法[J]. 现代防御技术, 2022, 50(2): 67-75.
[8]	刘克, 潘广煜, 郑大国, 顾佼佼, 孟春英. 一种RetinaNet与SE融合的航空取证目标检测算法[J]. 现代防御技术, 2022, 50(1): 25-32.
[9]	李潇飞, 唐意东. 基于先验稀疏模型的光谱图像压缩采样检测[J]. 现代防御技术, 2021, 49(3): 115-122.
[10]	王文庆, 庞颖, 刘洋, 杨东方, 张萌. 双重注意机制的空对地目标智能检测算法[J]. 现代防御技术, 2020, 48(6): 81-88.
[11]	王志虎, 沈小青, 桂伟龙. 光学成像小目标检测技术综述[J]. 现代防御技术, 2020, 48(5): 67-73.
[12]	陈睿容, 孙武, 贾学振, 徐秋锋. 基于二阶Keystone的空间目标检测方法[J]. 现代防御技术, 2020, 48(4): 93-101.
[13]	康红霞, 黄树彩, 黄文龙, 吴建峰. 最小二乘向量机结合光谱维信息检测弱小目标[J]. 现代防御技术, 2018, 46(4): 86-91.
[14]	王万田, 袁俊泉, 王力宝, 陈阿磊. 基于MDCFT的天空双基地雷达机动目标检测方法[J]. 现代防御技术, 2018, 46(3): 191-198.
[15]	张宏伟, 许道明, 马俊涛, 冉宏远. Radon变换的雷达低慢小目标检测方法[J]. 现代防御技术, 2018, 46(3): 105-111.