基于特征增强和校准的航拍车辆实例分割方法

doi:10.7527/S1000-6893.2023.28397

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于特征增强和校准的航拍车辆实例分割方法

姚俞成, 李旭(), 徐启敏, 孔栋

东南大学仪器科学与工程学院，南京 210016

收稿日期:2022-12-14 修回日期:2022-12-24 接受日期:2023-03-22 出版日期:2023-04-03 发布日期:2023-03-31
通讯作者: 李旭 E-mail:lixu.mail@163.com
基金资助:
国家重点研发项目(22022YFC3002605);江苏省重点研发项目(BE2022053-5)

Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration

Yucheng YAO, Xu LI(), Qimin XU, Dong KONG

School of Instrument Science and Engineering，Southeast University，Nanjing 210016，China

Received:2022-12-14 Revised:2022-12-24 Accepted:2023-03-22 Online:2023-04-03 Published:2023-03-31
Contact: Xu LI E-mail:lixu.mail@163.com

摘要/Abstract

摘要：

针对航拍车辆实例分割任务中存在的车辆分布密集，遮挡，尺度变化大等挑战，提出了基于特征增强和校准的航拍车辆实例分割方法。首先，针对骨干网络提取的特征，为了充分利用其中的高层语义特征，提高不同尺度车辆的预测效果，提出多尺度语义增强模块（MSEM）。MSEM添加到特征金字塔结构最高层，通过密集连接多个不同空洞率的空洞卷积块，融合多尺度特征并使用空间注意力抑制冗余信息，减少了高层语义特征的损失，提高了特征的多尺度适应性。其次，针对特征金字塔融合后的特征，为了捕获全局特征的上下文信息，提高小尺度车辆的预测效果，同时抑制局部特征中遮挡问题引入的干扰噪声，提出全局-局部特征校准模块（GLFCM），GLFCM由全局特征校准模块（GFCM）和局部特征校准模块（LFCM）构成。GFCM使用通道注意力和自注意力实现特征层级间充分的信息交互和校准，构建全局特征图之间的依赖关系，充分挖掘了全局上下文信息；LFCM对各层级的特征分别使用多头自注意力机制Transformer进行处理，LFCM中的Transformer经过了线性化近似，相较于原始Transformer，极大减少了计算量，同时对局部特征中的遮挡干扰具有较好的抑制效果。使用航拍车辆实例分割数据集UVSD进行实验验证，所提方法对于一阶段实例分割网络YOLACT分割精度提高了5.1%，对于双阶段实例分割网络Mask R-CNN分割精度提高了2.9%，对于多阶段实例分割网络Cascade Mask R-CNN分割精度提高了1.6%，表明所提方法能显著提升航拍车辆实例分割效果。

关键词: 无人机, 计算机视觉, 实例分割, 特征增强, 注意力机制

中图分类号:

V279

姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.

Yucheng YAO, Xu LI, Qimin XU, Dong KONG. Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(24): 328397-328397.

图/表 14

图 1

图 2

图 3

图 4

图 5

图 6

图 7

表 1

基于各类代表性网络的效果对比

基线网络	+本文模型	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
YOLACT	×	34.73	186.27	57.1	4.9	43.7	67.0	61.1	13.3	49.2	70.0
YOLACT	√	49.86	207.65	62.2	5.0	44.5	74.3	62.9	15.3	49.7	72.2
Mask R-CNN	×	43.75	258.14	79.3	29	61.8	89.5	80.6	33.6	64.1	90.2
Mask R-CNN	√	58.8	304.75	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5
Cascade Mask R-CNN	×	76.8	388.91	81.5	31.9	64.8	91.5	84.4	37.5	68.9	93.8
Cascade Mask R-CNN	√	91.93	435.52	83.1	35.6	67.5	92.5	85.9	41.3	71.8	94.6

表 1

表 2

不同先进方法的对比实验结果

模型方法	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
SOLO	130.1	365.3	70.4	6.9	38.4	87.5
QueryInst	172.22	464.05	76.1	21.6	50.0	90.4	76.1	28.7	51.2	88.8
PointRend	55.53	209.3	80.7	29.6	63.4	90.9	80.7	34.6	65.1	90.1
MSOA-Net	63.55	357.75	81.4	31.7	65.5	90.6	83.2	37.5	68.4	92.3
DetectoRS	134.3	437.35	81.7	32.6	65.1	91.4	84.0	38.1	68.8	93.0
本文方法	58.8	304.7	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5

表 2

表 3

本文方法中各模块的消融实验

+MSEM	+GLFCM	Transformer类型	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
×	×	×	43.75	258.1	79.3	29.0	61.8	89.5	80.6	33.6	64.1	90.2
√	×	×	56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6
×	√	原始	46.11	459.4	81.6	32.9	64.5	91.3	82.8	38.3	67.3	92.0
×	√	线性	45.92	291.7	81.5	32.7	64.8	91.3	83.0	37.4	67.4	92.1
√	√	原始	60.7	577.3	82.2	34.3	65.5	91.9	83.4	39.8	68.6	92.2
√	√	线性	58.8	304.7	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5

表 3

表 4

MSEM模块的消融实验

+空洞卷积模块	+空间注意力模块	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
×	×	43.7	258.1	79.3	29.0	61.8	89.5	80.6	33.6	64.1	90.2
×	√	43.9	258.3	79.4	28.9	61.9	89.6	80.6	33.4	64.2	90.2
√	×	56.5	270.9	79.8	30.0	62.5	89.7	81.3	34.8	65.3	90.5
√	√	56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6

表 4

图 8

图 9

表 A1

MSEM模块增强不同特征对网络效果的提升作用的对比实验

$F 5$	$F 4$	$F 3$	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
√			56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6
√	√		67.1	312.5	80.0	30.4	62.8	89.8	81.5	34.7	65.7	90.8
√	√	√	76.1	457.4	80.2	30.5	63.0	89.9	81.6	35.1	65.8	90.8

表 A1

参考文献 32

1	OSCO L P， MARCATO J Jr， MARQUES RAMOS A P， et al. A review on deep learning in UAV remote sensing［J］. International Journal of Applied Earth Observation and Geoinformation， 2021， 102： 102456.
2	ZHANG H， SUN H， AO W， et al. A survey on instance segmentation： Recent advances and challenges［J］. International Journal of Innovative Computing， Information and Control， 2021， 17（3）： 1041-1053.
3	MOU L C， ZHU X X. Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（11）： 6699-6711.
4	AMMOUR N， ALHICHRI H， BAZI Y， et al. Deep learning approach for car detection in UAV imagery［J］. Remote Sensing， 2017， 9（4）： 312.
5	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［DB/OL］. arXiv preprint： 1409.1556， 2014.
6	AUDEBERT N， LE SAUX B， LEFÈVRE S. Segment-before-detect： Vehicle detection and classification through semantic segmentation of aerial images［J］. Remote Sensing， 2017， 9（4）： 368.
7	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： A deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
8	BOLYA D， ZHOU C， XIAO F Y， et al. YOLACT： Real-time instance segmentation［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 9156-9165.
9	TIAN Z， SHEN C H， CHEN H. Conditional convolutions for instance segmentation［M］∥Computer Vision–ECCV 2020. Cham： Springer International Publishing， 2020： 282-298.
10	SU H， HUANG P， YIN J， et al. Faster and better instance segmentation for large scene remote sensing imagery［C］∥IGARSS 2022 - 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022： 2187-2190.
11	YU F， WANG D Q， SHELHAMER E， et al. Deep layer aggregation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 2403-2412.
12	TAN M X， PANG R M， LE Q V. EfficientDet： Scalable and efficient object detection［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10778-10787.
13	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2980-2988.
14	WANG J W， DING J A， GUO H W， et al. Mask OBB： A semantic attention-based mask oriented bounding box representation for multi-category object detection in aerial images［J］. Remote Sensing， 2019， 11（24）： 2930.
15	PAN T， DING J， WANG J W， et al. Instance segmentation with oriented proposals for aerial images［C］∥IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2021： 988-991.
16	HU J， CAO L J， LU Y， et al. ISTR： End-to-end instance segmentation with transformers［DB/OL］. arXiv preprint： 2105.00637， 2021.
17	ZHANG W， LIU C S， CHANG F L， et al. Multi-scale and occlusion aware network for vehicle detection and segmentation on UAV aerial images［J］. Remote Sensing， 2020， 12（11）： 1760.
18	CAI Z W， VASCONCELOS N. Cascade R-CNN： High quality object detection and instance segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1483-1498.
19	CHEN K， PANG J M， WANG J Q， et al. Hybrid task cascade for instance segmentation［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4969-4978.
20	SU H， WEI S J， LIU S， et al. HQ-ISNet： High-quality instance segmentation for remote sensing imagery［J］. Remote Sensing， 2020， 12（6）： 989.
21	VASWANI A， BRAIN G， SHAZEER N， et al. Attention is all you need［C］∥Advances in Neural Information Processing Systems， 2017： 30.
22	QIN Z， LI Z M， ZHANG Z N， et al. ThunderNet： Towards real-time generic object detection on mobile devices［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 6717-6726.
23	YANG M K， YU K， ZHANG C， et al. DenseASPP for semantic segmentation in street scenes［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3684-3692.
24	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7794-7803.
25	PECORARO R， BASILE V， BONO V. Local multi-head channel self-attention for facial expression recognition［J］. Information， 2022， 13（9）： 419.
26	TSAI Y H H， BAI S J， YAMADA M， et al. Transformer dissection： A unified understanding of transformer’s attention via the lens of kernel［DB/OL］. arXiv preprint： 1908.11775， 2019.
27	KATHAROPOULOS A， VYAS A， PAPPAS N， et al. Transformers are RNNs： Fast autoregressive transformers with linear attention［DB/OL］. arXiv preprint： 2006.16236， 2020.
28	QIN Z， SUN W X， DENG H， et al. cosFormer： Rethinking softmax in attention［DB/OL］. arXiv preprint： 2202.08791， 2022.
29	WANG X L， KONG T， SHEN C H， et al. SOLO： Segmenting objects by locations［M］∥Computer Vision- ECCV 2020. Cham： Springer International Publishing， 2020： 649-665.
30	FANG Y X， YANG S S， WANG X G， et al. Instances as queries［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2022： 6890-6899.
31	KIRILLOV A， WU Y X， HE K M， et al. PointRend： Image segmentation As rendering［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 9796-9805.
32	QIAO S Y， CHEN L C， YUILLE A. DetectoRS： Detecting objects with recursive feature pyramid and switchable atrous convolution［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10208-10219.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	王羿, 叶辉, 杨晓飞. 基于无源性与势场法的四旋翼避障与位置控制[J]. 航空学报, 2023, 44(S1): 727492-727492.
[2]	万宏发, 李姗姗, 蓝朝桢, 向明志. 基于因子图的无人机视觉定位方法[J]. 航空学报, 2023, 44(S1): 727627-727627.
[3]	刘晨阳, 吴大伟, 郭一泽, 吕欣赛, 周佳妮, 邵书义. 不确定强耦合下四旋翼姿态鲁棒自适应控制[J]. 航空学报, 2023, 44(S1): 727645-727645.
[4]	马亚杰, 王娟, 姜斌, 龚建业. 一种无人机⁃无人车编队系统容错控制方法[J]. 航空学报, 2023, 44(8): 327216-327216.
[5]	张安, 杨咪, 毕文豪, 张百川, 王雨农. 基于多策略GWO算法的不确定环境下异构多无人机任务分配[J]. 航空学报, 2023, 44(8): 327115-327115.
[6]	符小卫, 徐哲, 朱金冬, 王楠. 基于PER-MATD3的多无人机攻防对抗机动决策[J]. 航空学报, 2023, 44(7): 327083-327083.
[7]	肖和业, 杨建峰, 白俊强, 张旭东, 吴利荣. 面向任务需求的模块化无人机配置方法[J]. 航空学报, 2023, 44(7): 327100-327100.
[8]	奉志强, 谢志军, 包正伟, 陈科伟. 基于改进YOLOv5的无人机实时密集小目标检测算法[J]. 航空学报, 2023, 44(7): 327106-327106.
[9]	贾宝惠, 姜番, 王玉鑫, 王杜. 基于民机维修文本数据的故障诊断方法[J]. 航空学报, 2023, 44(5): 326598-326598.
[10]	许勇, 颜鸿涛, 贾涛, 马跃, 邓泽华, 刘多能. 固定翼集群无人机空中模拟对接技术[J]. 航空学报, 2023, 44(5): 326539-326539.
[11]	冒国韬, 邓天民, 于楠晶. 基于多尺度分割注意力的无人机航拍图像目标检测算法[J]. 航空学报, 2023, 44(5): 326738-326738.
[12]	曾国奇, 牛子凡, 郑丽丽, 李杰, 郝得霖. 基于球形变换的无人机视频图像实时拼接方法[J]. 航空学报, 2023, 44(24): 328364-328364.
[13]	吕艳, 刘琳, 张广勇, 梁磊, 郑学升. 空射火箭可重复使用技术[J]. 航空学报, 2023, 44(23): 628083-628083.
[14]	李晓航, 周建江. 基于自适应记忆长度的多尺度模态融合网络[J]. 航空学报, 2023, 44(22): 628977-628977.
[15]	张毅, 张焱, 张宇, 张勇, 刘荻. 基于多级特征增强融合的红外飞机目标检测方法[J]. 航空学报, 2023, 44(22): 629220-629220.

基于特征增强和校准的航拍车辆实例分割方法

Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 32

相关文章 15

编辑推荐

Metrics

本文评价