基于特征增强和校准的航拍车辆实例分割方法

doi:10.7527/S1000-6893.2023.28397

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 | 后一篇

基于特征增强和校准的航拍车辆实例分割方法

姚俞成, 李旭(), 徐启敏, 孔栋

东南大学仪器科学与工程学院，南京 210016

收稿日期:2022-12-14 修回日期:2022-12-24 接受日期:2023-03-22 出版日期:2023-12-25 发布日期:2023-03-31
通讯作者: 李旭 E-mail:lixu.mail@163.com
基金资助:
国家重点研发项目(22022YFC3002605);江苏省重点研发项目(BE2022053-5)

Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration

Yucheng YAO, Xu LI(), Qimin XU, Dong KONG

School of Instrument Science and Engineering，Southeast University，Nanjing 210016，China

Received:2022-12-14 Revised:2022-12-24 Accepted:2023-03-22 Online:2023-12-25 Published:2023-03-31
Contact: Xu LI E-mail:lixu.mail@163.com

摘要/Abstract

摘要：

针对航拍车辆实例分割任务中存在的车辆分布密集，遮挡，尺度变化大等挑战，提出了基于特征增强和校准的航拍车辆实例分割方法。首先，针对骨干网络提取的特征，为了充分利用其中的高层语义特征，提高不同尺度车辆的预测效果，提出多尺度语义增强模块（MSEM）。MSEM添加到特征金字塔结构最高层，通过密集连接多个不同空洞率的空洞卷积块，融合多尺度特征并使用空间注意力抑制冗余信息，减少了高层语义特征的损失，提高了特征的多尺度适应性。其次，针对特征金字塔融合后的特征，为了捕获全局特征的上下文信息，提高小尺度车辆的预测效果，同时抑制局部特征中遮挡问题引入的干扰噪声，提出全局-局部特征校准模块（GLFCM），GLFCM由全局特征校准模块（GFCM）和局部特征校准模块（LFCM）构成。GFCM使用通道注意力和自注意力实现特征层级间充分的信息交互和校准，构建全局特征图之间的依赖关系，充分挖掘了全局上下文信息；LFCM对各层级的特征分别使用多头自注意力机制Transformer进行处理，LFCM中的Transformer经过了线性化近似，相较于原始Transformer，极大减少了计算量，同时对局部特征中的遮挡干扰具有较好的抑制效果。使用航拍车辆实例分割数据集UVSD进行实验验证，所提方法对于一阶段实例分割网络YOLACT分割精度提高了5.1%，对于双阶段实例分割网络Mask R-CNN分割精度提高了2.9%，对于多阶段实例分割网络Cascade Mask R-CNN分割精度提高了1.6%，表明所提方法能显著提升航拍车辆实例分割效果。

关键词: 无人机, 计算机视觉, 实例分割, 特征增强, 注意力机制

中图分类号:

V279

姚俞成, 李旭, 徐启敏, 孔栋. 基于特征增强和校准的航拍车辆实例分割方法[J]. 航空学报, 2023, 44(24): 328397-328397.

Yucheng YAO, Xu LI, Qimin XU, Dong KONG. Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(24): 328397-328397.

图/表 14

图 1

图 2

图 3

图 4

图 5

图 6

图 7

表 1

基于各类代表性网络的效果对比

基线网络	+本文模型	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
YOLACT	×	34.73	186.27	57.1	4.9	43.7	67.0	61.1	13.3	49.2	70.0
YOLACT	√	49.86	207.65	62.2	5.0	44.5	74.3	62.9	15.3	49.7	72.2
Mask R-CNN	×	43.75	258.14	79.3	29	61.8	89.5	80.6	33.6	64.1	90.2
Mask R-CNN	√	58.8	304.75	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5
Cascade Mask R-CNN	×	76.8	388.91	81.5	31.9	64.8	91.5	84.4	37.5	68.9	93.8
Cascade Mask R-CNN	√	91.93	435.52	83.1	35.6	67.5	92.5	85.9	41.3	71.8	94.6

表 1

表 2

不同先进方法的对比实验结果

模型方法	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
SOLO	130.1	365.3	70.4	6.9	38.4	87.5
QueryInst	172.22	464.05	76.1	21.6	50.0	90.4	76.1	28.7	51.2	88.8
PointRend	55.53	209.3	80.7	29.6	63.4	90.9	80.7	34.6	65.1	90.1
MSOA-Net	63.55	357.75	81.4	31.7	65.5	90.6	83.2	37.5	68.4	92.3
DetectoRS	134.3	437.35	81.7	32.6	65.1	91.4	84.0	38.1	68.8	93.0
本文方法	58.8	304.7	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5

表 2

表 3

本文方法中各模块的消融实验

+MSEM	+GLFCM	Transformer类型	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
×	×	×	43.75	258.1	79.3	29.0	61.8	89.5	80.6	33.6	64.1	90.2
√	×	×	56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6
×	√	原始	46.11	459.4	81.6	32.9	64.5	91.3	82.8	38.3	67.3	92.0
×	√	线性	45.92	291.7	81.5	32.7	64.8	91.3	83.0	37.4	67.4	92.1
√	√	原始	60.7	577.3	82.2	34.3	65.5	91.9	83.4	39.8	68.6	92.2
√	√	线性	58.8	304.7	82.2	33.9	65.6	91.9	83.7	39.5	68.4	92.5

表 3

表 4

MSEM模块的消融实验

+空洞卷积模块	+空间注意力模块	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
×	×	43.7	258.1	79.3	29.0	61.8	89.5	80.6	33.6	64.1	90.2
×	√	43.9	258.3	79.4	28.9	61.9	89.6	80.6	33.4	64.2	90.2
√	×	56.5	270.9	79.8	30.0	62.5	89.7	81.3	34.8	65.3	90.5
√	√	56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6

表 4

图 8

图 9

表 A1

MSEM模块增强不同特征对网络效果的提升作用的对比实验

$F 5$	$F 4$	$F 3$	Params/M	FLOPs/G	$A P m a s k$	$A P S m a s k$	$A P M m a s k$	$A P L m a s k$	$A P b b o x$	$A P S b b o x$	$A P M b b o x$	$A P L b b o x$
√			56.7	271.1	80.1	30.2	63.0	90.0	81.5	35.0	65.7	90.6
√	√		67.1	312.5	80.0	30.4	62.8	89.8	81.5	34.7	65.7	90.8
√	√	√	76.1	457.4	80.2	30.5	63.0	89.9	81.6	35.1	65.8	90.8

表 A1

参考文献 32

1	OSCO L P， MARCATO J Jr， MARQUES RAMOS A P， et al. A review on deep learning in UAV remote sensing［J］. International Journal of Applied Earth Observation and Geoinformation， 2021， 102： 102456.
2	ZHANG H， SUN H， AO W， et al. A survey on instance segmentation： Recent advances and challenges［J］. International Journal of Innovative Computing， Information and Control， 2021， 17（3）： 1041-1053.
3	MOU L C， ZHU X X. Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（11）： 6699-6711.
4	AMMOUR N， ALHICHRI H， BAZI Y， et al. Deep learning approach for car detection in UAV imagery［J］. Remote Sensing， 2017， 9（4）： 312.
5	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［DB/OL］. arXiv preprint： 1409.1556， 2014.
6	AUDEBERT N， LE SAUX B， LEFÈVRE S. Segment-before-detect： Vehicle detection and classification through semantic segmentation of aerial images［J］. Remote Sensing， 2017， 9（4）： 368.
7	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： A deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
8	BOLYA D， ZHOU C， XIAO F Y， et al. YOLACT： Real-time instance segmentation［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 9156-9165.
9	TIAN Z， SHEN C H， CHEN H. Conditional convolutions for instance segmentation［M］∥Computer Vision–ECCV 2020. Cham： Springer International Publishing， 2020： 282-298.
10	SU H， HUANG P， YIN J， et al. Faster and better instance segmentation for large scene remote sensing imagery［C］∥IGARSS 2022 - 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2022： 2187-2190.
11	YU F， WANG D Q， SHELHAMER E， et al. Deep layer aggregation［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 2403-2412.
12	TAN M X， PANG R M， LE Q V. EfficientDet： Scalable and efficient object detection［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 10778-10787.
13	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2017： 2980-2988.
14	WANG J W， DING J A， GUO H W， et al. Mask OBB： A semantic attention-based mask oriented bounding box representation for multi-category object detection in aerial images［J］. Remote Sensing， 2019， 11（24）： 2930.
15	PAN T， DING J， WANG J W， et al. Instance segmentation with oriented proposals for aerial images［C］∥IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE Press， 2021： 988-991.
16	HU J， CAO L J， LU Y， et al. ISTR： End-to-end instance segmentation with transformers［DB/OL］. arXiv preprint： 2105.00637， 2021.
17	ZHANG W， LIU C S， CHANG F L， et al. Multi-scale and occlusion aware network for vehicle detection and segmentation on UAV aerial images［J］. Remote Sensing， 2020， 12（11）： 1760.
18	CAI Z W， VASCONCELOS N. Cascade R-CNN： High quality object detection and instance segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1483-1498.
19	CHEN K， PANG J M， WANG J Q， et al. Hybrid task cascade for instance segmentation［C］∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 4969-4978.
20	SU H， WEI S J， LIU S， et al. HQ-ISNet： High-quality instance segmentation for remote sensing imagery［J］. Remote Sensing， 2020， 12（6）： 989.
21	VASWANI A， BRAIN G， SHAZEER N， et al. Attention is all you need［C］∥Advances in Neural Information Processing Systems， 2017： 30.
22	QIN Z， LI Z M， ZHANG Z N， et al. ThunderNet： Towards real-time generic object detection on mobile devices［C］∥2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2020： 6717-6726.
23	YANG M K， YU K， ZHANG C， et al. DenseASPP for semantic segmentation in street scenes［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 3684-3692.
24	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2018： 7794-7803.
25	PECORARO R， BASILE V， BONO V. Local multi-head channel self-attention for facial expression recognition［J］. Information， 2022， 13（9）： 419.
26	TSAI Y H H， BAI S J， YAMADA M， et al. Transformer dissection： A unified understanding of transformer’s attention via the lens of kernel［DB/OL］. arXiv preprint： 1908.11775， 2019.
27	KATHAROPOULOS A， VYAS A， PAPPAS N， et al. Transformers are RNNs： Fast autoregressive transformers with linear attention［DB/OL］. arXiv preprint： 2006.16236， 2020.
28	QIN Z， SUN W X， DENG H， et al. cosFormer： Rethinking softmax in attention［DB/OL］. arXiv preprint： 2202.08791， 2022.
29	WANG X L， KONG T， SHEN C H， et al. SOLO： Segmenting objects by locations［M］∥Computer Vision- ECCV 2020. Cham： Springer International Publishing， 2020： 649-665.
30	FANG Y X， YANG S S， WANG X G， et al. Instances as queries［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2022： 6890-6899.
31	KIRILLOV A， WU Y X， HE K M， et al. PointRend： Image segmentation As rendering［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 9796-9805.
32	QIAO S Y， CHEN L C， YUILLE A. DetectoRS： Detecting objects with recursive feature pyramid and switchable atrous convolution［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2021： 10208-10219.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

[1]	王海峰, 刘坤澎, 江泓鑫, 杜晨曦. 螺旋桨多设计点气动优化方法和变桨距角策略[J]. 航空学报, 2024, 45(9): 528831-528831.
[2]	赵春晖, 刘安萌, 吕洋, 潘泉. 无人机韧性自主定位技术综述[J]. 航空学报, 2024, 45(8): 28839-028839.
[3]	张薇, 何若俊. 面向物联网数据收集的无人机自主路径规划[J]. 航空学报, 2024, 45(8): 329054-329054-1.
[4]	赵靖, 宋丹. 无人机GNSS/IMU组合导航系统完好性监测方法[J]. 航空学报, 2024, 45(7): 328943-328943.
[5]	王传云, 苏阳, 王琳霖, 王田, 王静静, 高骞. 面向反制无人机集群的多目标连续鲁棒跟踪算法[J]. 航空学报, 2024, 45(7): 329017-329017.
[6]	尹洪玉, 吴宇, 梁天骄. 固定翼无人机巡逻覆盖协同路径规划方法[J]. 航空学报, 2024, 45(6): 328944-328944.
[7]	罗旭东, 吴一全, 陈金林. 无人机航拍影像目标检测与语义分割的深度学习方法研究进展[J]. 航空学报, 2024, 45(6): 28822-028822.
[8]	安朝, 霍贵玺, 孟杨, 谢长川, 杨超. 翼尖铰接组合式无人机气动建模方法及布局参数影响[J]. 航空学报, 2024, 45(6): 629587-629587.
[9]	李广佳, 王红波, 张凯, 仪志胜. 临近空间太阳能无人机增升减阻技术综述[J]. 航空学报, 2024, 45(5): 529644-529644.
[10]	蔡云鹏, 周大鹏, 丁江川. 具有防撞安全约束的无人机集群智能协同控制[J]. 航空学报, 2024, 45(5): 529683-529683.
[11]	王祝, 张梦通, 张振鹏, 徐广通. 基于多指标动态优先级的无人机协同路径规划[J]. 航空学报, 2024, 45(4): 328816-328816.
[12]	郑高杰, 何小明, 李东坡, 谭慧俊, 汪昆, 吴祯龙, 王德鹏. 尾部推进无人机双90°偏折进气道/蜗壳耦合流动特性[J]. 航空学报, 2024, 45(4): 128782-128782.
[13]	张清瑞, 刘赟韵, 孙慧杰, 朱波. 固定翼无人机紧密编队的鲁棒协同跟踪控制[J]. 航空学报, 2024, 45(1): 629233-629233.
[14]	甘纪强, 王小平. 基于虚拟样本生成的铺丝表面缺陷检测[J]. 航空学报, 2024, 45(1): 428624-428624.
[15]	郭洪振, 陈谋, 戴永东, 王茂飞. 分布式自适应事件触发四旋翼无人机编队控制[J]. 航空学报, 2023, 44(S2): 729917-729917.

基于特征增强和校准的航拍车辆实例分割方法

Instance segmentation for vehicle in UAV aerial images based on feature enhancement and calibration

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 32

相关文章 15

编辑推荐

Metrics

本文评价