基于深度集成学习的机载视觉感知鲁棒性设计与分析

doi:10.7527/S1000-6893.2025.32898

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于深度集成学习的机载视觉感知鲁棒性设计与分析

马赞¹^,², 张同杰¹, 白杰²(), 陈勇³, 田毅¹^,²

^1.中国民航大学安全科学与工程学院，天津 300300
^2.中国民航大学民用航空器适航审定技术重点实验室，天津 300300
^3.中国商用飞机有限责任公司上海飞机设计研究院，上海 200216

收稿日期:2025-10-13 修回日期:2025-11-10 接受日期:2025-12-02 出版日期:2025-12-29 发布日期:2025-12-25
通讯作者: 白杰 E-mail:jbai@cauc.edu.cn
基金资助:
国家重点研发计划(2022YFB3904300)

Robustness design and analysis of airborne visual perception based on deep ensemble learning

Zan MA¹^,², Tongjie ZHANG¹, Jie BAI²(), Yong CHEN³, Yi TIAN¹^,²

^1.College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China
^2.Key Laboratory of Civil Aircraft Airworthiness Certification Technology，Civil Aviation University of China，Tianjin 300300，China
^3.Shanghai Aircraft Design and Research Institute，Commercial Aircraft Corporation of China，Shanghai 200216，China

Received:2025-10-13 Revised:2025-11-10 Accepted:2025-12-02 Online:2025-12-29 Published:2025-12-25
Contact: Jie BAI E-mail:jbai@cauc.edu.cn
Supported by:
National Key Research and Development Program of China(2022YFB3904300)

摘要/Abstract

摘要：

基于机器学习的视觉感知功能对航空器在复杂环境下提升态势感知或自主飞行能力至关重要，其性能对飞行安全具有重大影响。而机器学习技术固有的概率特性对其满足适航安全目标造成巨大挑战，阻碍其在机载端的应用。因此，形成一种基于深度集成学习的机载视觉感知鲁棒性优化设计方法。首先，基于运行设计域生成高代表性数据集，提出基于CW-SSIM的K折交叉验证方法，在少量数据情况下提高训练集与验证集间独立性。其次，基于YOLO架构，引入深度可分离卷积，设计3种优化基学习器，分别通过多尺度特征融合、小目标检测的专注性提升和细粒度特征提取应对不同检测需求。最后，设计集成学习方法，采用加权自适应融合策略动态调整基学习器权重，提升模型的精度及鲁棒性。实验结果表明：集成学习模型比NMS、WBF等检测框融合算法具有更好的性能表现，并且在IoU≥0.7时，集成模型比单个模型平均的P值、R值和F1分数至少提高11.36%、2.06%和6.78%，在IoU≥0.75时，AP值至少提高约3%，所提方法在复杂环境中显著提高目标检测精度和鲁棒性，有效减少误判和漏判，为航空器安全飞行提供技术保障。

关键词: 机载视觉感知, 鲁棒性设计, 深度集成学习, K折交叉验证方法, 深度可分离卷积

Abstract:

The visual perception function based on machine learning is crucial for enhancing situational awareness or autonomous flight capabilities of aircraft in complex environments， and its performance has significant impact on flight safety. However， the inherent probabilistic nature of machine learning techniques poses substantial challenges to meeting airworthiness safety objectives， thereby hindering their application in airborne systems. To address this issue， a robustness-oriented design method for airborne visual perception based on deep ensemble learning is established. First， a highly representative dataset is generated based on the operational design domain， and a K-fold cross-validation method based on CW-SSIM is proposed to improve the independence between the training and validation sets with limited data. Second， based on the YOLO architecture， depthwise separable convolution is introduced， and three optimized base learners are designed to address different detection needs through multi-scale feature fusion， enhanced focus on small object detection， and fine-grained feature extraction. Finally， an ensemble learning method is designed using a weighted adaptive fusion strategy to dynamically adjust the weights of base learners， thereby improving the model accuracy and robustness. Experimental results show that the ensemble learning model outperforms detection box fusion algorithms such as NMS and WBF. When the IoU is not less than 0.7， the ensemble model improves the average P-value， R-value， and F1 score by at least 11.36%， 2.06%， and 6.78%， respectively， compared to a single model. When the IoU is no less than 0.75， the AP value increases by at least approximately 3%. These results indicate that proposed method significantly enhances target detection accuracy and robustness in complex environments， effectively reducing false positives and missed detections， and provides technical assurance for the safe flight of aircraft.

Key words: airborne visual perception, robustness design, deep ensemble learning, K-fold cross-validation method, depthwise separable convolutions

中图分类号:

V279

马赞, 张同杰, 白杰, 陈勇, 田毅. 基于深度集成学习的机载视觉感知鲁棒性设计与分析[J]. 航空学报, 2026, 47(12): 332898.

Zan MA, Tongjie ZHANG, Jie BAI, Yong CHEN, Yi TIAN. Robustness design and analysis of airborne visual perception based on deep ensemble learning[J]. Acta Aeronautica et Astronautica Sinica, 2026, 47(12): 332898.

图/表 26

表1

表2

图 1

表3

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图9

图 10

图 11

表4

图12

图 13

表5

表6

图 14

表7

表8

图 15

图 16

表9

图 17

参考文献 30

[1]	张辉，杜瑞，钟杭，等. 电力设施多模态精细化机器人巡检关键技术及应用［J］. 自动化学报， 2025， 51（1）： 20-42.
	ZHANG H， DU R， ZHONG H， et al. The key technology and application of multi-modal fine robot inspection for power facilities［J］. Acta Automatica Sinica， 2025， 51（1）： 20-42 （in Chinese）.
[2]	肖扬，周军. 图像边缘检测综述［J］. 计算机工程与应用， 2023， 59（5）： 40-54.
	XIAO Y， ZHOU J. Overview of image edge detection［J］. Computer Engineering and Applications， 2023， 59（5）： 40-54 （in Chinese）.
[3]	宫金良，孙科，张彦斐，等. 基于梯度下降和角点检测的玉米根茎定位导航线提取方法［J］. 农业工程学报， 2022， 38（13）： 177-183.
	GONG J L， SUN K， ZHANG Y F， et al. Extracting navigation line for rhizome location using gradient descent and corner detection［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（13）： 177-183 （in Chinese）.
[4]	LI Y H， GAN X C. An integrated fast Hough transform for multidimensional data［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 11365-11373.
[5]	LIU Z X， SHAO F. Feature point matching based on multi-scale local relative motion consistency［J］. IEEE Access， 2023， 11： 124845.
[6]	王秋富，石治国，张倬，等. 舰载机着舰引导中鲁棒单目视觉相对位姿测量［J］. 航空学报， 2024， 45（23）： 330309.
	WANG Q F， SHI Z G， ZHANG Z， et al. Robust monocular relative pose measurement for carrier-based aircraft landing guidance［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（23）： 330309 （in Chinese）.
[7]	陈树生，贾苜梁，林家豪，等. 生成式模型赋能飞行器技术应用研究进展与展望［J］. 航空学报， 2025， 46（10）： 631194.
	CHEN S S， JIA M L， LIN J H， et al. Empowering aircraft technology applications with generative models： Research progress and prospects［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（10）： 631194 （in Chinese）.
[8]	BALDUZZI G， FERRARI B， CHERNOVA A， et al. Neural network based runway landing guidance for general aviation autoland： DOT/FAA/TC-21/48［R］. Atlantic： FAA， 2021.
[9]	马赞，白杰，陈勇，等. 基于条件高斯PAC-Bayes的机载CNN分类器安全性评估［J］. 航空学报， 2025， 46（4）： 330824.
	MA Z， BAI J， CHEN Y， et al. Safety assessment for airborne CNN classifier based on conditional Gaussian PAC-Bayes［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（4）： 330824 （in Chinese）.
[10]	倪静，马波，杨朝旭，等. 视觉/惯性着陆组合引导方法设计与试验［J］. 航空学报， 2023， 44（S1）： 727636.
	NI J， MA B， YANG Z X， et al. Design and test of visual-inertial integrated method for landing guidance［J］.Acta Aeronautica et Astronautica Sinica，2023，44（S1）： 727636 （in Chinese）.
[11]	姜凌峰，李新凯，张海，等. 基于改进 TD3 算法的无人机动态环境无地图导航［J］. 航空学报， 2025， 46（8）： 331035.
	JIANG L F， LI X K， ZHANG H， et al. Mapless navigation of UAVs in dynamic environments based on an improved TD3 algorithm［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（8）： 331035 （in Chinese）.
[12]	U.S. Department of Defense. Unmanned systems integrated roadmap： Fiscal years 2017-2042［R］. Washington， D.C.： Office of the Secretary of Defense， 2017.
[13]	MICLEA V C， NEDEVSCHI S. Monocular depth estimation with improved long-range accuracy for UAV environment perception［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5602215.
[14]	WANG C Y， MENG L L， GAO Q， et al. A target sensing and visual tracking method for countering unmanned aerial vehicle swarm［J］. IEEE Sensors Journal， 2024， 24（19）： 30340-30351.
[15]	WANG S， CLARK R， WEN H K， et al. DeepVO： Towards end-to-end visual odometry with deep recurrent convolutional neural networks［C］∥2017 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2017： 2043-2050.
[16]	ROBERTS D R， BAHN V， CIUTI S， et al. Cross-validation strategies for data with temporal， spatial， hierarchical， or phylogenetic structure［J］. Ecography， 2017， 40（8）： 913-929.
[17]	YUE P Y， XIN J， ZHANG Y M， et al. Semantic-driven autonomous visual navigation for unmanned aerial vehicles［J］. IEEE Transactions on Industrial Electronics， 2024， 71（11）： 14853-14863.
[18]	SOLOVYEV R， WANG W M， GABRUSEVA T. Weighted boxes fusion： Ensembling boxes from different object detection models［J］. Image and Vision Computing， 2021， 107： 104117.
[19]	ZHOU H J， LI Z C， NING C C， et al. CAD： Scale invariant framework for real-time object detection［C］∥ 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. Piscataway： IEEE Press， 2018： 760-768.
[20]	YASEEN M. What is YOLOv8： An in-depth exploration of the internal features of the next-generation object detector［DB/OL］. arXiv preprint： 2408.15857， 2024.
[21]	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications［DB/OL］. arXiv preprint： 1704. 04861， 2017.
[22]	JEAN C， XAVIER H. Concepts of design assurance for neural networks ［R］. Cologne： EASA， 2020.
[23]	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.
[24]	SAMPAT M P， WANG Z， GUPTA S， et al. Complex wavelet structural similarity： A new image similarity index［J］. IEEE Transactions on Image Processing， 2009， 18（11）： 2385-2401.
[25]	GE H M， WANG L G， PAN H Z， et al. Affinity propagation based on structural similarity index and local outlier factor for hyperspectral image clustering［J］. Remote Sensing， 2022， 14（5）： 1195.
[26]	FIGUEIREDO R B D， MENDES H A. Analyzing information leakage on video object detection datasets by splitting images into clusters with high spatiotemporal correlation［J］. IEEE Access， 2024， 12： 47646-47655.
[27]	RADFORD A， KIM J W， HALLACY C， et al. Learning transferable visual models from natural language supervision［C］∥Proceedings of the 38th International Conference on Machine Learning （ICML 2021）. Proceedings of Machine Learning Research， 2021， 139： 8748-8763.
[28]	DENG D S. DBSCAN clustering algorithm based on density［C］∥2020 7th International Forum on Electrical Engineering and Automation （IFEEA）. Piscataway： IEEE Press， 2021： 949-953.
[29]	ANKERST M， BREUNIG M M， KRIEGEL H P， et al. OPTICS： Ordering points to identify the clustering structure［J］. ACM SIGMOD Record， 1999， 28（2）： 49-60.
[30]	TOKUDA E K， COMIN C H， COSTA L DA F. Revisiting agglomerative clustering［J］. Physica A： Statistical Mechanics and Its Applications， 2022， 585： 126433.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

运行概念	内容
应用场景	机载视觉旋翼机交通态势感知与告警
目标航空器类型	多旋翼无人机/通用航空运行
飞行规则与气象条件	目视飞行规则（Visual Flight Rules， VFR），白天复杂气象条件
特殊考虑	视觉感知为主/无需依赖ADS-B或雷达
空域类型	通用空域（非管制/轻度管制空域）
自动化程度	飞行员辅助告警与避让建议
系统资源约束	机载平台资源受限（计算力/存储/功耗）
飞行阶段	巡航阶段/任务飞行阶段（复杂环境）
无人机运行高度范围	相对地面高度（100~400 ft）
系统界面	地面站软件界面显示
决策点	告警提示/避让决策

运行参数	数值/范围
探测距离	1~1 000 m
无人机运行最低高度	70 ft AGL
无人机运行最高高度	200 ft AGL
环境温度范围（工作）	-15 ℃~+55 ℃
无人机姿态角（俯仰）	-30°~+30°
无人机姿态角（横滚）	-60°~+60°
视场角（垂直×水平）	60°×120°
1 d中的时间（太阳位置）	日出后1 h~日落前1 h
最低可见度	2 000 m
光照条件	白天自然光照
背景环境复杂度	复杂背景（城市、森林和低空）
无人机最大俯仰/横滚角速率	30 （°）/s
全年中的季节	所有季节

参数	场景类型	场景配置与对象	目标检测关注点
场景维度	城市	密集小型房屋、街道网格、少量车辆和行人	复杂背景小目标识别、杂波干扰
	森林	多层植被、动态阴影，树冠遮挡区域	遮挡检测、阴影适应性
	低空开阔区域	广阔天空与地面远景，少量建筑	远距离、低对比度目标检测
时间维度	（06∶00/08∶00/10∶00/12∶00/14∶00/16∶00开始），每时段持续2 h
环境变量	动态光照系统模拟真实太阳轨迹，阴影长度/方向/密度随时间自动变化
移动元素	车辆速度15~40 km/h，行人移动速度3~6 km/h，植被动态摆动幅度±15°
采集分辨率	960像素×640像素，30 帧/s，RGB+深度信息双通道采集

结构	参数量
结构	模型A	模型B	模型C
普通卷积	345 958	217 974	363 558
深度可分离卷积	205 828	112 237	223 052

方法	Precision	Recall	mAP@0.5∶0.95
NMS	0.575 5	0.833 2	0.740 7
NMW	0.577 7	0.836 3	0.749 8
WBF	0.574 9	0.835 3	0.748 3
本文方法	0.802 0	0.834 2	0.756 6

基于深度集成学习的机载视觉感知鲁棒性设计与分析

Robustness design and analysis of airborne visual perception based on deep ensemble learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 26

参考文献 30

相关文章 2

编辑推荐

Metrics

本文评价

阈值T	TV@0.95	TV@0.96	mAP@0.97∶0.99	总数量
0.71	45 890	13 574	3 320	62 784
0.72	45 580	13 540	3 319	62 439
0.73	44 972	13 241	3 264	61 477
0.74	43 207	12 700	3 157	59 064
0.75	42 309	12 524	3 254	58 087
0.76	42 763	12 779	3 472	59 014
0.77	43 584	13 028	3 587	60 199
0.78	43 694	13 148	3 617	60 459
0.79	44 071	13 192	3 319	60 582
0.80	43 434	13 084	3 316	59 834

聚类方法	Precision	Recall	mAP@0.5	mAP@ 0.5∶0.95
CW-SSIM	0.641 5	0.650 8	0.798 2	0.660 2
Agglomerative	0.699 0	0.711 3	0.804 1	0.694 9
DBSCAN	0.631 0	0.674 8	0.819 5	0.700 7
OPTICS	0.654 4	0.676 6	0.806 6	0.691 0
Random	0.815 3	0.856 7	0.954 9	0.842 8

模型	Precision	Recall	F1分数
A_1~A_5	0.802 0	0.834 2	0.817 8
A_1	0.707 2	0.785 6	0.744 4
A_2	0.725 4	0.795 1	0.758 7
A_3	0.734 6	0.830 0	0.779 4
A_4	0.741 0	0.821 5	0.779 2
A_5	0.720 2	0.828 9	0.770 7
B_1~B_5	0.814 7	0.844 8	0.829 4
B_1	0.691 3	0.808 9	0.745 5
B_2	0.732 8	0.796 2	0.763 22
B_3	0.752 5	0.808 9	0.779 6
B_4	0.721 8	0.797 3	0.757 7
B_5	0.704 3	0.789 9	0.744 6
C_1~C_5	0.800 6	0.839 5	0.819 6
C_1	0.723 6	0.818 4	0.768 1
C_2	0.703 8	0.787 8	0.743 4
C_3	0.756 8	0.821 5	0.787 8
C_4	0.694 7	0.809 9	0.747 9
C_5	0.748 8	0.802 5	0.774 7
AC（集成）	0.816 8	0.842 7	0.829 5
BC（集成）	0.831 6	0.850 1	0.840 7
AB（集成）	0.827 3	0.844 8	0.835 9
ABC（集成）	0.830 6	0.849 0	0.839 7

模型	AP				mAP@0.5∶0.95
模型	IoU=0.75	IoU=0.80	IoU=0.85	IoU=0.90	mAP@0.5∶0.95
A_1~A_5	0.954 8	0.834 9	0.564 0	0.203 4	0.756 6
A_1	0.922 0	0.777 7	0.498 3	0.165 4	0.732 1
A_2	0.926 0	0.785 9	0.523 7	0.187 9	0.738 4
A_3	0.927 8	0.805 3	0.498 1	0.182 9	0.740 6
A_4	0.929 1	0.813 1	0.540 8	0.173	0.742 8
A_5	0.938 5	0.818 4	0.498 3	0.154 6	0.736 5
B_1~B_5	0.947 7	0.856 5	0.562 9	0.194 3	0.755 1
B_1	0.929 4	0.774 6	0.493 2	0.157 6	0.729 8
B_2	0.925 6	0.780 4	0.502 5	0.197 3	0.735 2
B_3	0.936 2	0.810 2	0.487 3	0.167 5	0.736 2
B_4	0.924 1	0.790 3	0.500 0	0.177 8	0.733 8
B_5	0.928 9	0.812 8	0.491 7	0.163 7	0.730 9
C_1~C_5	0.960 4	0.843 2	0.572 6	0.201 1	0.759 2
C_1	0.940 9	0.818 4	0.502 4	0.192 3	0.744 6
C_2	0.922 3	0.781 2	0.491 1	0.169 7	0.731 3
C_3	0.930 7	0.810 4	0.545 0	0.231 7	0.751 5
C_4	0.948 8	0.802 6	0.493 5	0.164 2	0.739 1
C_5	0.926 1	0.800 1	0.517 1	0.174 5	0.731 0
AC	0.955 8	0.844 3	0.569 0	0.207 9	0.759 4
BC	0.952 0	0.868 8	0.569 7	0.207 2	0.759 0
AB	0.959 7	0.856 0	0.574 5	0.196 9	0.759 5
ABC	0.957 6	0.858 9	0.574 3	0.209 9	0.761 8

[1]	郭振东, 李豪杰, 宋立明, 张华良, 尹钊. 基于自适应稀疏混沌多项式的鲁棒性优化方法[J]. 航空学报, 2024, 45(19): 630273-630273.
[2]	郑新前, 王钧莹, 黄维娜, 伏宇, 程荣辉, 熊洪洋. 航空发动机不确定性设计体系探讨[J]. 航空学报, 2023, 44(7): 27099-027099.