基于共享骨干的快速双分支拼接同步检测框架
收稿日期: 2025-10-10
修回日期: 2025-11-10
录用日期: 2025-12-15
网络出版日期: 2026-01-09
基金资助
国家重点研发计划(2022YFA1003800);国家自然科学基金(62571273);天津市自然科学基金(25JCLMJC01090)
Fast dual-branch stitching and synchronous detection framework based on shared backbone
Received date: 2025-10-10
Revised date: 2025-11-10
Accepted date: 2025-12-15
Online published: 2026-01-09
Supported by
National Key Research and Development Program of China(2022YFA1003800);National Natural Science Foundation of China(62571273);Natural Science Foundation of Tianjin(25JCLMJC01090)
在低空遥感实时巡检中，受强视差、尺度变化、局部畸变影响，传统“先拼接后检测”的串联范式会产生特征冗余、引发误差级联，难以统一全局与局部几何变换，进而导致速度受限、鲁棒性不足。为此，提出一种基于共享骨干的快速双分支拼接同步检测框架FSDNet（Fast Stitching and Detection Network），该框架以预训练检测主干作为统一编码器，在拼接分支中嵌入注意力引导的局部上下文关联模块，从共享特征中显式回归细粒度几何流场，并设置全局单应粗配准、局部薄板样条细配准2条分支协同估计变换场，结合变换引导的检测框校正与强度自适应融合以提升几何-语义一致性。在UDIS-D、Warped AU-AIR数据集上的实验证明，相比典型串联基线，在保持高质量拼接的同时，本文方法FPS（Frames per Second）提升约66%，并在Warped AU-AIR上获得领先目标检测性能，验证了该方法的高效性、实用性。
杨子沣 , 徐夏 , 潘斌 . 基于共享骨干的快速双分支拼接同步检测框架[J]. 航空学报, 2026 , 47(10) : 532876 -532876 . DOI: 10.7527/S1000-6893.2025.32876
In low-altitude remote sensing for real-time inspection， strong parallax， scale variations， and local distortions make the traditional “stitch-then-detect” serial paradigm prone to feature redundancy and error cascading， and make it difficult to unify global and local geometric transformations， which in turn limits speed and weakens robustness. To address this， we propose Fast Stitching and Detection Network （FSDNet）， a fast dual-branch stitching and synchronous detection framework built on a shared backbone. The framework adopts a pretrained detection backbone as a unified encoder and embeds an attention-guided local context correlation module in the stitching branch to explicitly regress fine-grained geometric flow fields from shared features. In addition， two collaborative branches are designed for estimating the transformation fields： a global homography branch for coarse alignment and a local thin-plate spline branch for fine alignment. These are combined with transformation-guided detection box rectification and intensity-adaptive fusion to enhance geometric-semantic consistency. Experiments on UDIS-D and Warped AU-AIR demonstrate that， while maintaining high-quality stitching， the proposed method improves Frames per Second （FPS） by about 66% compared with typical serial baselines and achieves superior object detection performance on Warped AU-AIR， validating the efficiency and practicality of the approach.
| [1] | WANG L， YU W， LI B. Multi-scenes image stitching based on autonomous driving［C］∥2020 IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference （ITNEC）. Piscataway： IEEE Press， 2020： 694-698. |
| [2] | 廖小罕， 汤安琪， 岳焕印， 等. 无人机组网遥感： “高频次迅捷”到“全时全域”演进［J］. 遥感学报， 2025， 29（6）： 1515-1528. |
| LIAO X H， TANG A Q， YUE H Y， et al. Networked drone remote sensing： Evolution from“High-Frequency and Rapid Response”to“All-Time and All-Area Coverage”［J］. National Remote Sensing Bulletin， 2025， 29（6）： 1515-1528 （in Chinese）. | |
| [3] | 吴一全， 童康. 基于深度学习的无人机航拍图像小目标检测研究进展［J］. 航空学报， 2025， 46（3）： 030848 |
| WU Y Q， TONG K. Research advances on deep learning-based small object detection in UAV aerial images［J］. Acta Aeronautica et Astronautica Sinica， 2025， 46（3）： 030848 （in Chinese）. | |
| [4] | 于傲泽， 魏维伟， 王平， 等. 基于分块复合注意力的无人机小目标检测算法［J］. 航空学报， 2024， 45（14）： 629148. |
| YU A Z， WEI W W， WANG P， et al. Small target detection algorithm for UAV based on patch-wise co-attention［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（14）： 629148 （in Chinese）. | |
| [5] | 童康， 吴一全. 基于深度学习的小目标检测基准研究进展［J］. 电子学报， 2024， 52（3）： 1016-1040. |
| TONG K， WU Y Q. Research advances on deep learning based small object detection benchmarks［J］. Acta Electronica Sinica， 2024， 52（3）： 1016-1040 （in Chinese）. | |
| [6] | 刘延芳， 佘佳宇， 袁秋帆， 等. 无人机遥感图像实时小目标检测方法［J］. 航空学报， 2024， 45（14）：630119. |
| LIU Y F， SHE J Y， YUAN Q F， et al. Real-time small target detection networks for UAV remote sensing［J］. Acta Aeronautica et Astronautica Sinica， 2024， 45（14）： 630119 （in Chinese）. | |
| [7] | DETONE D， MALISIEWICZ T， RABINOVICH A. Deep image homography estimation［DB/OL］. arXiv preprint： 1606.03798， 2016. |
| [8] | LE H， LIU F， ZHANG S， et al. Deep homography estimation for dynamic scenes［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2020： 7649-7658. |
| [9] | NGUYEN T， CHEN S W， SHIVAKUMAR S S， et al. Unsupervised deep homography： A fast and robust homography estimation model［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 2346-2353. |
| [10] | NIE L， LIN C Y， LIAO K， et al. Unsupervised deep image stitching： Reconstructing stitched features to images［J］. IEEE Transactions on Image Processing， 2021， 30： 6184-6197. |
| [11] | REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2016： 779-788. |
| [12] | 李强， 王智， 崔书玮， 等. 融合多注意力机制的轻量化天基遥感目标检测算法［J］. 中国图象图形学报， 2025， 30（12）： 3955-3968. |
| LI Q， WANG Z， CUI S W， et al. Lightweight spaceborne remote sensing object detection algorithm with multi-attention mechanism［J］. Journal of Image and Graphics， 2025， 30（12）： 3955-3968 （in Chinese）. | |
| [13] | 曹峰， 曾科文， 李德玉， 等. 基于EIMYOLO的高分遥感图像目标检测［J］. 电子学报， 2025， 53（7）： 2266-2278. |
| CAO F， ZENG K W， LI D Y， et al. Object detection based on EIMYOLO for high-resolution remote sensing images［J］. Acta Electronica Sinica， 2025， 53（7）： 2266-2278 （in Chinese）. | |
| [14] | ZHOU Y， RUI T， LI Y R， et al. A UAV patrol system using panoramic stitching and object detection［J］. Computers & Electrical Engineering， 2019， 80： 106473. |
| [15] | 曾国奇， 牛子凡， 郑丽丽， 等. 基于球形变换的无人机视频图像实时拼接方法［J］. 航空学报， 2023， 44（24）： 328364. |
| ZENG G Q， NIU Z F， ZHENG L L， et al. A real time video image stitching method for UAV based on spherical transformation［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（24）： 328364 （in Chinese）. | |
| [16] | NIE L， LIN C Y， LIAO K， et al. Learning edge-preserved image stitching from multi-scale deep homography［J］. Neurocomputing， 2022， 491： 533-543. |
| [17] | LI J， WANG Z M， LAI S M， et al. Parallax-tolerant image stitching based on robust elastic warping［J］. IEEE Transactions on Multimedia， 2018， 20（7）： 1672-1687. |
| [18] | NIE L， LIN C Y， LIAO K， et al. Semi-supervised coupled thin-plate spline model for rotation correction and beyond［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（12）： 9192-9204. |
| [19] | NIE L， LIN C Y， LIAO K， et al. Parallax-tolerant unsupervised deep image stitching［C］∥2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway： IEEE Press， 2023： 7365-7374. |
| [20] | KHANAM R， HUSSAIN M. YOLOv11： An overview of the key architectural enhancements［DB/OL］. arXiv preprint： 2410.17725， 2024. |
| [21] | 李红光， 王菲， 丁文锐. 面向目标分类识别的多任务学习算法综述［J］. 航空学报， 2022， 43（1）： 024889. |
| LI H G， WANG F， DING W R. Survey on multi-task learning for object classification and recognition［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（1）： 024889 （in Chinese）. | |
| [22] | NIE L， LIN C Y， LIAO K， et al. Depth-aware multi-grid deep homography estimation with contextual correlation［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（7）： 4460-4472. |
| [23] | NEUBECK A， VAN GOOL L. Efficient non-maximum suppression［C］∥18th International Conference on Pattern Recognition （ICPR’06）. Piscataway： IEEE Press， 2006： 850-855. |
| [24] | NIE L， LIN C Y， LIAO K， et al. Deep rectangling for image stitching： A learning baseline［C］∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE Press， 2022： 5730-5738. |
| [25] | BOZCAN I， KAYACAN E. AU-AIR： A multi-modal unmanned aerial vehicle dataset for low altitude traffic surveillance［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2020： 8504-8510. |
| [26] | ZHANG J R， WANG C， LIU S C， et al. Content-aware unsupervised deep homography estimation［M］∥Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 653-669. |
/
| 〈 |
|
〉 |
CJA