基于鱼眼相机和RGBD相机的异构协同SLAM

doi:10.7527/S1000-6893.2022.27621

电子电气工程与控制

本期目录 | 过刊浏览 | 高级检索

前一篇 |

基于鱼眼相机和RGBD相机的异构协同SLAM

张宇桐, 宋建梅, 丁艳(), 刘锦鹏

北京理工大学宇航学院，北京 100081

收稿日期:2022-06-14 修回日期:2022-08-04 接受日期:2022-09-15 出版日期:2022-10-09 发布日期:2022-09-30
通讯作者: 丁艳 E-mail:dingyan@bit.edu.cn
基金资助:
国家自然科学基金(61873031)

Heterogeneous collaborative SLAM based on fisheye and RGBD cameras

Yutong ZHANG, Jianmei SONG, Yan DING(), Jinpeng LIU

School of Aerospace Engineering，Beijing Institute of Technology，Beijing 100081，China

Received:2022-06-14 Revised:2022-08-04 Accepted:2022-09-15 Online:2022-10-09 Published:2022-09-30
Contact: Yan DING E-mail:dingyan@bit.edu.cn
Supported by:
National Natural Science Foundation of China(61873031)

摘要/Abstract

摘要：

SLAM技术在卫星导航拒止环境下的自主导航中有着广泛的应用前景。结合单目鱼眼SLAM可获取更多纹理信息的优势和RGBD-SLAM可直接获取尺度信息的优势，设计基于单目鱼眼相机和RGBD相机的异构协同SLAM系统。首先设计特征点对三维灰度质心方向一致性检验方法以筛选异构图像之间的候选匹配点。然后设计异构图像之间的分步式光流-投影匹配方法，以实现鱼眼相机和RGBD相机之间高性能的特征点匹配与相对位姿估计。最后基于ORB-SLAM2框架，提出基于鱼眼相机和RGBD相机的异构协同SLAM系统框架。实验结果表明：相比于传统的特征点匹配方法，设计的特征匹配方法在异构相机的图像特征匹配任务中能够表现出更高的性能。相比于单目鱼眼SLAM系统和RGBD-SLAM系统，提出的异构协同SLAM系统在相机快速移动、相机贴近景物、低帧率、纹理缺失等条件下，以及在相机纯旋转运动、室外大场景等条件下性能更优，其鲁棒性、抗轨迹漂移能力和轨迹精度比单目鱼眼SLAM系统和RGBD-SLAM系统都有较大提升。

关键词: 异构协同SLAM, 异构图像特征匹配, 鱼眼相机, RGBD相机, 候选匹配点筛选

Abstract:

SLAM technology has a the potential of wide applications in autonomous navigation in satellite navigation denied environments. To combine the advantages of monocular fisheye SLAM to obtain more texture information and RGBD-SLAM to directly obtain scale information， a heterogeneous collaborative SLAM system is designed based on a monocular fisheye camera and a RGBD camera. Firstly， a method for checking the 3D gray centroid direction consistency between feature points is designed to screen the candidate matching points between heterogeneous images. Then， a step-by-step optical flow and projection matching method between heterogeneous images is designed to achieve high-performance feature point matching and relative pose estimation between fisheye and RGBD camera. Finally， based on the ORB-SLAM2 framework， a heterogeneous collaborative SLAM system is proposed based on fisheye and RGBD camera. The experimental results show that compared with traditional feature point matching methods， the proposed feature point matching method shows higher performance in the task of image feature matching with heterogeneous cameras. Compared with the monocular fisheye SLAM and RGBD-SLAM system， the proposed heterogeneous collaborative SLAM system has better performance under the conditions of rapid camera movement， camera close to the scene， low frame rate， texture loss， pure rotation of the camera， outdoor large scenes， etc.， and demonstrates improved robustness， anti-drift ability and trajectory accuracy.

Key words: heterogeneous collaborative SLAM, heterogeneous image feature matching, fisheye camera, RGBD camera, candidate matching points filtering

中图分类号:

V249.3

张宇桐, 宋建梅, 丁艳, 刘锦鹏. 基于鱼眼相机和RGBD相机的异构协同SLAM[J]. 航空学报, 2023, 44(10): 327621-327621.

Yutong ZHANG, Jianmei SONG, Yan DING, Jinpeng LIU. Heterogeneous collaborative SLAM based on fisheye and RGBD cameras[J]. ACTA AERONAUTICAET ASTRONAUTICA SINICA, 2023, 44(10): 327621-327621.

图/表 29

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

图15

图16

图17

图18

表1

图19

图20

表2

图21

图22

图23

图24

图25

图26

图27

参考文献 39

1	赵良玉，金瑞，朱叶青，等. 基于点线特征融合的双目惯性SLAM算法［J］. 航空学报， 2022， 43（3）： 325117.
	ZHAO L Y， JIN R， ZHU Y Q， et al. Stereo visual-inertial slam with point and line features［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（3）： 325117 （in Chinese）.
2	谢洪乐，陈卫东，范亚娴，等. 月面特征稀疏环境下的视觉惯性SLAM方法［J］. 航空学报， 2021， 42（1）： 524169.
	XIE H L， CHEN W D， FAN Y X， et al. Visual-inertial SLAM in featureless environments on lunar surface［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（1）： 524169 （in Chinese）.
3	王小涛，张家友，王邢波，等. 基于FastSLAM的绳系机器人同时定位与地图构建算法［J］. 航空学报， 2021， 42（1）： 523893.
	WANG X T， ZHANG J Y， WANG X B， et al. Simultaneous localization and mapping algorithm based on FastSLAM framework for tethered robots［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（1）： 523893 （in Chinese）.
4	DAVISON A J， REID I D， MOLTON N D， et al. MonoSLAM： Real-time single camera SLAM［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.
5	KLEIN G， MURRAY D. Parallel tracking and mapping for small AR workspaces［C］∥ 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Piscataway： IEEE Press， 2008： 225-234.
6	KLEIN G， MURRAY D. Improving the agility of keyframe-based SLAM［C］∥European Conference on Computer Vision. Berlin： Springer， 2008： 802-815.
7	MUR-ARTAL R， MONTIEL J M M， TARDÓS J D. ORB-SLAM： A versatile and accurate monocular SLAM system［J］. IEEE Transactions on Robotics， 2015， 31（5）： 1147-1163.
8	LIN Y， GAO F， QIN T， et al. Autonomous aerial navigation using monocular visual-inertial fusion［J］. Journal of Field Robotics， 2018， 35（1）： 23-51.
9	WANG Y H， CAI S J， LI S J， et al. CubemapSLAM： A piecewise-pinhole monocular fisheye SLAM system［C］∥Asian Conference on Computer Vision. Cham： Springer， 2019： 34-49.
10	CARUSO D， ENGEL J， CREMERS D. Large-scale direct SLAM for omnidirectional cameras［C］∥2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Piscataway： IEEE Press， 2015： 141-148.
11	ENGEL J， SCHÖPS T， CREMERS D. LSD-SLAM： Large-scale direct monocular SLAM［C］∥European Conference on Computer Vision. Cham： Springer， 2014： 834-849.
12	ZHANG Z C， REBECQ H， FORSTER C， et al. Benefit of large field-of-view cameras for visual odometry［C］∥ 2016 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2016： 801-808.
13	FORSTER C， PIZZOLI M， SCARAMUZZA D. SVO： Fast semi-direct monocular visual odometry［C］∥2014 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2014： 15-22.
14	MATSUKI H， VON STUMBERG L， USENKO V， et al. Omnidirectional DSO： Direct sparse odometry with fisheye cameras［J］. IEEE Robotics and Automation Letters， 2018， 3（4）： 3693-3700.
15	ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.
16	JO Y G， HONG S H， HWANG S S， et al. Fisheye lens camera based autonomous valet parking system［DB/OL］. arXiv preprint： 2104.13119， 2021.
17	LIU S Y， GUO P， FENG L H， et al. Accurate and robust monocular SLAM with omnidirectional cameras［J］. Sensors （Basel， Switzerland）， 2019， 19（20）： 4494.
18	KHOMUTENKO B， GARCIA G， MARTINET P. An enhanced unified camera model［J］. IEEE Robotics and Automation Letters， 2016， 1（1）： 137-144.
19	CORREIA GARCIA T A， CAMPOS M B， CASTANHEIRO L F， et al. A proposal to integrate ORB-slam fisheye and convolutional neural networks for outdoor terrestrial mobile mapping［C］∥ 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. Piscataway： IEEE Press， 2021： 578-581.
20	URBAN S， HINZ S. MultiCol-SLAM - A modular real-time multi-camera SLAM system［DB/OL］. arXiv preprint： 1610.07336， 2016.
21	JI S P， QIN Z J， SHAN J. Panoramic SLAM from a multiple fisheye camera rig［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 159： 169-183.
22	MUR-ARTAL R， TARDÓS J D. ORB-SLAM2： An open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.
23	ZHANG Y， HUANG F. Panoramic visual SLAM technology for spherical images［J］. Sensors （Basel， Switzerland）， 2021， 21（3）： 705.
24	ZHAO Q， FENG W， WAN L， et al. SPHORB： A fast and robust binary feature on the sphere［J］. International Journal of Computer Vision， 2015， 113（2）： 143-159.
25	AUDRAS C， COMPORT A I， MEILLAND M， et al. Real-time dense appearance-based SLAM for RGB-D sensors［C］∥Proceedings of the 2011 Australasian Conference on Robotics and Automation， 2011.
26	NEWCOMBE R A， IZADI S， HILLIGES O， et al. KinectFusion： Real-time dense surface mapping and tracking［C］∥ 2011 10th IEEE International Symposium on Mixed and Augmented Reality. Piscataway： IEEE Press， 2012： 127-136.
27	WHELAN T， JOHANNSSON H， KAESS M， et al. Robust real-time visual odometry for dense RGB-D mapping［C］∥ 2013 IEEE International Conference on Robotics and Automation. Piscataway： IEEE Press， 2013： 5724-5731.
28	CHEN J W， BAUTEMBACH D， IZADI S. Scalable real-time volumetric surface reconstruction［J］. ACM Transactions on Graphics， 2013， 32（4）： 1-16.
29	ENDRES F， HESS J， STURM J， et al. 3-D mapping with an RGB-D camera［J］. IEEE Transactions on Robotics， 2014， 30（1）： 177-187.
30	HENRY P， KRAININ M， HERBST E， et al. RGB-D mapping： Using depth cameras for dense 3D modeling of indoor environments［M］∥Experimental Robotics. Berlin： Springer， 2014： 477-491.
31	BESL P J， MCKAY N D. Method for registration of 3-D shapes ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 1992， 14（2）：239-256.
32	LOWE D G. Object recognition from local scale-invariant features［C］∥Proceedings of the Seventh IEEE International Conference on Computer Vision. Piscataway： IEEE Press， 2002： 1150-1157.
33	SUMIKURA S， SHIBUYA M， SAKURADA K. OpenVSLAM： A versatile visual SLAM framework［C］∥Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2019： 2292-2295.
34	CAMPOS C， ELVIRA R， RODRÍGUEZ J J G， et al. ORB-SLAM3： An accurate open-source library for visual， visual⁃inertial， and multimap SLAM［J］. IEEE Transactions on Robotics， 2021， 37（6）： 1874-1890.
35	YOUSIF K， TAGUCHI Y， RAMALINGAM S. MonoRGBD-SLAM： Simultaneous localization and mapping using both monocular and RGBD cameras［C］∥ 2017 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway： IEEE Press， 2017： 4495-4502.
36	ZHANG Y T， SONG J M， DING Y， et al. FSD-BRIEF： A distorted BRIEF descriptor for fisheye image based on spherical perspective model［J］. Sensors （Basel， Switzerland）， 2021， 21（5）： 1839.
37	ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［M］∥Computer Vision⁃ECCV 2006. Berlin： Springer， 2006： 430-443.
38	MIKOLAJCZYK K， SCHMID C. A performance evaluation of local descriptors［C］∥ 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Proceedings. Piscataway： IEEE Press， 2003： 1-7.
39	URBAN S， LEITLOFF J， HINZ S. MLPnP - A real-time maximum likelihood solution to the perspective-n-point problem［DB/OL］.arXiv preprint： 1607.08112， 2016.

E-mail：hkxb@buaa.edu.cn

关于我们

期刊社服务

专业学科

封面文章

友情链接

主管单位：中国科学技术协会主办单位：中国航空学会北京航空航天大学

数据集	匹配次数	本文算法		暴力匹配		BoW		FLANN
数据集	匹配次数	匹配成功次数	匹配成功率/%	匹配成功次数	匹配成功率/%	匹配成功次数	匹配成功率/%	匹配成功次数	匹配成功率/%
1-花园	1 309	1 252	95.6	590	45.1	0	0	147	11.2
2-走廊	1 535	1 529	99.6	1 122	73.1	574	37.4	401	26.1
3-实验室1	1 815	1 767	97.4	1 219	67.2	75	4.1	420	23.1
4-办公室1	1 609	1 483	92.2	753	46.8	58	3.6	352	21.9
5-实验室2	6 435	6 211	96.5	3 813	59.3	146	2.3	1 200	18.6
6-办公室2	1 831	1 771	96.7	1 010	55.2	184	10.0	559	30.5

[1]	周泽波张泽亮彭鑫李滚陶洋王亮权罗鑫. 基于记忆融合模式的多无人机分散式协同导航方法[J]. 航空学报, 0, (): 0-0.
[2]	李家祥程建华李亮那志博贾春. GBAS对流层异常完好性监测参数研究[J]. 航空学报, 0, (): 0-0.
[3]	张怀捷, 马静雅, 刘浩源, 郭品, 邓慧超, 徐坤, 丁希仑. 视觉与惯性融合的多旋翼飞行机器人室内定位技术[J]. 航空学报, 2023, 44(5): 426964-426964.
[4]	苏剑宇, 方海燕, 高敬敬, 赵良. X射线脉冲星导航的最优观测周期确定[J]. 航空学报, 2023, 44(3): 526597-526597.
[5]	张洁赵琳杨福鑫孙治国李亮. 面向大众导航应用的PPP完好性监测方法[J]. 航空学报, 0, (): 0-0.
[6]	孙洪驰, 穆荣军, 龙腾, 李寿鹏, 崔乃刚. 临近空间飞行器北斗/INS高动态深组合导航方法[J]. 航空学报, 2022, 43(9): 325672-325672.
[7]	倪育德易茉涵刘瑞华. 北斗L/C双波段导航信号调制方式及性能评估[J]. 航空学报, 0, (): 0-0.
[8]	张洲宇, 曹云峰, 范彦铭. 低空小型无人机空域冲突视觉感知技术研究进展[J]. 航空学报, 2022, 43(8): 25645-025645.
[9]	李明, 胡辉, 郭萌, 禹飞, 谢虹群. 基于互相关移位相乘BOC (m,n)无模糊捕获算法[J]. 航空学报, 2022, 43(8): 325897-325897.
[10]	赵良玉, 金瑞, 朱叶青, 高凤杰. 基于点线特征融合的双目惯性SLAM算法[J]. 航空学报, 2022, 43(3): 325117-325117.
[11]	刘士明, 李四海, 郑江涛, 付强文, 陶渊博. 基于预滤波器和两级AIME的GNSS/INS超紧组合慢变故障检测[J]. 航空学报, 2022, 43(3): 325168-325168.
[12]	黄卫权, 方涛, 王宗义. 改进的格网惯导系统无阻尼综合校正方法[J]. 航空学报, 2020, 41(9): 323921-323921.
[13]	宁晓琳, 黄玉琳, 晁雯. 航天器太阳圆面速度差/太阳视方向组合导航[J]. 航空学报, 2020, 41(9): 324253-324253.
[14]	范颖, 何晓峰, 范晨, 胡小平, 吴雪松, 韩国良, 罗凯鑫. 多云天气条件下的大气偏振光定向方法[J]. 航空学报, 2020, 41(9): 324263-324263.
[15]	宁晓琳, 梁晓钰, 孙晓函, 王帆, 王龙华, 房建成. 地球卫星星光折射导航量测量及其性能对比[J]. 航空学报, 2020, 41(8): 623536-623536.

基于鱼眼相机和RGBD相机的异构协同SLAM

Heterogeneous collaborative SLAM based on fisheye and RGBD cameras

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 29

参考文献 39

相关文章 15

编辑推荐

Metrics

本文评价