文章快速检索  
  高级检索
惯性信息辅助的大视角目标快速精确定位
曾庆化1,2, 潘鹏举1,2, 刘建业1,2, 王云舒1,2, 刘昇3     
1. 南京航空航天大学 自动化学院, 南京 211106;
2. 卫星通信与导航协同创新中心, 南京 211106;
3. 中航工业洛阳电光设备研究所, 洛阳 471009
摘要: 目标定位技术广泛应用于航空领域的侦察机、无人机等各类侦察打击任务中,目标定位精度的高低及效率对作战效果具有重要影响。针对仿射尺度不变的特征变换(ASIFT)算法对远距离大视角目标定位精度较低、速度较慢的问题,提出了一种基于惯性信息辅助的大视角目标快速精确定位方法。该方法首先对目标实测序列图像构造尺度空间,结合FAST特征检测与FREAK特征描述的方式进行匹配,实现对待定位目标的快速提取;然后利用机载惯性信息求解目标实测图与参考图之间的透视变换矩阵,利用该矩阵对实测图进行变换以减小图像间视角差异,克服了ASIFT算法盲目匹配计算的弊端,并通过FAST特征检测与FREAK特征描述相结合的方式提升了大视角图像的匹配速度;最后通过单应性矩阵映射关系实现对目标的精确定位。实验结果表明,大视角目标快速精确定位方法匹配耗时比ASIFT算法的减小了1个数量级,定位精度比目标平均值定位算法精度提高了1个数量级,有效提高了图像匹配定位在航空领域的应用效率。
关键词: 目标定位     惯性导航     大视角图像匹配     目标提取     定位精度    
Fast and accurate target positioning with large viewpoint based on inertial navigation system information
ZENG Qinghua1,2, PAN Pengju1,2, LIU Jianye1,2, WANG Yunshu1,2, LIU Sheng3     
1. College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China;
2. Satellite Communication and Navigation Collaborative Innovation Center, Nanjing 211106, China;
3. AVIC Luoyang Electro-optical Equipment Research Institute, Luoyang 471009, China
Received: 2017-02-10; Revised: 2017-03-12; Accepted: 2017-04-10; Published online: 2017-04-27 14:59
Foundation item: National Natural Science Foundation of China (61533008, 61104188, 61374115, 61603181); Funding of Jiangsu Innovation Program for Graduate Education (KYLX15_0277); the Fundamental Research Funds for Central Universities (NS2015037)
Corresponding author. ZENG Qinghua, E-mail:zengqh@nuaa.edu.cn
Abstract: Target location technology is widely used in aircraft and missiles for getting the position information of air-attack targets. The attack effect is directly affected by the efficiency of the target localization method. Considering the problem of low precision and slow speed of the Affine Scale-Invariant Feature Transform (ASIFT) algorithm, a new positioning method based on inertial navigation system information is proposed. The scale space of the target real-time sequence images is constructed, and is matched with the combination of Features from Accelerated Segment Test (FAST) and Fast REtinA Keypoint (FREAK) description. Fast extraction of the target is then achieved. The homography matrix between the real-time and the reference images is solved by using the information of the airborne inertial navigation system. The real-time images are then transformed by the homography matrix to reduce the difference between the real-time and the reference images, so as to overcome the problem of blind multiple matching calculation of the ASIFT algorithm. Through the combination of FAST feature detection and FREAK feature description, the matching speed of large viewpoint images is enhanced. The target is accurately located in the reference image by the homography matrix. The experimental results indicate that the calculation speed is increased by one order of magnitude compared with that of the ASIFT algorithm, and the positioning accuracy is increased by one order of magnitude compared with that of the existing target average positioning algorithm. The method proposed in the paper will be helpful in improving the efficiency of the figure-matching in the aerial application.
Key words: target location     inertial navigation     large viewpoint image matching     target extraction     positioning accuracy    

侦察机、导弹、无人机等航空飞行器在执行侦查定位等作战任务时,需要首先对重要目标进行精确定位,目标定位的精度和效率直接影响了后期作战任务的成败[1]。由于全球导航卫星系统(GNSS)的工作严重依赖无线电波,当GNSS接收机受到各种无线电干扰时,无法有效提供飞行载体的位置,更无法协助进行待侦查目标的定位。研究GNSS拒止环境下的基于航空器的高效目标定位技术具有极其重要的现实意义。

现有目标定位方式大多采取几何式定位方式和图像匹配定位方式[2]。几何式定位精度受飞行器自身在GNSS拒止情况下的导航系统及几何量测信息的精度影响较大[3]。图像匹配定位是一种通过将飞行器拍摄的目标图像与机载图像库进行匹配获取目标点的位置信息[4]的方法,通常是利用俯视拍摄图像实现对目标的定位[5-6]。然而在实际作战时,侦查飞行器一般处于距离待定目标较远的安全位置区,因此其拍摄得到的目标实测图像与机载的空基/星基俯视图像库之间存在较大的视角差异,目前通常的图像匹配算法很难采用上述大视角图像实现目标的高精度定位需求[5]。因此,研究针对大视角下的快速图像匹配算法和基于图像匹配特征点的目标快速精确定位是解决远距离大视角目标快速精确定位的重要问题。

当前大视角图像匹配算法主要分为两种[7]:一种是局部区域仿射不变算法,如MSER(Maximally Stable Extremal Regions)算法[8-9]等,通过将图像未知仿射变形局部区域归一化转换为标准形状弱化仿射变形影响,其对大视角图像匹配的适应性还有待进一步提升。另一种是视角模拟匹配算法,如:Morel和Yu提出的ASIFT(Affine-SIFT)算法[10]等,此类算法通过对照相机经度和纬度的随机采样实现对大视角图像的视角模拟和变换,实现大视角图像匹配,其运算速度不占优,效率较低。后继相关算法[11]对其进行改良,其效率仍受视角模拟变换过程约束。

由于惯性信息不受外界环境的影响,可实时自主获取,因此可采用机载惯性信息求解大视角图像间视角变换关系[12],从而有效地回避视角模拟变化过程。虽然目标实测图像与机载参考地图之间视角差异较大,但考虑到飞行器在拍摄目标区域图像时可拍摄多幅图像序列,这些目标实测图像序列之间的视角差异较小[13],该特点也有利于加快图像处理和目标提取的速度和精度。西北工业大学利用Harris角点检测和SIFT(Scale Invariant Feature Transform)特征检测结合的方式对航拍序列图像进行匹配[14],李书晓等[15]利用FAST(Features from Accelerated Segment Test)特征检测对航拍视频图像进行了快速配准。本文在继承前人成果的基础上,提出惯性信息辅助的大视角目标快速精确定位方法,该方法包含3个重要步骤,具体如下:

步骤1 结合FAST特征检测和FREAK(Fast REtinA Keypoint)特征描述对目标实时图像序列进行快速匹配,利用RANSAC算法对匹配结果进行优化,从目标实时图像序列中快速提取待定位目标(目标快速提取算法)。

步骤2 利用载机惯性信息求解待匹配图像间透视变换矩阵,对大视角图像进行视角模拟,克服现有ASIFT算法盲目遍历的缺点,提高视角模拟变换和图像匹配效率,通过FAST特征检测与FREAK特征描述结合的方式提升运算速度,利用随机抽样一致性(RANSAC)算法获取图像间单应性矩阵(快速大视角图像匹配算法)。

步骤3 将1) 中提取到的目标特征点通过步骤2得到的单应性矩阵映射到参考图上,实现目标精确定位(目标精确定位算法)。

文中分别从目标快速提取、大视角图像匹配、目标精确定位3个层面对本文所提出算法分别进行研究,实验结果表明,本文所提出算法能够在快速有效的提取目标的同时,保证大视角图像匹配效果,提高匹配效率,并有助于获得目标的精确定位结果。

1 目标快速提取算法

飞行器对目标进行定位时需要对目标进行拍摄,以获取目标实测图像信息。由于大视角条件下目标在实测图像中与参考图像中的成像差异较大,为了提高实测图像与参考图像匹配正确率,飞行器相机通过焦距调节可以获取包含目标的较大区域图像,图 1所示为目标实测图像序列,通过该序列图像可提升与参考图像的匹配正确率。在此之前,需要首先对目标实测图像序列进行匹配处理,从而在包含目标的较大区域图像中获取目标所在的有效像素区域。考虑到目标实测图像序列之间存在着较大的尺度差异,因此,需要研究快速尺度不变的图像匹配算法。

图 1 不同距离下目标图像 Figure 1 Target image at different distances
1.1 快速尺度不变特征检测算法

常用的特征检测算法有SIFT、SURF(Speeded-Up Robust Features)、FAST特征检测算法,FAST算法已被证明是这其中速度最快的特征检测算法[16],FAST特征检测是首先设定一个圆形区域,然后以图像中任意像素点作为圆心P点,将P点像素灰度值与圆形区域内16个像素点灰度值进行比较,如图 2所示。

图 2 FAST特征检测 Figure 2 FAST feature detection
(1)

式中:m为圆心P处像素点灰度值; piP点圆形区域内各个像素点灰度值; Δd为给定判决阈值。当mpi差的绝对值大于Δd时,记为一个点,若这样的点多于9个,则将P点视为角点。然而,通过上述步骤对图像检测得到的特征点不具备尺度不变性,需要对FAST算法进行改进。

为了使该算法具备尺度不变性,需要对输入图像进行尺度空间的构建。

一个图像的尺度空间L(x, y, σ)定义为一个变化尺度的高斯函数G(x, y, σ)与原图像I(x, y)的卷积:

(2)

式中:

(3)

其中:mn为高斯模板的大小;(x, y)为图像像素位置;σ为尺度空间参数;*表示卷积运算。

SIFT算法是一种常用的尺度不变图像匹配算法[10],其对输入图像构造高斯差分金字塔,然后在塔内检测特征点,保证了检测到的特征点具备尺度不变性。

本文对SIFT算法所构造的图像尺度空间进行针对性简化,一方面通过将该尺度空间与FAST特征结合弥补FAST特征所不具备的尺度不变性,另一方面减少了因构造尺度空间所消耗的时间。本文的改进点如下:

1) SIFT算法需要对输入的图像分别构造尺度空间,由于目标实测图像序列的尺度关系容易确定,因此本文采用小范围目标图像构造尺度空间的方式减少尺度空间的构造时间。

2) SIFT算法在构造尺度空间时,需要对输入图像不断重复降采样和高斯模糊过程,考虑到小范围目标实测图像与大范围目标实测图像之间包含目标的共同特征,因此,本文采用对小范围目标图像进行重复降采样,省略高斯模糊步骤。

1.2 快速特征描述算法

随着对匹配速度要求的进一步提高,Alahi等于2012年提出FREAK特征描述算法[17]。FREAK特征描述通过模拟人类视网膜成像特性进行图像像素点采样设置,选择相应点对,其学习了人类视网膜分区域获取视觉信息的原理,是一种二进制描述算子,计算速度远快于SIFT和SURF,但是其不具备尺度不变性,在目标存在尺度差异情况下,图像的匹配准确度较低。为此,本文结合此前改进的快速尺度不变特征检测算法,利用FREAK特征描述与其配合进行图像匹配,可以在提升整体算法计算速度的同时保持尺度不变性。

FREAK描述算子像素点采样分布与视网膜获取视觉信息的分区域结构相似,以特征点为中心,采样像素点位置均匀分布在其他圆圆心上,如图 3所示。

图 3 FREAK描述符的构造 Figure 3 Structure of FREAK descriptor

图 3中Fovea和Para对应视网膜结构中央凹区,能获取高清图像信息,可识别图像具体内容;Peri对应视网膜结构周边区,能获取分辨率较低的模糊图像信息,可识别图像大致轮廓;假设特征点的尺度为σ,则同心圆半径为M1σM2σ,…,Mk为采样像素点层数。与位于中心处的特征点间隔越小则采样像素点越密集;否则采样像素点越零散。

每个采样像素点需进行平滑滤波去噪,常用高斯函数实现,周围圆半径为高斯核函数半径。通过对采样像素点对进行强度比较,将结果级联在一起组成FREAK描述算子,因此其本质属于二进制比特序列。

假设F是某特征点的FREAK描述符,则

(4)

式中:

(5)

其中:Pa为采样像素点对(下标a为采样点所在同心圆序号);Par1Par2分别为像素点对中第1个点和第2个点的二维坐标向量;n为特征向量数;I(Pari)为采样像素点经过高斯滤波后的强度值。假设N为采样点的个数,则描述向量共有CN2维。工程上从图像数据中筛选出高信息量维度的步骤如下:

步骤1  建立矩阵D,矩阵每行代表一个FREAK描述符,共包含CN2个元素。

步骤2  对D每一列计算方差,方差越大表示该列携带信息越多;首先保留方差最大的一列,接着计算其他列与该列的协方差,选择协方差较小的一列加入到新组成的描述向量中。

步骤3  设置维数上限Nmax,若到达上限则停止,否则继续进行步骤2,由于前512列向量的相关性最强,所以Nmax一般为512,在此基础上继续增大Nmax,对于匹配效果的提升作用不大。

对上述步骤得到对比集合中差异性较大的部分集合进行局部梯度求和可以确定特征点方向。FREAK算法通常选取外面5层采样点,构成的45个点对(如图 3所示,图中每一条线段即代表一个点对),特征点方向用式(6) 进行角度计算:

(6)

式中:G图 3特征点对比点对集合;M为集合G中点排列数;I(Por1)为Po的后一位像素点的灰度值;Por1Por2分别为Po的前一位和后一位的采样特征点空间坐标二维向量。

1.3 图像序列匹配结果优化

图像序列经过上述快速尺度不变特征检测得到特征点,然后通过FREAK算法对特征点进行描述和匹配后,还需要RANSAC算法对匹配后的结果进行优化,剔除错误匹配点并获取图像间单应性矩阵,从而精确的从匹配结果中提取出目标有效像素区域。

利用RANSAC算法[18]剔除匹配错误点并获取图像间单应性矩阵的步骤如下:

定义匹配后得到的初步匹配点对为外点,匹配点对坐标分别用(x, y)和(x′, y′)表示,这两点之间对应的单应性矩阵用H表示,则

(7)

RANSAC算法目的是找到最优的H矩阵使满足该矩阵的匹配特征点个数最多,h33通常为1,用来归一化矩阵,s为尺度系数;上述矩阵共有8个未知量,至少需要8个线性方程来求解,因此至少需要4组匹配点对,获取到图像之间多于4个的匹配特征点对后,进行如下操作:

1) 随机从特征点对中抽取4个不共线的特征点对,代入式(7) 中计算出单应性矩阵H,设定为模型Mmodel

2) 计算特征点对中所有特征点对与模型Mmodel的投影误差(也称代价函数),计算公式为

(8)

若误差小于设定阈值,加入内点集合I

3) 若当前内点集合I元素大于最优内点集合I_best,则更新I_best,同时利用式(9) 更新迭代次数K

(9)

式中:p=0.995为置信度;w为内点的比例;m=4为计算模型所需要的最少特征点对数。

4) 若迭代次数大于设定值K,结束操作,否则迭代次数加1,并重复上述操作。

通过上述步骤即可实现对图像序列的匹配结果进行优化,从而获取目标的精确像素区域。

2 快速大视角图像匹配算法

当飞行器离目标较远时,载机光电系统拍摄的目标实测图与机载参考图之间的视角差异通常在60°以上[19],如图 4所示。

图 4 视角差异较大的实测图与参考图 Figure 4 Perspective difference between measured and reference images

传统的SIFT、MSER算法中对上述图像进行匹配效果均不理想,ASIFT算法虽然能通过对大视角下两幅图像进行仿射变换实现大视角图像匹配,但由于其仿射变换获取模拟图像集后,需要在图像集之间两两匹配,因此导致其计算速度较慢、耗时较多。

本文研究的快速大视角图像匹配算法主要包括如下两步:

1) 基于惯性信息计算出目标实测图与参考图之间的透视变换矩阵,利用该矩阵直接对目标大视角实测图进行变换,避免了ASIFT算法盲目多次的仿射变换与匹配。

2) 基于FAST特征检测与FREAK特征描述结合,对变换后实测图像与参考图像进行快速匹配,由于通过透视变换后的实测图像与参考图像视角和尺度差异均不大,因此,可省略尺度空间构建过程。

2.1 目标定位多视角成像透视变换模型

飞行器拍摄远距离目标p时示意图如图 5所示,卫星相机拍摄机载参考图,机载光学相机拍摄目标实测图。Og-XgYgZg为地理坐标系;Oc′-Xc′Yc′Zc′为卫星相机坐标系;Ob-XbYbZb为载机机体坐标系;Oc-XcYcZc为载机携带的光学相机坐标系。

图 5 远距离目标定位坐标系 Figure 5 Coordinate system in long distance target location

由相机成像原理可知,对于实测图与参考图中的同一目标点p,存在如下关系[20]

(10)
(11)

式中:upavpap点在参考图中的坐标;upbvpbp点在实时图中的坐标;xpgypgzpgp点在地理系中的坐标;sasb为尺度因子;K3×3aK3×3b分别为卫星相机和机载相机的内部参数,通过相机标定获取;R3×3aT3×1aR3×3bT3×1b分别为

卫星相机和机载相机的外部参数,分别用来描述两部相机相对地理系的位姿关系。通常考虑待定位目标位于地面上,此时zpg≡0,对式(10) 及式(11) 化简可得

(12)
(13)

式中:r1ar2ar1br2b分别为矩阵R3×3aR3×3b的前两列;H3×3aH3×3b分别为物体与卫星相机之间的单应性矩阵以及物体与载机相机之间的单应性矩阵,分别描述了物体平面到各自图像平面的映射,与此同时表征了这两个平面的相对位置和相机投影矩阵,由式(12) 及式(13) 可得

(14)

式中:H3×3ab为实测图到参考图变换的透视变换矩阵,该矩阵构建了实测图像上的像素点位置和参考图上的像素点位置之间的联系,因此,求出透视变换矩阵即可直接利用其对实测图像进行视角变换,避免多次视角变换模拟过程。

2.2 基于惯性信息的透视变换矩阵求解

由式(14) 可得

(15)

式中:已知,因此,只需求出Ccc′即可获得实测图到参考图变换的单应性矩阵。

Ccc′为机载相机坐标系到卫星相机坐标系的坐标转换矩阵,如图 5所示,可知该矩阵可通过数次坐标系转换求得,转换关系如图 6所示。

图 6 坐标系转换关系 Figure 6 Transformation between coordinate systems

图 6可知

(16)

式中:Ccb为机载相机坐标系到载机坐标系的坐标转换矩阵,假设机载稳定平台相对载机的方位角为α,俯仰角为β,则由坐标系关系推导可得

(17)

同理,假设载机相对地理系的航向角为ψ,俯仰角为θ,横滚角为γ,则

(18)

考虑到卫星在拍摄参考图时相机光轴基本垂直于地面,结合图 6中的坐标系关系可知

(19)

综上所述,利用载机相对地理系的航向角ψ、俯仰角θ、横滚角γ以及机载相机稳定平台相对载机的方位角α、俯仰角β即可求出目标大视角实测图与参考图之间的透视变换矩阵H3×3ab,从而快速实现对实测图的视角变换,为后继目标点实测图像与机载参考图像进行匹配奠定基础。

3 目标精确定位算法

飞行器远距离拍摄目标时,目标实测图像与机载参考图像具有较大的形变和视角差异,在对目标实测图像和机载参考图匹配成功的基础上,还需要对目标进行精确定位。利用单应性矩阵可以获取两幅图像像素点之间的对应关系[21],因此,在本文目标快速提取算法的基础上利用RANSAC算法获取图像之间单应性矩阵[22]即可获取对应参考图中的目标精确像素区域,实现目标精确定位,具体步骤如下:

步骤1 利用目标快速提取算法的结果和透视变换矩阵获取目标点在变换后实测图像中的精确位置。

步骤2 利用RANSAC算法获取大视角图像匹配后目标实测图与参考图之间单应性矩阵。

步骤3  将变换后实测图像上目标有效像素通过步骤2获取的单应性矩阵映射至参考图像中获取目标精确位置。

一般来说,由图像匹配特征点获得目标定位结果方面常用的平均值定位方法进行实现。然而该方法将参考图中匹配得到的所有特征点求平均值实现对目标的定位,经常会由于目标区域附近没有足够多的特征点而导致误差急剧增大。

考虑到上述情况,本文采用了将目标点上的有效像素通过单应性矩阵映射到参考图中对目标精确定位。该方法针对性明显,能够特别实现对待定位目标的定位精度的提升。

4 算法实现流程

综合上述各部分内容,基于惯性信息辅助的大视角目标快速精确定位算法流程如图 7所示,主要包含以下步骤:

图 7 快速高精度目标定位算法示意图 Figure 7 Diagram for fast and high precision target localization algorithm

步骤1  载机拍摄目标获取目标实测图序列,并读取此时载机惯性导航系统信息,即载机相对地理系的三维位置、航向角ψ、俯仰角θ、横滚角γ以及此时机载相机稳定平台相对载机的方位角α、俯仰角β等。

步骤2 使用目标快速提取算法(尺度空间构建+FAST特征检测+FREAK特征描述)对目标实测图序列进行快速匹配:首先读取小范围目标实测图像,根据需要对其进行降采样获取降采样图像集,在降采样图像集内利用FAST算子检测特征点,再读取大范围目标实测图像进行FAST特征检测,最后利用FREAK算子分别进行特征描述和匹配。

步骤3 使用RANSAC算法剔除匹配结果中的错误匹配点,提取目标有效像素。

步骤4 利用步骤1中角度进行坐标变换矩阵CcbCbgCgc′求解,然后利用坐标变换矩阵求解实测图到参考图的透视变换矩阵H3×3ab

步骤5 通过透视变换矩阵H3×3ab对实测图视角变换,减小实测与参考图之间的视角差异后,使用快速图像匹配算法(FAST特征检测+FREAK特征描述)对两幅图像进行匹配,得到初始匹配结果。

步骤6 使用RANSAC算法剔除匹配结果中的错误匹配点,获取实时图与参考图之间的精确单应性矩阵H

步骤7 将步骤3中目标有效像素利用单应性矩阵H映射到参考图中获取目标精确位置。

5 实验验证

实验首先利用本文目标快速提取算法(改进FAST+FREAK)对图 1的目标实测图像序列进行了目标快速提取实验,与此同时对比了目前现有的相关算法的效果。

本文实验环境为64位Win10操作系统,内存4 G,Intel Pentinum(R)E5800处理器,实验软件为Matlab R2013+VS2016,实验结果如图 8所示。其中,SIFT、SURF以及本文提出的算法均具备尺度不变性,而FAST不具备尺度不变性。

图 8 图像序列算法匹配结果(4种算法) Figure 8 Image sequence algorithm matching results (four algorithms)

为了进一步的验证本文算法的匹配时间性能,本文利用10个不同场景,对10个待定目标进行实验,记录10组实验结果的平均值,结果如表 1所示。

表 1 图像序列算法匹配结果(8种算法) Table 1 Image sequence algorithms matching results (eight algorithms)
Algorithm Point Correct/% Time/s
SIFT 604 92 51.16
SURF 425 92 50.50
SIFT+FREAK 2 408 35 38.00
SURF+FREAK 3 526 40 25.00
FAST+SIFT 939 0 3.12
FAST+SURF 805 0 2.50
FAST+FREAK 469 0 0.10
Proposed 1 544 63 0.60

表 1可知,SIFT、SURF以及本文提出的算法(Proposed 1) 均具备尺度不变性,但是SIFT、SURF算法耗时较长,很难满足实时性要求,FAST虽然耗时最短,但是不具备尺度不变性,与此同时,在相同的FAST特征检测前提下,FAST+FREAK耗时相比FAST+SIFT、SURF得到了降低,证明了FREAK特征描述的快速性,本文提出的算法在具备尺度不变性的算法里耗时最短,能够满足实时性要求。

上述过程中,包含3种特征检测算法(SIFT,SURF和FAST)和3种特征描述算法(SIFT,SURF和FREAK)。为了对算法的时间复杂度进行分析,基于当前的实验平台,分别对特征检测和特征描述算法进行了实验,并分析了处理每个特征点的平均耗时。

表 2可知,FAST算法检测特征点平均耗时最短,验证了本文采用的特征检测算法的快速性。

表 2 图像序列算法特征检测时间复杂度分析 Table 2 Time complexity analysis of feature detection algorithm for image sequence
Algorithm Point Time/s Per time/s
SIFT 6 747 29.89 0.004 4
SURF 21 532 10.10 0.000 4
FAST 939 0.068 0.000 07

表 3可知,FREAK算子描述特征点平均耗时最短,验证了本文采用的特征描述算法的快速性。

表 3 图像序列算法特征描述时间复杂度分析 Table 3 Time complexity analysis of feature description for image sequence
Algorithm Point Time/s Per time/s
SIFT 6 747 17.70 0.002 6
SURF 21 532 35.25 0.001 4
FREAK 939 0.62 0.000 6

为了有效地对匹配特征点数、匹配正确率以及匹配耗时这三要素进行合理的综合评估,本文结合实际测试经验,提出如下指标公式对算法的性能进行评估:

(20)

式中:score为指标评分;point为特征点数目;correct为正确率;time为算法耗时。对表 1中各算法评估后,将评估结果图像化,如图 9所示。

图 9 本文提出算法1和其他图像算法最终得分对比 Figure 9 Final score comparison between proposed 1 and other algorithms

图 9可以看出,在对目标图像序列匹配时,本文快速尺度不变图像匹配算法综合表现最优,目标提取的结果如图 10所示。

图 10 目标提取结果 Figure 10 Target extraction results

实验利用快速大视角图像匹配算法(惯性信息+FAST+FREAK)针对目标大视角实测图像与参考图像进行了匹配实验,与此同时对比了现有的几种图像匹配算法。

本次实验用的相机内部参数如下:

实验所用惯性信息由SPAN-CPT系统提供,详细参数如表 4所示。

表 4 SPAN-CPT系统详细参数 Table 4 Detail parameters of SPAN-CPT attitude heading reference system
Parameter Gyroscope Accelerometer
Bias stability 1(°)·h-1 7.5×10-4g

实验所用的目标大视角实测图像及参考图像如图 4所示。

通过惯性信息可以获得相机的空间坐标和姿态角,如表 5所示。

表 5 相机外部参数 Table 5 Camera external parameters
Camera Coordinate/m Euler angle/(°)
X Y Z Yaw Pitch Roll
1 138 74 1061 179 0.3 0.8
2 117 18 296 -179 1.3 60

通过表 5中各相机姿态角和空间坐标可以算出世界坐标系变换到各个相机坐标系所需的旋转矩阵R和平移向量T表 6所示。

表 6 坐标系变换参数 Table 6 Coordinate transformation parameters
Camera R T
1
2

通过上述旋转矩阵和平移矩阵结合相机内部参数利用本文的公式可计算得到实测图像到参考图像所需要的透视变换矩阵:

利用该矩阵H对实测图像进行变换,结果如图 11所示。

图 11 图像透视变换结果 Figure 11 Results of image perspective transformation

大视角图像匹配实验结果如图 12所示。由图 12可知,当对大视角目标实测图像和参考图像进行匹配时,SIFT、SURF、FAST算法无特征点,无法完成匹配;ASIFT算法和本文快速大视角图像匹配算法(Proposed 2) 仍然可以较好的完成匹配。本次实验中,ASIFT算法共耗时2 906 s,匹配正确点数为1 593个;惯性信息辅助的快速大视角图像匹配算法仅耗时1.5 s,匹配正确点数为161个,在满足特征点数目基础上,其匹配耗时相对于ASIFT算法减小了1个数量级以上。

图 12 大视角图像匹配实验结果 Figure 12 Results of large viewing angle image matching

基于上述实验条件,本文利用10个不同场景,对10个待定目标进行研究,同时对比算法上增加了惯性信息辅助的SIFT、SURF、SIFT+FREAK、SURF+FREAK等多种算法,记录10组实验结果的平均值,结果如表 7所示。

表 7 大视角图像匹配算法匹配结果 Table 7 Results of large angle image matching algorithm
Algorithm Point Correct/% Time/s
SIFT 0 0 118
SURF 0 0 92
ASIFT 3 800 41 2 875
Inertia+SIFT 847 66 95
Inertia+SURF 639 72 82
Inertia+SIFT+FREAK 3 750 27 42
Inertia+SURF+FREAK 6 583 34 38
Proposed 2 680 24 2

利用式(15) 计算综合评估各算法性能,综合得分情况如图 13所示。由图 13可知,在对大视角图像进行快速匹配时,本文匹配算法综合性能表现最好。

图 13 本文提出算法2和其他图像算法最终得分对比 Figure 13 Final score comparison between proposed 2 and other algorithms

本文采用平均法与精确定位方法对比,分析对待定目标的最终定位结果,其结果如图 14所示,精确定位方法相对平均值定位方法能够有效实现对目标的高精度定位,定位误差平均为5个像素,而平均值法的定位误差在50个像素左右。

图 14 目标定位实验结果 Figure 14 Experimental results of target localization

为了核实本文算法精度,采用平均法与精确定位方法对10个不同的待定目标点进行了10组定位实验对比,对比实验结果如图 15所示。

图 15 目标定位方法误差对比 Figure 15 Error comparison of target location method

图 15可知,本文目标定位方法定位精度平均是5.2个像素,而平均值定位方法的定位精度为49.4个像素,误差平均减小了40个像素,将定位精度提高了一个数量级。

为了验证本文算法的通用性,除了上述实验数据验证外,课题小组还进行了其他的实测图像实验,结果均验证了本文算法的有效性。

6 结论

本文提出了一种基于惯性信息辅助的目标快速高精度定位方法,该方法由大视角图像快速匹配、目标实测图序列快速匹配及目标精确定位三大部分组成。实验结果表明:

1) 基于惯性信息辅助的快速大视角图像匹配算法能够实现大视角图像匹配,且匹配耗时相对于ASIFT算法减小了1个数量级。

2) 对目标进行精确定位方法的精度相对一般平均值定位方法精度也提高了1个数量级以上。

上述研究成果对于图像匹配在航空目标定位工程中的应用具有重要的参考价值。

参考文献
[1] 何率天. 空地精确打击体系构成与关键技术[J]. 兵工自动化, 2016, 35(6): 12–15.
HE S T. Space strike system construction and key technology of[J]. Automation, 2016, 35(6): 12–15. (in Chinese)
Cited By in Cnki | Click to display the text
[2] 邵慧. 无人机高精度目标定位技术研究[D]. 南京: 南京航空航天大学, 2014: 1-9.
SHAO H. Research on high precision target location technology of UAV[D]. Nanjing:Nanjing University of Aeronautics & Astronautics, 2014:1-9(in Chinese).
[3] 徐诚, 黄大庆. 无人机光电侦测平台目标定位误差分析[J]. 仪器仪表学报, 2013, 34(10): 2265–2270.
XU C, HUANG D Q. Target location error analysis of UAV electro-optical detection platform[J]. Chinese Journal of Scientific and Instrument, 2013, 34(10): 2265–2270. (in Chinese)
Cited By in Cnki (14) | Click to display the text
[4] 杨帅, 程红, 李婷, 等. 无人机侦察图像目标定位在军事上的应用研究[J]. 红外技术, 2016, 38(6): 467–471.
YANG S, CHENG H, LI T, et al. Application of infrared technology in military UAV reconnaissance image target localization[J]. Infrared Technology, 2016, 38(6): 467–471. (in Chinese)
Cited By in Cnki | Click to display the text
[5] JOSÉ R G B, HAROLDO F C V, GIANPAOLO C, et al. An image matching system for autonomous UAV navigation based on neural network[C]//201614th International Conference on Control, Automation, Robotics & Vision, 2016:1-6.
[6] JIANG S, CAO D, WU Y, et al. Efficient line-based lens distortion correction for complete distortion with vanishing point constraint[J]. Applied Optics, 2015, 54(14): 4432–4438.
Click to display the text
[7] 吴伟平. 局部仿射不变特征的提取技术研究[D]. 长春: 长春光学精密机械与物理研究所, 2015: 11-31.
WU W P. Research on local affine invariant feature extraction[D]. Changchun:Changchun Institute of Optics, Fine Mechanics and Physics, 2015:11-31(in Chinese).
[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image & Vision Computing, 2004, 22(10): 761–767.
[9] 于瑞鹏, 金丽鸿, 高宁, 等. 融合尺度和仿射不变特征的倾斜立体影像配准[J]. 测绘科学, 2016, 41(7): 138–143.
YU R P, JIN L H, GAO N, et al. Fusion of scale and affine invariant features for oblique stereo image registration[J]. Mapping Science, 2016, 41(7): 138–143. (in Chinese)
Cited By in Cnki | Click to display the text
[10] MOREL J M, YU G. ASIFT:A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438–469.
Click to display the text
[11] MA X M, LIU D, ZHANG J, et al. A fast affine-invariant features for image stitching under large viewpoint changes[J]. Neurocomputing, 2015, 151: 1430–1438.
Click to display the text
[12] 阳魁. 基于惯导信息的多视角目标模板校正与融合方法研究[D]. 长沙: 国防科学技术大学, 2011: 12-18.
YANG Q. Multi view object template ins information correction and fusion method of[D]. Changsha:National Defense Science and Technology University, 2011:12-18(in Chinese).
[13] 宋琳. 无人机飞行途中视觉导航关键技术研究[D]. 西安: 西北工业大学, 2015: 17-33.
SONG L. Research on key technology of visual navigation in the flight of unmanned aerial vehicle[D]. Xi'an:Northwestern Polytechnical University, 2015:17-33(in Chinese).
[14] 马旭, 程咏梅, 郝帅, 等. 面向未知区域深度测量的序列图像稠密点特征生成算法[J]. 航空学报, 2015, 36(2): 596–604.
MA X, CHENG Y M, HAO S, et al. Dense point feature generation algorithm based on monocular sequence images for depth measurement of unknown zone[J]. Acta Aeronautica et Astronautica Sinica, 2015, 36(2): 596–604. (in Chinese)
Cited By in Cnki (1) | Click to display the text
[15] 申浩, 李书晓, 申意萍, 等. 航拍视频帧间快速配准算法[J]. 航空学报, 2013, 34(6): 1405–1413.
SHEN H, LI S X, SHEN Y P, et al. Fast interframe registration method in aerial videos[J]. Acta Aeronautica et Astronautica Sinica, 2013, 34(6): 1405–1413. (in Chinese)
Cited By in Cnki (13) | Click to display the text
[16] ROSTEN D T. Machine learning for high-speed corner detection[C]//European Conference on Computer Vision, 2006:430-443.
[17] ALAHI A, ORTIZ R, VANDERGHEYNST P. FREAK:Fast retina keypoint[C]//Proceeding of the 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012:510-517.
[18] FISCHLER M A, BOLLES R C. Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381–395.
Click to display the text
[19] 田玉刚, 杨贵, 吴蔚. 高分影像辅助下的航空高光谱严密几何检校方法[J]. 航空学报, 2015, 36(4): 1250–1258.
TIAN Y G, YANG G, WU W. A strict geometric calibration method for airborne hyperspectral sensors aided by high resolution images[J]. Acta Aeronautica et Astronautica Sinica, 2015, 36(4): 1250–1258. (in Chinese)
Cited By in Cnki | Click to display the text
[20] 王云舒, 刘建业, 曾庆化, 等. 惯性信息辅助的快速大视角图像匹配方法[J]. 中国惯性技术学报, 2016, 28(4): 504–510.
WANG Y S, LIU J Y, ZENG Q H, et al. An image matching method with fast and large angle of view of in-ertial information[J]. Journal of Chinese Inertial technology, 2016, 28(4): 504–510. (in Chinese)
Cited By in Cnki | Click to display the text
[21] 洪磊, 田啟良, 嵇保健. 基于单应性矩阵的线结构光参量标定法[J]. 光子学报, 2015, 44(12): 113–118.
HONG L, TIAN Q L, JI B J. Single line structure of optical parametric matrix calibration method[J]. Journal of Photon, 2015, 44(12): 113–118. (in Chinese)
Cited By in Cnki (3) | Click to display the text
[22] 刘婷婷. 基于单应性矩阵剔除SIFT错误匹配点的方法[J]. 哈尔滨商业大学学报(自然科学版), 2016, 37(1): 95–98, 106.
LIU T T. Method of removing SIFT error matching points based on homography matrix[J]. Journal of Harbin University of Commerce (Natura Science Edition), 2016, 37(1): 95–98, 106. (in Chinese)
Cited By in Cnki | Click to display the text
http://dx.doi.org/10.7527/S1000-6893.2017.321171
中国航空学会和北京航空航天大学主办。
0

文章信息

曾庆化, 潘鹏举, 刘建业, 王云舒, 刘昇
ZENG Qinghua, PAN Pengju, LIU Jianye, WANG Yunshu, LIU Sheng
惯性信息辅助的大视角目标快速精确定位
Fast and accurate target positioning with large viewpoint based on inertial navigation system information
航空学报, 2017, 38(8): 321171.
Acta Aeronautica et Astronautica Sinica, 2017, 38(8): 321171.
http://dx.doi.org/10.7527/S1000-6893.2017.321171

文章历史

收稿日期: 2017-02-10
退修日期: 2017-03-12
录用日期: 2017-04-10
网络出版时间: 2017-04-27 14:59

相关文章

工作空间