随着空气动力学试验研究的深入和光学测试技术的进步,越来越多的光学测试技术应用到风洞试验中[1-4],图像的数据量大、信息直观。但受光学系统器件或试验条件的影响,如相机噪声、物理损伤、流场杂质等,图像中常会存在一些破损或无关信息等缺陷,会影响试验图像的处理和分析。
以纹影技术为例,纹影仪是风洞试验常用的流动显示设备,纹影图像是风洞试验的重要数据之一,分析纹影图像是数据分析的重要工作内容,可获得许多流场结构方面的信息[1-3, 5]。纹影光路中的各光学元件都会直接影响纹影图像的质量,因此有很高的材料和加工要求[1-2]。但光学元件脆弱,通常难以长期保持完好。较典型的是风洞试验段观测窗上的光学玻璃,在高速气流和异物的作用下,表面会出现许多局部破损。玻璃的损伤会在纹影图像中体现为大小和形状各异的黑斑,这些多余而有害的信息,影响对图像的后期处理和分析。对光学元件进行加工修复或更换,可从根本上解决上述问题,但时效性和经济性差,而且修复加工可能会减薄光学元件的厚度,缩短其使用年限。又如,一些使用多幅图像(包括单台相机多次采集和多台相机单次或多次采集)的测试方法,例如温敏漆(Temperature Sensitive Paint, TSP)、压敏漆(Pressure Sensitive Paint, PSP)技术[6-8]等,需要布置图像标记点以开展图像的校正和配准,或者安装传感器作为光学测试方法的对比和参考,这些图像标记点和传感器测点也引起了图像信息缺失。同时,TSP和PSP技术还会遇到因局部发光涂层脱落、污染等原因产生的信息缺失或失真等问题[8]。可见,图像缺陷是光学测试技术在风洞试验应用中面临的实际问题。
数字图像修复技术在2000年由Bertalmio等明确提出[9],之后发展迅速[10-12]。图像修复是图像处理领域的一个重要部分,是利用图像中的已知信息,按照一定规则对某些区域进行修正,可以修补图像的损坏部分,恢复图像的完整性,或者去除图像中不需要的元素,使图像更加合理和真实。数字图像修复技术可大致分为基于纹理结构的图像修复和基于非纹理结构的图像修复两类,前者主要用于填充图像中大块丢失的信息,后者主要用于修复小尺度的图像破损[11-12]。
经过多年研究发展,数字图像修复技术已应用于气象云图、医学影像、物联网、文物保护等领域[10, 13-14]。受此启发,数字图像修复技术应当也可以应用到风洞试验中。对数字图像修复的算法研究较多,但使用中还需要操作者人为指定待修复区域[11],存在随机性大和耗时长的不足,不利于实际应用。本文以纹影图像为例,根据此类图像缺陷的特点,提出完整的图像修复流程,选择合适的算法,以期实现纹影图像缺陷的自动识别和修复,获得一种使纹影图像信息完整的技术手段,并作为其他风洞光学测试技术图像修复的参考。
1 图像缺陷的特征及修复流程图 1为有缺陷的纹影图像。显然,此缺陷属于小尺度的图像破损,分析可知缺陷的主要特征为:①离散分布于纹影视场内,大小及形状各异;②核心区域的灰度值低,与模型的灰度值相近;③边缘处的灰度梯度变化较大,与附近图像对比明显。
根据上述特征,缺陷可被视为离散存在于明亮视场内的局部极小值区域,可设计图像修复的流程为:①确定待处理区域;②缺陷识别;③缺陷修复。其中,缺陷识别这一步骤将实现图像待修复区域自动识别的功能。据此,可分别使用合适的算法开展图像的修复。
2 算法 2.1 图像分割算法图像修复的前两个流程均需要进行图像分割。一是确定待处理区域时,将模型与纹影视场以外的区域排除,避免修复处理时破坏模型外形,并减少计算量,加快修复速度;二是缺陷识别时,取一定尺寸的图像块进行图像分割以识别和确定缺陷的位置、尺寸和形状。
图像分割是将图像划分成若干个互不相交的小区域的过程,常用的图像分割方法很多,如:基于阈值的图像分割方法、模糊方法、边缘检测方法、特征空间聚类方法等[15-17]。基于阈值的方法计算简单、分割效果好[18]。其中,Otsu算法[19]是一种性能、稳定性和成功率均较高的方法,在一定条件下不受图像对比度与亮度变化的影响,应用广泛[20-23]。
记图像各点的灰度i={1, 2, …, L},灰度值为i的像素的数量为ni,总像素数量N=n1+n2+ … +nL,各灰度值的比例pi为:pi=ni/N。假设以灰度值k为阈值将图像分割为目标C0和背景C1两类,C0中i={1, 2, …, k},C1中i={k+1, k+2, …, L},则有
目标部分像素占比ω0为
$ {\omega _0} = \omega (k) = \sum\limits_{i = 1}^k {{p_i}} $ | (1) |
目标部分灰度均值μ0为
$ {\mu _0} = \sum\limits_{i = 1}^k i {p_i}/{\omega _0} $ | (2) |
背景部分像素占比ω1为
$ {\omega _1} = \sum\limits_{i = k + 1}^L {{p_i}} $ | (3) |
背景部分灰度均值μ1为
$ {\mu _1} = \sum\limits_{i = k + 1}^L i {p_i}/{\omega _1} $ | (4) |
图像总灰度均值μT为
$ {\mu _{\rm{T}}} = \mu (L) = \sum\limits_{i = 1}^L i {p_i} = {\omega _0}{\mu _0} + {\omega _1}{\mu _1} $ | (5) |
目标与背景的类间方差σB2为
$ \begin{array}{l} \sigma _{\rm{B}}^2 = {\omega _0}{\left( {{\mu _0} - {\mu _{\rm{T}}}} \right)^2} + {\omega _1}{\left( {{\mu _1} - {\mu _{\rm{T}}}} \right)^2} = \\ \;\;\;\;\;\;{\omega _0}{\omega _1}{\left( {{\mu _1} - {\mu _0}} \right)^2} \end{array} $ | (6) |
类间方差是灰度分布均匀性的一种度量,方差越大表明类间具有越好的分离性,目标和背景的区别越大、错分概率越小。当部分目标错分为背景或部分背景错分为目标时,都会导致两部分差别变小。Otsu算法就是找出使类间方差σB2最大的阈值k进行图像分割[19-20]。
2.2 图像修复算法小尺度图像破损的修复一般采用基于非纹理结构的图像修复方法。该类方法是将待修复区域附近的已知信息按一定方式从区域边界向内扩散来实现图像的修复。信息的扩散过程通常是通过求解高阶偏微分方程予以控制,需要大量的迭代运算,因此图像修复的速度很慢,实用性不够理想[11, 24-25]。本文使用快速行进方法(Fast Marching Method, FMM)[26]来进行图像的修复。基于FMM的图像修复方法最初由Telea提出[27]。该方法将图像待修复区域视为水平集,先利用快速行进方法确定修复路径,使用方向、距离和水平集等权值对邻域像素进行加权平均,然后沿着等照度线进行平滑估计,从待修复区域的边缘向内逐步推进,直到所有像素被修复[24-26]。FMM的修复速度较快,对纹影图像缺陷这类离散区域修复的适用性较好[24-25]。
修复原理如图 2所示,Ω为图像待修复区域,Ω为该区域的边界。假定p为∂Ω上的一点,围绕p取一个小邻域Bε(p),q为Bε(p)内的一点,p点的修复即由邻域像素Bε(p)来决定,对Bε(p)中的点进行加权平均来估算p点的灰度值I(p),即
$ I(p) = \frac{{\sum\nolimits_{q \in {B_\varepsilon }(p)} w (p,q)[I(q) + \nabla I(q)(p - q)]}}{{\sum\nolimits_{q \in {B_\varepsilon }(p)} w (p,q)}} $ | (7) |
加权函数w(p, q)采用切线方向N(p)来评价已知邻域像素点与缺失像素点的相关程度,即保证距离p点法线方向越接近的像素点对p点的贡献越大。权函数定义为
$ w(p,q) = {\rm dir}(p,q) \cdot {\rm dir}(p,q) \cdot {\rm lev}(p,q) $ | (8) |
式中:
$ {\rm dir}(p,q) = \frac{{p - q}}{{\left\| {p - q} \right\|}} \cdot N(p) $ |
$ {\rm dst}(p,q) = \frac{{d_0^2}}{{{{\left\| {p - q} \right\|}^2}}} $ |
$ {\rm lev}(p,q) = \frac{{{T_0}}}{{1 + \left| {T(p) - T(q)} \right|}} $ |
其中:dir(p, q)为方向因子,保证距法线方向越近的像素对p点修复的贡献越大;dst(p, q)为几何距离因子,保证距p点越近的已知像素对修复的贡献越大;lev(p, q)为水平集距离因子,保证距待修复区域边界越近的已知像素对修复的贡献越大;d0和T0分别为距离参数和水平集参数,一般取值为1;T为Ω中的点到边缘∂Ω的距离。
由图 2可见,像素可分为3类:
1) Boundary。待修复区域边界∂Ω上的点,T = 0,其T值将被更新。
2) Known。∂Ω外已知区域的像素,其T值和灰度值I已知。
3) Inside。∂Ω内部的像素,其T值和灰度值I未知。
FMM就是对待修复区域内的点解Eikonal方程:
$ \left| {\nabla T} \right| = 1 $ | (9) |
令D±x、D±y分别为x方向和y方向的差分,方程的稳定解为
$ \begin{array}{l} \max {\left( {{D^{ - x}}T, - {D^{ + x}}T,0} \right)^2} + \\ \;\;\;\;\;\;\max {\left( {{D^{ - y}}T, - {D^{ + y}}T,0} \right)^2} = 1 \end{array} $ | (10) |
式中:
$ \left\{ {\begin{array}{*{20}{l}} {{D^{ - x}}T(i,j) = T(i,j) - T(i - 1,j)}\\ {{D^{ + x}}T(i,j) = T(i + 1,j) - T(i,j)}\\ {{D^{ - y}}T(i,j) = T(i,j) - T(i - 1,j)}\\ {{D^{ + y}}T(i,j) = T(i + 1,j) - T(i,j)} \end{array}} \right. $ |
由式(9)和式(10)求出Ω内部所有点到∂Ω的距离T,然后按照T由小到大的路径进行修复。
3 图像修复试验以图 1为例进行修复,检验本文流程和算法的可行性和有效性。
3.1 图像分割试验待处理区域确定和缺陷识别的结果分别如图 3和图 4所示。为取得较理想的修复结果,可对图像进行多次修复,图 3和图 4仅为第1次进行分割的结果。
3.2 图像修复试验图 5为图 1经多次修复后的结果,可见缺陷明显减少,而模型和流场结构未受影响。图 5中剩余的缺陷还可继续予以修复。
4 评估与验证 4.1 修复前后对比图 6为图 1和图 5之间的差异,由两图直接相减得到,代表图 1中被修复的缺陷。图 6中没有连续或大片的像素,表明图像修复仅处理了离散的信息,没有影响纹影图像中的模型和波系结构。
4.2 应用验证选取图 7对本文的图像修复方法进行应用验证。相对图 1,其缺陷尺寸更小、更密集。缺陷识别、修复结果及修复前后对比如图 8~图 10所示,可见图 7的缺陷得到了有效修复,且图中的模型和波系结构没有受到影响。
4.3 定量评估为定量评估图像修复的影响,选取没有缺陷的图像人为添加了13个缺陷(见图 11)进行图像修复和对比分析。图像的分辨率为607 pixel×468 pixel,缺陷共1 040个像素。
图像修复前后的像素变化见表 1,可见修复后的灰度值与原始灰度值十分接近,如表 2所示,约90%的灰度差异不大于3、约99%的灰度差异不大于6。虽然修复像素的数量多于添加缺陷的像素数量,但绝大部分像素的灰度差异很小,且数量对于整幅图像而言是极少的,故并未对图像整体造成明显影响。图像原有的部分噪声在修复中被处理也是像素数量增多的原因之一。因此,可以认为图像修复技术能将缺陷图像修复至与原始图像相当的水平。
像表类型 | 像素量 | 灰度值 |
缺陷像素 | 1 040 | 65 |
修复像素 | 1 634 | 71~117 108.24(均值) |
原始像素 | 1 634 | 70~119 107.45(均值) |
修复像素和原始像素的灰度值差异 | 1~11 1.95(均值) |
1) 经数字图像修复技术处理,纹影图像的缺陷明显减少或得到削弱,可将缺陷图像修复至与原始图像相当的水平。
2) 图像修复的信息是客观合理的,没有破坏或改变模型形状和流场结构等关键信息,对非缺陷区域和图像整体的影响极小。
3) 在风洞试验中引入数字图像修复是可行的,图像修复方法具有通用性,也可根据不同图像的特点选用不同的算法,推广运用于其他光学测试技术,如修复TSP和PSP技术中的标记点、涂层脱落或污染产生的暗区等。
[1] |
杨祖清. 流动显示技术[M]. 北京: 国防工业出版社, 2002: 93-276. YANG Z Q. Flow visualization[M]. Beijing: National Defense Industry Press, 2002: 93-276. (in Chinese) |
[2] |
李桂春. 气动光学[M]. 北京: 国防工业出版社, 2002: 347-489. LI G C. Aero-optics[M]. Beijing: National Defense Industry Press, 2002: 347-489. (in Chinese) |
[3] |
李强, 江涛, 陈苏宇, 等. 激波风洞边界层转捩测量技术及应用[J]. 航空学报, 2019, 40(8): 122740. LI Q, JIANG T, CHEN S Y, et al. Measurement technology and measuring of boundary layer transition in shock tunnel[J]. Acta Aeronautica et Astronautica Sinica, 2019, 40(8): 122740. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[4] |
战培国, 曾慧, 钟萍, 等. 2017年国外风洞试验发展动态综述[J]. 飞航导弹, 2018(8): 16-48. ZHAN P G, ZENG H, ZHONG P, et al. Review of the development of foreign wind tunnel tests in 2017[J]. Aerodynamic Missile Journal, 2018(8): 16-48. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[5] | GABRIELE B, GUILLAUME G, TAMAS R, et al. Optical characterization of boundary layer transition[C]//17th International Symposium on Applications of Laser Techniques to Fluid Mechanics, 2014. |
[6] |
张扣立, 周嘉穗, 孔荣宗, 等. CARDC激波风洞TSP技术研究进展[J]. 空气动力学学报, 2016, 34(6): 738-743. ZHANG K L, ZHOU J S, KONG R Z, et al. Development of TSP technique in shock tunnel of CARDC[J]. Acta Aerodynamica Sinica, 2016, 34(6): 738-743. (in Chinese) |
Cited By in Cnki (1) | Click to display the text | |
[7] |
韩曙光, 贾广森, 文帅, 等. 磷光热图技术在常规高超声速风洞热环境实验中的应用[J]. 气体物理, 2017, 2(4): 56-63. HAN S G, JIA G S, WEN S, et al. Heat transfer measurement using a quantitative phosphor thermography system in blowdown hypersonic facility[J]. Physics of Gases, 2017, 2(4): 56-63. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[8] |
刘祥.双组份压敏漆试验技术测量不确定度研究[D].绵阳: 中国空气动力研究与发展中心, 2016. LIU X. Investigation of pressure uncertainty for two-component pressure sensitive paint[D]. Mianyang: China Aerodynamics Research and Development Center, 2016(in Chinese). |
Cited By in Cnki | Click to display the text | |
[9] | BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting[C]//Proceedings SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series, 2000: 417-424. |
[10] | GUILLEMOT C, LE MEUR O. Image inpainting:Overview and recent advances[J]. IEEE Signal Processing Magazine, 2014, 31(1): 127-144. |
Click to display the text | |
[11] |
张红英.数字图像修复技术的研究与应用[D].成都: 电子科技大学, 2006: 1-32. ZHANG H Y. Research and application digital image inpainting[D]. Chengdu: University of Electronic and Technology of China, 2006: 1-32(in Chinese). |
Cited By in Cnki (1) | Click to display the text | |
[12] |
张丽莹.数字图像修复算法研究[D].天津: 天津大学, 2015: 1-18. ZHANG L Y. The study of digital image completion algorithms[D]. Tianjin: Tianjin University, 2015: 1-18(in Chinese). |
[13] | SHIH T K, CHANG R C, LU L C, et al. Multi-layer inpainting on Chinese artwork restoration applications[C]//IEEE International Conference on Multimedia and Expo. Piscataway, NJ: IEEE Press, 2004. |
[14] |
焦莉娟, 王文剑, 李秉婧, 等. 改进的块匹配五台山壁画修复算法[J]. 计算机辅助设计与图形学学报, 2019, 31(1): 118-125. JIAO L J, WANG W J, LI B J, et al. Wutai Mountain mural inpainting based on improved block matching algorithm[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(1): 118-125. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[15] |
罗希平, 田捷, 诸葛婴, 等. 图像分割方法综述[J]. 模式识别与人工智能, 1999, 12(3): 300-312. LUO X P, TIAN J, ZHUGE Y, et al. A survey on image segmentation techniques[J]. Pattern Recognition and Artificial Intelligence, 1999, 12(3): 300-312. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[16] |
林开颜, 吴军辉, 徐立鸿. 彩色图像分割方法综述[J]. 中国图象图形学报, 2005, 10(1): 1-10. LIN K Y, WU J H, XU L H. A survey on color image segmentation techniques[J]. Journal of Image and Graphics, 2005, 10(1): 1-10. (in Chinese) |
Cited By in Cnki (758) | Click to display the text | |
[17] |
韩思奇, 王蕾. 图像分割的阈值法综述[J]. 系统工程与电子技术, 2002, 24(6): 91-94. HAN S Q, WANG L. A survey of thresholding methods for image segmentation[J]. Systems Engineering and Electronics, 2002, 24(6): 91-94. (in Chinese) |
Cited By in Cnki (1110) | Click to display the text | |
[18] | SEZGIN M, SANKUR B. Survey over image thresholding techniques and quantitative performance evaluation[J]. Journal of Electronic Imaging, 2004, 13(1): 146-165. |
Click to display the text | |
[19] | NOBUYUKI O. A threshold selection method from gray-level histogram[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66. |
Click to display the text | |
[20] |
付忠良. 图像阈值选取方法——Otsu方法的推广[J]. 计算机应用, 2000, 20(5): 37-39. FU Z L. Methods of selecting image threshold-Extension of Otsu method[J]. Computer Applications, 2000, 20(5): 37-39. (in Chinese) |
Cited By in Cnki (581) | Click to display the text | |
[21] |
刘艳, 赵英良. Otsu多阈值快速求解算法[J]. 计算机应用, 2011, 31(12): 3363-3365. LIU Y, ZHAO Y L. Quick approach of multi-threshold Otsu method for image segmentation[J]. Journal of Computer Applications, 2011, 31(12): 3363-3365. (in Chinese) |
Cited By in Cnki (32) | Click to display the text | |
[22] |
申铉京, 刘翔, 陈海鹏. 基于多阈值Otsu准则的阈值分割快速计算[J]. 电子与信息学报, 2017, 39(1): 144-149. SHEN X J, LIU X, CHEN H P. Fast computation of threshold based on multi-threshold Otsu criterion[J]. Journal of Electronics & Information Technology, 2017, 39(1): 144-149. (in Chinese) |
Cited By in Cnki (4) | Click to display the text | |
[23] |
周迪, 夏哲雷. 一种改进的Otsu阈值分割算法[J]. 中国计量大学学报, 2016, 23(1): 319-323. ZHOU D, XIA Z L. An improved Otsu threshold segmentation algorithm[J]. Journal of China University of Metrology, 2016, 23(1): 319-323. (in Chinese) |
Cited By in Cnki (65) | Click to display the text | |
[24] |
李开宇, 孙玉刚. 引入连续性强度和置信度因子的快速图像修复[J]. 中国图象图形学报, 2012, 17(4): 465-470. LI K Y, SUN Y G. Fast image inpainting algorithm introducing continuous strength and confidence factor[J]. Journal of Image and Graphics, 2012, 17(4): 465-470. (in Chinese) |
Cited By in Cnki (9) | Click to display the text | |
[25] |
闵溪青, 黄杰. 简化的快速图像修复方法[J]. 计算机应用, 2017, 37(S1): 169-172. MIN X Q, HUANG J. Simplified fast image inpainting method[J]. Journal of Computer Applications, 2017, 37(S1): 169-172. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[26] | SETHIAN J A. A fast marching level set method for monotonically advancing fronts[J]. National Academy of Sciences, 1996, 93(4): 1591-1595. |
Click to display the text | |
[27] | TELEA A. An image technique based on the fast matching method[J]. Journals of Graphics Tools, 2004, 9(1): 23-34. |
Click to display the text |