文章快速检索  
  高级检索
民机复合材料目视检查中的眼动与疲劳检测
贺强, 谭德强, 程林     
中国民用航空飞行学院 航空工程学院, 广汉 618307
摘要: 疲劳是导致民机复合材料结构目视检查差错的重要诱因,疲劳检测对于减少人的差错,保障飞行安全具有重要意义。对基于眼动行为的疲劳度量与检测方法进行了研究,建立了民机复合材料结构目视检查实验场景,利用Tobii眼动仪提取了正常状态和疲劳状态下的目视检查眼动数据,分析了瞳孔直径、平均注视时间、平均注视频率、平均眼跳时间、平均眼跳频率、注视热点与轨迹和扫视速度等眼动行为与疲劳的关系,进而提取了能表征疲劳的瞳孔直径、平均注视时间和扫视速度3种眼动指标,以该指标构建特征向量,利用支持向量机(SVM)方法构建了目视检查疲劳检测模型。研究发现疲劳状态下的目视检查平均注视时间更长,扫视速度更慢、瞳孔直径减小,右瞳孔减小程度更大,核函数为径向基函数和高斯函数的SVM方法对疲劳的检测效果好。研究结果表明,利用SVM方法训练由瞳孔直径、平均注视时间和扫视速度构成的眼动特征向量能有效检测目视检查中的疲劳状态。
关键词: 目视检查    复合材料结构    眼动    瞳孔直径    平均注视时间    疲劳    支持向量机(SVM)    
Eye movement and fatigue detection in visual inspection of civil aircraft composite materials
HE Qiang, TAN Deqiang, CHENG Lin     
College of Aviation Engineering, Civil Aviation Flight University of China, Guanghan 618307, China
Abstract: Fatigue is an important cause of human error in visual inspection of civil aircraft composite material components. The measurement of fatigue has great implications on reduction of human error and flight safety. To measure and detect fatigue, an eye movement behavior based method is proposed. The experimental scene of composite material visual inspection is established. Tobii eye tracking is used to extract the eye movement data in the experiment under normal working condition and fatigue condition. The relationships between fatigue and means of pupil diameter, fixation time, fixation frequency, saccadic time, saccadic frequency, fixation heat map and saccadic velocity were analyzed. Then, three kinds of eye movement indexes, namely, pupil diameter, saccadic velocity and average fixation time, which could represent fatigue, are extracted to construct feature vectors for Support Vector Machine (SVM) method to build the fatigue detection model. It is found that the average fixation time is longer, and the saccadic velocity and the pupil diameter are smaller under fatigue in visual inspection, especially the pupil of the right eye. The SVM method with kernel function as radial basis function and gaussian function has a good effect on fatigue detection. The experimental results show that the SVM method using the eye movement feature vector can effectively detect the fatigue state in visual inspection.
Keywords: visual inspection    composite material component    eye movement    pupil diameter    average fixation time    fatigue    support vector machine (SVM)    

目视检查是民机复合材料结构持续适航的重要工作,是保证大量应用复合材料的民机飞行安全的第一防线[1]。近20年的航空事故统计表明,由机务维修差错导致的事故增加了4%,而大部分维修差错都与维修人员的疲劳作业有关[2]。疲劳会诱发维修作业中的错、忘、漏等安全风险[3]。因此,对维修人员在复合材料结构目视检查中的疲劳状态进行监测,对于减少维修差错,保障飞行安全具有重要意义。

人的因素已经是现代民用航空事故的关键致因,疲劳作为人的因素的一项重要内容也成为影响航空安全的重要因素之一[4]。飞行员疲劳的影响因素与评价[5-6]、空中交通管制员的疲劳及疲劳状态检测[7-8]、机务维修人员的疲劳管理[9-10]等已经成为民航的热点研究主题,形成了基于量表的主观疲劳检测和基于生理信号的客观疲劳检测方法。基于量表的主观疲劳检测方法主要利用疲劳量表采样数据,通过数据统计分析疲劳状态或分布[11]。基于生理信号的客观疲劳检测方法利用心跳、皮电、脑电、眼动和面部表情等生理信号来估算疲劳程度,已经成为疲劳状态检测的发展趋势[12]。其中,基于眼动的疲劳状态检测具有的客观性和非接触性使其广泛应用。牛清宁等[13]利用4类眼动指标,建立驾驶疲劳检测模型。Lenskiy和Lee[14]利用眨眼频率和眼睛闭合时间进行疲劳状态的检测。Mandal等[15]鲁棒地提取眼动数据并进行疲劳检测。Yamada和Kobayashi[16]提出了多种基于眼动的疲劳检测模型。当前,基于眼动的疲劳检测模型虽然采用了支持向量机、决策树、逻辑回归、贝叶斯网络等方法,但这些方法直接利用可能度量疲劳的眼动信号,缺少眼动信号与疲劳的相关性分析,以至疲劳检测精度有待进一步提高。在基于眼动的民航从业人员疲劳检测方面,平均注视时间、扫视速度、扫视幅度、瞳孔直径等用于分析其与空中交通管制疲劳[8, 17-18]、飞行疲劳[19]的关系,并建立了的管制疲劳检测模型[17]

相对于主观的疲劳检测方法,基于眼动的飞行和空中交通管制疲劳检测可以更主动且有效地保障民航安全。综合文献[17-21],机务维修具有与飞行和管制类似的轮班和昼夜节律的扰乱以及高工作负荷等疲劳致因。疲劳导致3类从业人的差错,从而影响航空安全。因此将眼动应用于机务维修人员的疲劳检测对于民航安全水平的提升具有重要意义。但现有的针对机务维修人员疲劳检测的研究,仍然以主观问卷的方式识别疲劳风险,度量企业级或行业级的疲劳分布,以及疲劳的风险管理为主[20-21],鲜有应用于机务维修人员疲劳检测的眼动指标研究,也未涉及针对目视检查的基于眼动指标的疲劳状态检测模型。为此,本文通过复合材料结构目视检查实验,利用Tobii眼动仪提取了机务维修人员在正常状态和疲劳状态的眼动数据,基于数据分析提取与疲劳相关的眼动指标。在此基础上,利用支持向量机(Support Vector Machines, SVM)方法构建了目视检查疲劳状态检测模型。

1 复合材料结构目视检查实验 1.1 实验人员与设备

某高校飞行器适航技术专业的13位大四本科生参加了民机复合材料结构目视检查实验。其中,男生8名,女生5名。实验人员平均年龄22岁,均参加并通过了CCAR147部的技能培训,掌握了基本的维修技能,且经过专业课程学习具有一定的复合材料结构持续适航专业知识,对目视检查也有一定的了解。13名实验人员会以正常状态和疲劳状态进行复合材料结构目视检查实验,并利用瑞典Tobii公司的Tobii Glasses 2眼动仪记录目视检查过程中的眼动数据。

Tobii Glasses 2是一款测量精度高、采集高效、使用方便、可用于现实和虚拟场景研究的眼动设备。该设备是头戴式的,由一副眼镜、一个辅助记录器、从不同维度采集双眼眼动信息的四部眼动摄像机和广角高清场景摄像机构成。眼镜只有45 g,保证了实验人员的舒适性和行动自由。该眼动设备记录的数据通过Tobii ProLab Analyzer软件导出,可根据用户需求提取相应的数据。该软件集成了新的数据叠加工具,可以将来自眼动追踪视频的数据智能地叠加到指定的场景目标上,便于生成可视化的眼动数据。

1.2 实验场景 1.2.1 实验件

实验件为某型民用直升机的复合材料桨叶,在桨叶上规划出3块长和宽均约为120 mm的区域作为待检区,每个待检区在实验前都用白色覆盖物遮盖以免落尘,如图 1所示。在每个待检区域人工制造出7~8个位置随机分布的凹坑或裂纹等目视检查中常见的复合材料结构损伤,每个损伤的尺寸必须达到勉强目视可检标准及以上。根据波音公司的复合材料结构的勉强目视可检损伤尺寸标准,损伤的尺寸在0.01~0.02 in(1 in=2.54 cm)范围内。

图 1 复合材料结构损伤目视检查场景 Fig. 1 Visual inspection scene of composite material component damage

在设置好典型的复合材料结构损伤后,预先进行检查以保证每个构建的损伤的尺寸符合波音公司的勉强目视可检标准,并在复写纸上标记出每个损伤的位置,以便之后与每个实验人员的目视检查结果进行比对,从而得到实验人员目视检查的准确率。

1.2.2 实验环境的控制要素

导致维修差错的因素很多,本文专注疲劳,因此必须对除疲劳外的其他因素进行控制,以提高实验结果的准确性和可靠性。针对环境因素,结合复合材料结构目视检查要求,控制实验环境的照明条件、使得每个实验人员所处环境的光照强度和角度都相同;选择的损伤区域均为黑色,避免其他颜色区域的损伤干扰实验结果;将实验件水平放置在位置固定的架子上,按照目视检查标准,固定检测距离50 cm,由于待检区相邻,因而上述措施避免实验人员频繁变换体位,能够有效地将检查角度控制在一个较小的范围内。目视检查实验场景如图 1所示。

1.2.3 实验人员的状态控制

为模拟真实疲劳维修场景,采取下列措施使得实验人员处于疲劳状态,具体为:

1) 睡眠剥夺[17]:实验人员实验前一天需熬夜(推迟入睡时间2 h以上、次日早晨起床时间照常);疲劳状态下的复合材料桨叶目视检查实验在下午两点半到三点半之间进行且剥夺当日午睡休息(每个实验人员都有午睡习惯)。

2) 脑力消耗:为增加实验人员的大脑疲劳程度,要求实验人员在目视检查之前完成一个低难度和一个中等难度的数独游戏以增加其脑力负荷。数独游戏如图 2所示。

图 2 疲劳实验中的数独游戏 Fig. 2 Sudoku in fatigue experiment

3) 连续作业:连续的脑力作业会使实验人员产生精神疲劳。在进行目视检查实验前,每个实验人员必须完成时长约40 min的背单词任务。根据个人词汇量,单词软件会自动生成任务,并对未回答正确的单词进行重复显示直到完成任务。

为保证实验人员的正常状态,除良好的睡眠和休息外,实验前可以喝适量的咖啡用于提神。正常状态实验在早上十点到十一点不易犯困的时间段进行。

1.3 实验过程及眼动数据

复合材料结构目视检查实验过程分为正常状态和疲劳状态下的目视检查2个阶段进行。每个实验人员都参加2个阶段的实验。首先对实验人员进行统一的航空复合材料结构目视检查操作培训和眼动设备使用培训,然后进行正常状态下的目视检查实验。间隔2周后进行疲劳状态下的目视检查实验。根据“艾宾浩斯记忆曲线”,正常实验后2周再进行疲劳状态下的实验可以有效排除2个阶段顺序进行实验所带来的学习或记忆绩效对实验结果的影响。在目视检查实验开始时,首先利用NASA_TLX疲劳量表[21]检查实验人员是否处于疲劳状态。

按照实验场景的要求组织开展实验,同步采集实验过程中产生的眼动数据,包括眼动记录持续时间、视线位置、组合视线3D位置、左右注视方向、左右瞳孔位置和直径、左右眼位置、眼动时间持续时间、眼动时间类型索引和热点区域等。

2 实验结果分析

本次实验中,参与实验的13名学生中有一名男生在实验过程中长时间关注实验室的其他区域,导致数据作废,最终获得12名学生的在正常和疲劳工作状态下目视检查的24份有效眼动数据。以该数据为基准,进行目视检查结果、与疲劳相关的数值型眼动指标和可视化型眼动指标的相关性分析。

2.1 目视检查结果

根据实验开始的NASA_TLX疲劳量表问卷结果,正常状态下的目视检查实验前,实验人员的疲劳指数均处于正常状态,疲劳状态下的目视检查实验前,实验人员的疲劳指数均处于疲劳状态。实验人员在正常状态与疲劳状态下对复合材料桨叶目视检查的结果如表 1所示。表 1的结果表明疲劳状态下实验人员进行目视检查容易出现漏检和错检的情况,平均差错率达14.13%,其中,人均差错1.08,标准差0.67,正常状态下实验人员进行目视检查的差错为零。实验结果表明疲劳是导致维修差错的重要致因。

表 1 不同工作状态下的目视检查结果 Table 1 Visual inspection results under different working conditions
工作状态 损伤个数 正确检出个数 错误个数 错误率/% 差错均值/标准差
正常 92 92 0 0 0/0
疲劳 92 79 13 14.13 1.08/0.67
2.2 疲劳相关的眼动指标分析 2.2.1 数值型眼动指标

结合与疲劳相关的眼动指标现状和Tobii Glasses 2眼动仪所支持记录的眼动行为,本文根据目视检查任务持续时间、左右瞳孔直径、注视次数、注视总时间、眼跳次数、眼跳总时间、扫视速度等指标数据提取与疲劳相关的眼动指标。首先根据记录数据计算正常状态下和疲劳状态下的上述指标的实验人员的平均值,结果如图 3所示。疲劳状态下,实验人员的目视检查任务持续时间、注视次数、注视总时间、眼跳次数和眼跳总时间数据均高于正常状态,而瞳孔直径和扫视速度小于正常状态。以此初步判定与疲劳相关的眼动指标包括左右瞳孔直径、平均注视时间=注视总时间/注视次数、平均注视频率=注视次数/任务持续时间、平均眼跳时间=眼跳总时间/眼跳次数、平均眼跳频率=眼跳总次数/任务持续时间和扫视速度。上述与疲劳相关的眼动指标需要根据实验人员眼动数据的方差齐次性检验和方差分析(ANOVA)检验以进一步确定其与疲劳的相关性,为疲劳状态检测模型的构建奠定基础。

图 3 不同工作状态下实验人员的眼动数据均值 Fig. 3 Eye movement data mean under different working conditions

表 2为疲劳状态和正常状态下实验人员的上述眼动指标的方差齐次性检验结果,其中df为自由度,df1=工作状态数-1,df2=工作状态数×(同一状态样本数-1)。根据初步选定的与疲劳相关眼动指标的方差齐次性分析结果,所有的眼动指标的显著性结果都大于0.05,说明上述眼动指标的方差在0.05水平上不存在显著性差异。

表 2 眼动指标的方差齐次性检验 Table 2 Homogeneity test of eye tracking indexs' variance
眼动指标 Levene统计量 df1 df2 显著性
左瞳孔平均直径 0.015 1 22 0.905
右瞳孔平均直径 0.862 1 22 0.363
平均注视时间 0.265 1 22 0.588
平均注视频率 0.003 1 22 0.956
平均眼跳时间 0.8 1 22 0.381
平均眼跳频率 0.025 1 22 0.875
平均扫视速度 0.452 1 22 0.508

根据表 3眼动指标的ANOVA单因素方差分析结果,左右瞳孔直径、平均注视时间和扫视速度的显著性概率值小于0.05,表明工作状态对实验人员的瞳孔直径、平均注视时间和扫视速度有显著性影响。其中F值是组间均方差与组内均方差的比值,P值为显著性概率。特别地,表 3的结果表明右眼瞳孔直径受工作状态的影响更大。平均注视频率、平均眼跳频率和平均眼跳时间对应的显著性概率值高于0.05,表明工作状态对实验人员的平均注视频率、平均眼跳频率和平均眼跳时间没有显著性影响。

表 3 ANOVA分析结果 Table 3 ANOVA analysis results
眼动指标 F P
左瞳孔平均直径 9.039 0.006
右瞳孔平均直径 13.105 0.002
平均注视时间 5.579 0.028
平均注视频率 0.229 0.637
平均眼跳时间 0.86 0.364
平均眼跳频率 0.101 0.754
平均扫视速度 5.209 0.032

图 4给出了实验人员的左右瞳孔在不同工作状态下的瞳孔直径的均值,从图中可以看出,疲劳状态下,瞳孔直径变小。分别计算不同工作状态下,左右瞳孔直径的差异值的均值。其中,实验人员正常和疲劳状态下左瞳孔直径差异值的均值为0.276 mm,右瞳孔为0.367 mm,每个实验人员的不同工作状态下,瞳孔直径的差异情况如图 5所示。瞳孔直径差异值的均值和图 5的数据表明不同工作状态下右瞳孔直径差异更大。为了排除非疲劳因素导致这一现象,通过视频回放整个实验过程,所有有效数据的实验人员的光照强度和角度没有明显差异,注视方向也都集中在待检查区域范围。同时统计每个实验人员的视力情况,发现右眼视力均优于左眼,由此推断目视检查中,由于左右眼视力差异,导致检查更依赖右眼,因此右眼受疲劳的影响更大。

图 4 目视检查中的瞳孔直径 Fig. 4 Pupil diameters in visual inspection
图 5 不同工作状态下左右瞳孔直径的差异值 Fig. 5 Difference of left and right pupil diameters under different working conditions
2.2.2 可视化型眼动指标

利用Tobii Pro Lab软件的Visualizations功能,生成注视热点图和注视轨迹图,以获取不同工作状态下实验人员在目视检查时的注视点分布情况。由于每个实验人员均有6幅注视热点图与轨迹图,限于篇幅,仅给出一个目视检查区域的情况,其中绿色、黄色、红色代表注视点重叠次数的增加,且相同颜色色度越深代表重叠次数越多,具体如图 6所示。

图 6 不同工作状态下的注视热点与注视轨迹 Fig. 6 Fixation hotspot and trajectory under different working conditions

从正常与疲劳状态下的注视热点图及注视轨迹图的对比中可以看出,正常状态下的注视点的重叠次数明显比疲劳状态下多,且正常状态下的注视点几乎覆盖了损伤区域的主要检查范围,而疲劳状态下的注视点主要在损伤区域的中上位置成横条状分布,且较正常状态,疲劳状态的注视点重叠数量明显减少。

3 基于SVM的疲劳检测模型 3.1 SVM方法

SVM[22]具有优秀的泛化能力和小样本学习分类能力使其成为目前最常用和效果最好的分类器之一。疲劳检测模型的根本目标是能够将实验人员在疲劳状态和正常状态下的由眼动指标构成的特征向量之间的距离最大化,这与SVM方法的思想一致。本研究的特征向量数量为24,是小样本,眼动指标与疲劳之间存在非线性关系,且眼动指标构成的特征向量维数较高,这类模式识别正是SVM方法特有的优势,因此本文选用SVM来构建目视检查疲劳检测模型。SVM是一种有监督的统计学习方法,通过构建一个能将两类数据正确分开,且两类数据点距离分类面最远的最优超平面来实现分类。对于线性不可分数据,通过核函数将数据映射到高维空间使其线性可分。根据目视检查实验中与疲劳相关的眼动指标分析,选取左眼瞳孔直径、右眼瞳孔直径、平均注视时间和扫视速度4个指标作为SVM方法的支持向量,建立疲劳状态检测模型。

对于该模型,i为样本序号,工作状态yi=1时,表示正常工作状态,yi=-1时表示疲劳工作状态,xi为与疲劳相关的眼动指标构成的特征向量。(xi, yi)构成训练集Ⅰ、Ⅱ被超平面区分。疲劳状态检测模型的核心为确定训练集的最优超平面,利用超平面自动确定工作状态。训练集的超平面和状态判别函数分别为

$ \boldsymbol{x}_{i}^{\mathrm{T}} \boldsymbol{w}+b=0 $ (1)
 
$ f(\boldsymbol{x})=\operatorname{sgn}\left(\boldsymbol{x}_{i}^{\mathrm{T}} \boldsymbol{w}+b\right) $ (2)
 

式中:w为超平面的法向量; b为参数。

超平面能对训练集所有样本进行分类,需将判别函数归一化,即

$ y_{i}\left(\boldsymbol{x}_{i}^{\mathrm{T}} \boldsymbol{w}+b\right)-1 \geqslant 0 \quad i=1, 2, \cdots, m $ (3)
 

此时样本集分类间隔为2/‖w‖,最优超平面需满足式(3)且使得分类间隔最大,即最优超平面需满足式(4)。

$ \left\{ {\begin{array}{*{20}{l}} {\mathop {\min }\limits_{\mathit{\boldsymbol{w}}, b} \frac{1}{2}{{\left\| \mathit{\boldsymbol{w}} \right\|}^2}}\\ {{y_i}\left( {\mathit{\boldsymbol{x}}_i^{\rm{T}}\mathit{\boldsymbol{w}} + b} \right) - 1 \ge 0} \end{array}} \right. $ (4)
 

为求解最优超平面,引入Lagrange函数将该问题转化为对偶问题求解。通过式(5)求解Lagrange乘子α,得到最优超平面的参数如式(6)和式(7)所示。

$ \left\{ {\begin{array}{*{20}{l}} {\mathop {\min }\limits_\alpha \frac{1}{2}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^m {{y_i}} } {y_j}{\alpha _i}{\alpha _j}\left( {\mathit{\boldsymbol{x}}_i^{\rm{T}} \cdot {\mathit{\boldsymbol{x}}_j}} \right) - \sum\limits_{j = 1}^m {{\alpha _j}} }\\ {\sum\limits_{i = 1}^m {{y_i}} {\alpha _i} = 0, c \ge {\alpha _i} \ge 0} \end{array}} \right. $ (5)
 
$ \boldsymbol{w}^{*}=\sum\limits_{i=1}^{m} \alpha_{i}^{*} y_{i} \boldsymbol{x}_{i} $ (6)
 
$ b^{*}=-\boldsymbol{w}^{*} \cdot \sum\limits_{i=1}^{m} \alpha_{i}^{*} \boldsymbol{x}_{i} /\left(2 \sum\limits_{i=1}^{m} \alpha_{i}^{*}\right) $ (7)
 

如果训练集是线性不可分的,可用核函数k(xi, xj)代替最优分类面中的点积xiT·xj,就将原特征向量变换到高维的特征空间,在该空间中实现线性可分。

3.2 疲劳检测模型构建

在分析目视检查中与疲劳相关的眼动指标基础上,构建了眼动指标特征向量,对该特征向量进行归一化处理,将处理后的数据结合其状态进行SVM的最优超平面求解,以最优超平面构建状态判别函数,从而完成模型的构建,具体流程如下:

步骤1  构建由与疲劳相关的眼动指标组成的特征向量Xi=[Lpi Rpi Mti Svi],工作状态集Y={yi|yi∈{1, -1}}。其中,Lpi、Rpi分别表示第i个样本的左、右眼瞳孔直径(单位为mm),Mti表示第i个样本的平均注视时间,Mti=Mti/100(单位为ms),Svi为第i个样本的扫视速度(单位为像素/ms);此方式下,眼动指标值不存在量级差异,利用式(8)进行归一化处理,能有效保持眼动特征。处理后的每个特征向量Xiyi一一对应。

$ {\mathit{\boldsymbol{X}}_i} = {\mathit{\boldsymbol{X}}_i}/\left\| {{\mathit{\boldsymbol{X}}_i}} \right\| $ (8)
 

步骤2  通过MATLAB2018b的fitcsvm函数实现Xi的线性分类。

步骤3  调用MATKAB2018b的predict函数计算分类的错误率,如果错误率太高,选择核函数将特征向量映射到高维特征空间,重复步骤2和步骤3直至错误率可接受,完成模型的构建。

应用该模型时,只需输入待检测工作状态人员的眼动特征向量,模型利用式(2)计算该特征向量的工作状态,实现疲劳状态的自动检测。

3.3 基于模型的检测结果

以目视检查实验中获取的12个实验人员的眼动数据构建疲劳检测模型的训练集和测试集。其中,训练集以12个实验人员在正常和疲劳工作状态下的前2/3实验过程时间的眼动数据构建;测试集以12个实验人员在正常和疲劳工作状态下的后1/3实验过程时间的眼动数据构建。训练集和测试集的眼动特征向量样本数均为24。测试集的眼动特征向量集如表 4所示。

表 4 实验产生的测试向量集 Table 4 Feature vectors derived from experiment
序号 X Y
1 0.587 0.598 0.313 0.447 1
2 0.559 0.583 0.356 0.471 1
3 0.378 0.357 0.780 0.348 1
23 0.332 0.329 0.823 0.322 -1
24 0.466 0.461 0.488 0.577 -1

通过MATLAB工具包实现基于SVM的疲劳检测模型,分别采用线性方法和核函数实现特征向量的二类划分。其中,线性分类获得的最优超平面的法向量为(0.442, 0.444, 0.669, 0.331),b=0.025。基于该模型的正常状态检测和疲劳检测结果如表 5表 6所示。表 5表 6中的L、R、G、P分别表示线性SVM、核函数为径向基函数、高斯函数和多项式函数的SVM。Score表示样本与决策边界的符号距离,正数表明样本属于该类,负数相反。基于4种不同内核的SVM疲劳检测模型的正常和疲劳工作状态整体识别结果的准确率分别为75%、91.7%、91.7%和79.2%。针对正常工作状态和疲劳工作状态的识别准确率分别如表 5表 6所示。其中,基于径向基函数和高斯函数的疲劳状态识别准确率为100%,线性方法准确率最差;针对正常工作状态识别,基于径向基函数和高斯函数准确率高于线性方法和多项式方法。模型检测结果表明,基于径向基函数和高斯函数的SVM方法能有效检测由眼动指标度量的目视检查中维修人员的疲劳状态。

表 5 正常状态检测 Table 5 Normal status detection
样本 真实状态 检测状态 Score
L R G P L R G P
1 正常 正常 正常 正常 正常 1.379 1.000 1.000 1.006
2 正常 正常 正常 正常 正常 1.665 1.000 1.000 4.995
3 正常 疲劳 正常 正常 疲劳 -0.405 0.418 0.418 -0.057
4 正常 疲劳 疲劳 疲劳 疲劳 -0.194 -0.648 -0.648 -0.526
5 正常 正常 正常 正常 正常 0.856 1.000 1.000 1.966
6 正常 正常 正常 正常 正常 0.918 1.045 1.045 2.295
7 正常 正常 正常 正常 正常 0.999 1.000 1.000 1.000
8 正常 正常 正常 正常 正常 0.628 0.946 0.946 2.790
9 正常 正常 正常 正常 正常 1.001 0.115 0.115 1.055
10 正常 正常 正常 正常 正常 0.594 1.000 1.000 0.999
11 正常 疲劳 疲劳 疲劳 疲劳 -1.249 -0.781 -0.781 -0.162
12 正常 正常 正常 正常 正常 1.565 0.560 0.560 1.000
准确率/% 75 83.3 83.3 75
表 6 疲劳状态检测 Table 6 Fatigue status detection
样本 真实状态 检测状态 Score
L R G P L R G P
1 疲劳 正常 疲劳 疲劳 疲劳 -0.588 0.417 0.417 1.000
2 疲劳 正常 疲劳 疲劳 疲劳 -0.090 1.000 1.000 3.014
3 疲劳 疲劳 疲劳 疲劳 疲劳 1.000 1.097 1.097 2.384
4 疲劳 疲劳 疲劳 疲劳 疲劳 2.078 0.984 0.984 0.999
5 疲劳 疲劳 疲劳 疲劳 疲劳 1.181 1.000 1.000 1.082
6 疲劳 疲劳 疲劳 疲劳 正常 0.628 1.000 1.000 -0.121
7 疲劳 疲劳 疲劳 疲劳 疲劳 0.786 1.000 1.000 1.000
8 疲劳 疲劳 疲劳 疲劳 正常 0.091 0.301 0.301 -0.139
9 疲劳 疲劳 疲劳 疲劳 疲劳 1.667 1.000 1.000 1.486
10 疲劳 疲劳 疲劳 疲劳 疲劳 1.495 1.000 1.000 3.598
11 疲劳 疲劳 疲劳 疲劳 疲劳 0.652 0.906 0.906 0.999
12 疲劳 正常 疲劳 疲劳 疲劳 -1.735 0.612 0.612 1.000
准确率/% 75 100 100 83.3
4 结论

1) 采用民机复合材料结构目视检查实验,对正常状态和疲劳状态下的眼动数据进行采集与分析,疲劳状态下的任务持续时间、注视次数、注视总时间、眼跳次数和眼跳总时间数据均值都高于正常状态,瞳孔直径和扫视速度小于正常状态。两种状态下的注视热点与轨迹差异明显。

2) 眼动指标的方差齐次性检验和ANOVA分析表明与工作状态显著相关的眼动指标为左右瞳孔直径、平均注视时间和扫视速度。

3) 基于径向基函数和高斯核函数的SVM方法建立的疲劳检测模型较线性、多项式SVM方法等的效果更优,能支持机务维修人员疲劳的客观监测。

参考文献
[1] BAARAN J. Visual inspection of composite structures[R]. Braunschweig: Institute of Composite Structures and Adaptive Systems, 2009.
[2] OSTERJR C V, STRONG J S, ZORN C K. Analyzing aviation safety:Problems, challenges, opportunities[J]. Research in Transportation Economics, 2013, 43(1): 148-164.
Click to display the text
[3] LATORELLA K A, PRABHU P V. A review of human error in aviation maintenance and inspection[J]. International Journal of Industrial Ergonomics, 2000, 26(2): 133-161.
Click to display the text
[4] KHAROUFAH H, MURRAY J, BAXTER G, et al. A review of human factors causations in commercial air transport accidents and incidents:From to 2000-2016[J]. Progress in Aerospace Sciences, 2018, 99(5): 1-13.
Click to display the text
[5] LEE S, KIM J K. Factors contributing to the risk of airline pilot fatigue[J]. Journal of Air Transport Management, 2018, 67(3): 197-207.
Click to display the text
[6] LOBO J L, SER D, MORAVEK Z, et al. Cognitive workload classification using eye-tracking and EEG data[C]//International Conference on Human-computer Interaction in Aerospace. New York: ACM, 2016: 1-8.
[7] NEALLEY M A, GAWRON V J. The effect of fatigue on air traffic controllers[J]. The International Journal of Aviation Psychology, 2015, 25(1): 14-47.
Click to display the text
[8] 卜建, 刘银鑫, 王艳军. 空中交通管制员的眼动行为与疲劳关系[J]. 航空学报, 2017, 38(S1): 52-57.
BU J, LIU Y X, WANG Y J. Relationship between air traffic controllers' eye movement and fatigue[J]. Acta Aeronautica et Astronautica Sinica, 2017, 38(S1): 52-57. (in Chinese)
Cited By in Cnki (4) | Click to display the text
[9] WANG T C, CHUANG L H. Psychological and physiological fatigue variation and fatigue factors in aircraft line maintenance crews[J]. International Journal of Industrial Ergonomics, 2014, 44(1): 107-113.
Click to display the text
[10] 冯贺.民航机务维修人员疲劳管理研究[D].天津: 中国民航大学, 2016.
FENG H. Research on fatigue management of aircraft maintenance personnel[D]. Tianjin: Civil Aviation University of China, 2016(in Chinese).
Cited By in Cnki | Click to display the text
[11] DAI J, LUO M, HU W, et al. Developing a fatigue questionnaire for Chinese civil aviation pilots[J]. International Journal of Occupational Safety and Ergonomics, 2020, 26(1): 37-45.
Click to display the text
[12] 李长勇, 吴金强, 房爱青. 基于多信息的疲劳状态识别方法[J]. 激光与光电子学进展, 2018, 55(10): 239-245.
LI C Y, WU J Q, FANG A Q. A multi-information based fatigue state recognition method[J]. Laser & Optoelectronics Progress, 2018, 55(10): 239-245. (in Chinese)
Cited By in Cnki | Click to display the text
[13] 牛清宁, 周志强, 金立生, 等. 基于眼动特征的疲劳驾驶检测方法[J]. 哈尔滨工程大学学报, 2015, 36(3): 394-398.
NIU Q N, ZHOU Z Q, JIN L S, et al. Detection of driver fatigue based on eye movements[J]. Journal of Harbin Engineering University, 2015, 36(3): 394-398. (in Chinese)
Cited By in Cnki (22) | Click to display the text
[14] LENSKIY A A, LEE J S. Driver's eye blinking detection using novel color and texture segmentation algorithms[J]. International Journal of Control Automation and Systems, 2012, 10(2): 317-327.
Click to display the text
[15] MANDAL B, LI L, WANG G S, et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 18(3): 545-557.
Click to display the text
[16] YAMADA Y, KOBAYASHI M. Fatigue detection model for older adults using eye-tracking data gathered while watching video: Evaluation against diverse fatiguing tasks[C]//International Conference on Healthcare Informatics. Piscataway: IEEE Press, 2017: 275-284.
[17] 靳慧斌, 朱国蕾, 吕川. 基于支持向量机的管制疲劳检测模型研究[J]. 安全与环境学报, 2019, 19(1): 105-111.
JIN H B, ZHU G L, LU C. On the air traffic controller's fatigue detection based on the support vector machine[J]. Journal of Safety and Environment, 2019, 19(1): 105-111. (in Chinese)
Cited By in Cnki | Click to display the text
[18] 刘亚威.管制疲劳的眼动指标研究[D].天津: 中国民航大学, 2018.
LIU Y W. The research of eye movement index for detecting air traffic controllers' fatigue[D]. Tianjin: Civil Aviation University of China, 2018(in Chinese).
Cited By in Cnki | Click to display the text
[19] STASIL L D, MCCAMY M B, SUSANA M C, et al. Effects of long and short simulated flights on the saccadic eye movement velocity of aviators[J]. Physiology & Behavior, 2016, 153(1): 91-96.
Click to display the text
[20] 汪磊, 任勇. 机务维修人员疲劳风险评价模型及管理系统实现[J]. 中国安全科学学报, 2017, 27(5): 70-75.
WANG L, REN Y. Fatigue risk evaluation model and system for civil aviation maintenance personnel[J]. China Safety Science Journal, 2017, 27(5): 70-75. (in Chinese)
Cited By in Cnki (1) | Click to display the text
[21] 李天任.机务人员疲劳的特征研究[D].天津: 中国民航大学, 2017.
LI T R. Study on the characteristics of fatigue of aviation maintenance[D]. Tianjin: Civil Aviation University of China, 2017(in Chinese).
Cited By in Cnki | Click to display the text
[22] VAPNIK V N. Statistical learning theory[M]. New York: Wiley-Interscience, 1998.
http://dx.doi.org/10.7527/S1000-6893.2019.23532
中国航空学会和北京航空航天大学主办。
0

文章信息

贺强, 谭德强, 程林
HE Qiang, TAN Deqiang, CHENG Lin
民机复合材料目视检查中的眼动与疲劳检测
Eye movement and fatigue detection in visual inspection of civil aircraft composite materials
航空学报, 2020, 41(5): 223532.
Acta Aeronautica et Astronautica Sinica, 2020, 41(5): 223532.
http://dx.doi.org/10.7527/S1000-6893.2019.23532

文章历史

收稿日期: 2019-09-29
退修日期: 2019-11-05
录用日期: 2019-12-03
网络出版时间: 2019-12-07 17:27

相关文章

工作空间