来源：映维网作者颜昳华在本篇详细说明AR/VR眼镜上的眼动追踪技术原理。其中分别包括苹果、微软、Magicleap、Facebook、索尼等大厂的最新公开的眼动追踪技术方案。技术方案包括瞳孔角膜反射法、视网膜影像定位、结构光追踪、角膜反射光强度、视网膜反射光强度、光波导眼动追踪。一、眼球生理结构和特征所有的眼动追踪技术都是根据眼球的生理结构实现的，不同的眼动追踪技术会用到不同的眼球生理特征，因此在了解眼动追踪技术之前有必要先了解一下眼球的生理结构。人类眼睛能够感知周围环境光线的明暗，主要包括眼球及人眼附属器官。眼球所接收的外界光线通过视神经传送给大脑，大脑对接收信号进行分析，支配人眼附属器官完成眼球的转动，使视线聚焦在目标区域。人眼生理结构如图1、图2所示。图1人眼正视图图2人眼生理结构图(1)巩膜：是人类眼球白色的外围部分，是保护眼球内部结构的最外层纤维膜。(2)角膜：是人眼最外层的一层透明薄膜，具有十分敏感的光线感知神经末梢，不但可以保护眼球内部，并且具有很强折光能力。角膜具有自己的曲率且不可调节，不同人的角膜曲率各不相同并且角膜中心是最高点。图1中O2为角膜曲率中心。(3)虹膜：虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性。因此，可以将眼睛的虹膜特征作为每个人的身份识别对象。(4)瞳孔：眼睛中心颜色更深的环形部分就是瞳孔，人类可以根据外界不同的光线强度条件反射地通过虹膜肌的运动调节瞳孔大小及形状，进而将外界光线进入瞳孔的数量控制在一定范围内。图1中O1为瞳孔中心。(5)晶状体：晶状体和照相机里的镜头非常相似，是眼球中比较重要的屈光间质之一。晶状体对通过瞳孔进入的光线具有折射作用，并且其形状和曲率可变，在不同距离观测目标物体时使眼球聚光的焦点汇聚到视网膜上。(6)视网膜：视网膜是一个专门负责感光成像的薄膜。由瞳孔进入的光线经过晶状体的折射作用汇聚到视网膜上，视网膜将汇聚的光信号转化为电信号传递给大脑。视网膜的分辨能力是不均匀的，黄斑区域是对光感觉最敏感的部位，其中间有一个小凹为黄斑中心凹，它包含大量的感光细胞。图1中P2为中心凹。视线追踪系统中，黄斑中心凹P2与瞳孔中心O1的连线称为视轴，即人眼实际注视方向，而实际估计的为角膜中心O2与瞳孔中心O1的连线，称之为光轴。所以，大多数的视线追踪系统需要有一个定标过程，消除人眼视轴与光轴固有的生理偏差，得到真正视线的方向或注视点的位置。目前近眼显示设备（例如Magicleapone）上的眼动追踪技术方案各种各样，全球的智能眼镜企业为了实现眼动追踪这个重要战略级技术也都各显神通，但是究其底层原理都是依据眼睛的生理结构实现的眼动追踪技术。接下来我根据眼睛的生理结构来为全球的眼动追踪技术进行分类，这将有助于我接下来的眼动追踪技术讲解。二、眼动追踪技术分类第一种.瞳孔角膜反射法：通过角膜中心和瞳孔中心的连线进行眼动追踪。代表企业：MagicLeapone、Digilens、Tobii、SMI、Apple、索尼。图3眼球结构中视轴与光轴区别示意图第二种.视网膜影像：因为视网膜上不规则的毛血管、中央凹等生理结构形成的图案，通过计算视网膜图像变化来进行眼动追踪。代表企业：Magicleap（第二代或者第三代）、lumuc、三星。图4视网膜影像第三种.对眼睛建模后计算视觉中心：1.利用结构光对眼睛建模；2.利用光场相机对眼睛建模代表企业：Facebook。第四种.视网膜反射光强度：激光透过角膜、瞳孔、晶状体最终打在视网膜上，视网膜会对入射的激光反射，外部光敏传感器通过检测视网膜反射光强度确定眼球运动的方向。代表企业：Facebook、Lumuc。第五种.角膜的反射光强度：角膜外壁较为光滑，如果在眼睛的一侧发射一束激光到角膜上时会被角膜反射。当激光刚好射在角膜中心时(角膜中心是最高点)，激光的反射强度最大，因此通过光敏传感器检测角膜反射光的强度确定眼球运动的方向。代表企业：微软、华为、Adhawk。图5MEMS角膜中心反射示意图三、眼动追踪技术详细说明在上述的眼动追踪技术分类中，第一种瞳孔角膜反射法、第二种视网膜影像、第三种对眼睛建模后计算视觉中心这三种都需要用到摄像头。其中第一种和第二种都是通过计算机对眼睛的图像进行处理、特征点提取，进而获得的眼睛视觉中心。第三种通过摄像头（红外相机、深度相机）对眼睛重建为三维模型再计算视觉中心。第四种和第五种仅仅可以通过一个或者几个光敏传感器元件捕获眼睛反射光的强度获取眼睛视觉中心，反射光可能来自角膜中心或者视网膜。从眼睛生理结构的特性出发，目前全球主流的智能眼镜公司的眼动追踪方法就为上述的五种。但是目前已公开的上百篇眼动追踪技术技术专利都有什么不一样呢？主要的不同点在于光学路径上的创新，围绕着发射光源的传播路径，摄像头获取眼睛图像的传播路径，使计算机获取稳定的、清晰的眼睛图像展开的。接下来我将详细的介绍这五种眼动追踪的方法：一、瞳孔角膜反射法：通过角膜中心和瞳孔中心的连线进行眼动追踪。首先，我们讲讲瞳孔角膜反射法的前身为单摄像头无闪烁光源，该方法仅仅是通过摄像头获取眼睛的图像，从眼睛图像提取的瞳孔轮廓来计算瞳孔中心，进而推断每帧照片中眼睛的位移量，结合眼球模型注视点被映射在显示器上。这种眼动追踪的方法不允许头部的运动，因为这种方法的参考方法只有眼睛图像，头移动之后眼睛的图像也会发生位移。并且眼动追踪的误差也很大，其原因在于该方法忽略了角膜的屈光度，角膜会引起光的折射，忽略角膜折射可以导致几度的角度误差（见图6误差示意图）图6：（A）折射导致在角膜界面进入或离开眼睛的光线弯曲。（B）考虑到显式瞳孔轮廓依赖于角膜的屈光特性，折射现象对无闪烁的注视估算方法提出了一个巨大的挑战。上方：无折射，假定眼球是球型；下方：实际情况眼球并非完整的球型，角膜在眼球上突出，形成一个小型半球形。问：为了解决角膜曲率引起的折射偏差，所以要把角膜曲率也作为一个影响因素带入到眼动追踪的计算。那么如何计算角膜的影响参数呢？答案是：通过一个红外光源照射在角膜上产生一个闪烁点-普尔钦斑（Purkinjeimage），该闪烁点由进入瞳孔的光线在角膜外表面上反射（cornealreflection，CR）而产生（如图7）。由于眼球近似球体，照射在上面的闪烁点位置基本不会随着眼球的转动而改变。图7闪烁点-普尔钦斑示意图在智能眼镜的眼动追踪系统中红外光源、摄像机的位置都是不变条件下，并且在眼球模型的结构基础上，利用闪烁点与光源位置计算得到角膜曲率中心。利用图像处理技术计算获得瞳孔中心。通过角膜曲率中心与瞳孔中心的连线求得眼球光轴，并利用光轴和视轴之间的夹角计算得到了真实的视线方向—视轴。需要校准的原因：所示如图8，视线追踪系统中，黄斑中心凹P2与瞳孔中心O1的连线称为视轴，即人眼实际注视方向，而实际估计的为角膜中心O2与瞳孔中心O1的连线，称之为光轴。所以，大多数的视线追踪系统需要有一个定标过程，消除人眼视轴与光轴固有的生理偏差，得到真正视线的方向或注视点的位置。图8眼球结构中视轴与光轴区别示意图利用多个红外光源增强稳定性问：上述的单摄像头单光源的眼动追踪方案在智能眼镜的使用过程中仍然会出现很多问题。当用户的头迅速摆动或者眼睛大幅度运动时，智能眼镜与眼睛的相对位置会改变，闪烁点在眼睛上的位置也会产生微量位移，因此就注视点位置会产生误差。并且在智能眼镜上眼动追踪系统的光源和摄像头距离眼睛很近，闪烁点可能会被眼脸、睫毛等挡住红外摄像头的视线，因而造成计算误差。为了解决上述问题会通过2个或者2个以上的红外光源打在眼球上面。利用角膜上多个闪烁点共同计算角膜中心，图像识别获取瞳孔中心，带入到3D眼睛模型中计算获取三维空间的光轴。因此可以通过增加红外光源解决上述问题，目前我们可以在很多的VR眼镜上看到的眼动追踪模块都是一圈红外光。索尼的眼动专利还提出动态的投射多个红外光源到眼球上，以此降低外部因素对眼动追踪精度的影像。实施例：AR眼镜Magicleapone眼动追踪技术方案。Magicleapone：在头显眼框底部位置发现了眼动追踪红外摄像头。每个透镜都内置了4个LED的红外传感器，而传感器用于追踪用户的眼球运动。由于眼动追踪摄像头位于镜片底部，所以当眼睛往下看时，眼动追踪更加精准。图9A.Magicleapone眼动追踪模块展示图9B.Magicleapone眼动追踪模块展示参考资料：论文：一种基于眼球结构的视线映射几何模型设计郑思仪；论文：基于普尔钦斑点的人眼视线方向监测李东升；论文：基于瞳孔角膜反射法的视线追踪李亚萍；网站：单摄像头注视点估算，PupilLabs带来精准眼动追踪效果

转载请注明:http://www.aideyishus.com/lkcf/6270.html