快捷导航
查看: 1151|回复: 0

杜煜 《眼球追踪技术在虚拟现实中的应用》

[复制链接]

今天,我讲的题目是《眼球追踪技术在虚拟现实中的应用》,我来自上海青研科技有限公司,我叫杜煜。

什么是眼球追踪技术

眼球追踪技术英文名字叫Eye Tracking,又叫眼动,或者眼控,那么原理呢,就是用摄像头来捕捉人的眼球的一个活动。拍到图片以后,通过数学建模和模式识别来计算人眼睛所看的这样一个精确位置
眼球追踪技术有一个重要的应用,就是用于帮助残疾人,像霍金这样的渐冻人,因为手不能动,那么通过眼睛,可以来完成打字、上网、玩游戏。现在在操作的时候就是用眼睛看虚拟键盘,电脑上有一个虚拟键盘,相应的字符,比如说想打出青研,就是看QINGYAN,就可以打出“青研”这两个字来。原理就是一个仪器,里面包含了红外摄像头,来拍摄人的眼睛,这里面拍到的图像会实时地传到电脑里面,电脑进行实时的图像处理分析,计算出眼睛所看的屏幕的这样一个位置,这个就是眼球追踪技术的一个原理。
只不过以前传统的是和电脑,显示器进行配合使用,那么现在最新的技术呢,可以用在虚拟现实中确定输入的方式有几种,就是人机交互里面,用户体验怎么设计方便,我们是用的时间的一个阈值,比如说看过一秒钟,可以打出这个字来。如果用的人比较熟练的话,可以看0.5秒打出来就可以,刚开始用不太熟练,用2秒。那么还有其他的一些方式,比如说用眨眼睛,眨一下眼睛或者眨两下眼睛确认,也是可以的。那么其实还有另外一些方式,也会用,待会儿我会讲到的。
虚拟现实中,还一种方式是什么呢?因为如果只用眼睛看的时间来确认的话容易误操作,包括眨眼睛,也有可能误操作,因为人都会眨眼睛的,那么所以有一种比较好的方式是什么呢?眼睛锁定目标,通过手按键来确认。就比如我们在虚拟现实中可以结合手柄来使用,但是可以用眼睛来选择。所以说,现在眼球追踪呢可以用来控制电脑,VR、还有手机、智能家居等设备,是一种新的人机交互方式。也就像对于PPT来讲,鼠标和键盘是交互方式,那么对智能手机来讲,触摸屏是交互方式。那么以后,对于VR,眼球追踪以后会成为一个标配,一种重要的交互方式。
眼球追踪的传统应用
典型的应用,一个就像霍金这样的渐冻人,因为手不动,所以说这是一种刚需了,只好用眼睛来控制,这是没办法的事情,那么还有一种呢,就是比如像玩游戏,在上海残联的一个展会上,一个坐轮椅的上海残疾人击剑队的运动员,用眼睛可以玩这个切水果的游戏,相当于用眼睛取代鼠标了。现在还可以发展,可以控制智能家居,我们现在做的最新的技术的话,以后可以用眼睛直接来控制智能家居,比如像电视、空调等家居进行交互。比如以后开灯,就不用手去按开关了,你看一下这个灯,灯就亮了,这是以后发展的趋势。
我讲的这些是眼球追踪在非虚拟现实领域中的应用,以后可以迁移到虚拟现实环境中,所以这些应用,以后理论上都可以通过开发者的开发,把它做到虚拟现实中进行应用。那么还有一些其他的传统领域,像之前支付宝购买设备,就是用来做网站的可用性研究,也可以用在心理学,包括像广告测试等等,可以通过监测人眼看页面区域的先后顺序,进行广告效果的评估或者网站的可用性研究,因为就是说重要的区域是不是容易被人看到,是不是容易吸引人的眼球。还一个重要的应用是现在用在汽车上的,防疲劳驾驶,人眼闭上了,或者眨眼频率特别高、目光呆滞,都是疲劳驾驶的表现。我们现在跟上海汽车集团进行合作,也会用在一些,像这个抬头显示HOD,可以通过眼睛来进行控制,这是汽车行业。
还有我们在手机上的一个眼球追踪技术,以后我们发展的趋势是通过手机的摄像头也可以实现眼球追踪。戴眼镜的话95%以上都没有影响。除非眼镜的框正好挡住摄像头拍摄的角度了,这是会有影响。太阳眼镜我们以前测试过,有一部分可以,有一部分不可以,但其实我们以后可以设计一种太阳眼镜,让它透红外光的话,那么就可以一方面起到太阳镜的作用,另一方面可以起到眼球追踪。
眼球追踪在虚拟现实中的应用

现在进入正题了,我们讲一下在虚拟现实中的应用。分成五个方面,但是我想这五个方面,其实只是虚拟现实中非常小的一部分,因为虚拟现实对我来讲,我是一个外行,我们本身是做眼球追踪的,其实在座的绝大多数人都比我要懂虚拟现实,我要向大家来进行学习,当然我们可以交流一下,互相学习。
那么分成几个方面,眼控游戏、注视点渲染,人机交互,消费者心理研究,还有定向投放。下面单独讲一下。

一个呢,就是眼控游戏,刚才也有开发者提到这个游戏开发。因为现在眼球追踪设备随技术发展体积做得非常小了,完全可以隐藏到虚拟现实设备里面,而且成本也可以做的非常低。一个飞机大战的游戏,传统上是用鼠标来玩的,用鼠标去瞄准,左键发射机关枪,右键发射导弹。那么现在我们通过眼球追踪,用眼睛只要看到敌机就可以瞄准,眼睛控制雷达的,那么手只需要按键就可以发射。我们考虑一下,在那么多游戏中,眼球追踪适合怎样的一种游戏呢?其实就是说手被占用的时候。但在虚拟现实中有一个问题就是,我们的眼睛是看不到手的,在实际开飞机的时候呢,两个手是在操作操纵杆,那么用眼睛如果能直接锁定敌机的话,手只要按键发射就行了。要不然还要用手去摇杆去瞄准敌机,其实是非常浪费时间的,在空战的时候,差0.1秒就是你死我亡的一个区别。进入我们的眼控飞机游戏,前面会不断的有敌机来飞过,视野中间有个小十字,通过这个十字去瞄准敌机,十字外面的方框就是雷达锁定的范围,就把这个敌机锁定了,因为实际不管是真实的开飞机还是玩游戏中,有的情况是友军,有时是敌军,这个不能乱来,如果直接用眼睛瞄了就开枪,这个容易误操作,其实玩起来也是非常有意思的。我们这个眼控VR技术呢,也是通过这个游戏呢,在今年这个CES展上,获得最佳产品大奖,也叫最佳突破性创新奖。
注视点渲染是一种什么技术呢?因为现在我们要求头盔显示器分辨率越来越高了,4KB或者2KB,但是为了避免眩晕,流畅,那么帧率还要达到90帧以上,所以说现在这个显卡也很难做得到。要么就是说价格非常贵,要么就是说会有引起这个卡顿。所谓的注视点渲染是什么意思呢?人眼睛看的中央的位置实际上是视觉最敏感的,有一些细节都可以渲染出来,但是实际上,边缘的位置,大家在看我的时候,PPT就看不清楚了,在看PPT的时候,我就看不清楚了。那可以利用这样一个特性,那么我通过硬件,比如说我们跟英伟达也有合作,还有一些像比如Unreal这种软件引擎公司,可以来利用这个特性,首先要知道眼睛看什么位置,然后呢,在最中心这个区域,保持就是说全分辨率,比如说4KB,边缘的,稍微靠边一点的地方,可能清晰度略微下降,比如说变成2KB了,那再外围的区域,虽然说眼镜也能看得到,但是模糊点没关系,因为人眼觉察不到,那比如说,1K的分辨率就可以了。这样的话呢,如果是同样的显卡,就可以提高帧率,或者说,如果是同样的一个比如说价格成本的话,可以得到更高的分辨率。现在尤其是手机的硬件上,现在像华为、中兴、还有像三星、LG公司都是希望把这个技术能用在硬件方面,能在同样的硬件成本的基础上,大大提高显示的效率。
还有一个呢,就是用于人机交互,比如说淘宝这个buy+,一开始以为是愚人节的玩笑,但实际上不是。但是淘宝buy+从我们做技术人的角度来考虑的话,现在可能还属于一个概念。那么现在有的交互方式是什么呢?比如说像手势识别,比如像HTC的一个头盔,手柄的一个交互,还有就是VR设备旁边有一个触摸屏,这些都是常用的交互设备,还有声控啊,等等。那么我的观点是,眼球追踪呢,其实和这些交互方式相比的话,我们不是说用眼球追踪去取代这些,而是说因为有些场合适合用声控、手势、手柄,而有些场合呢,适合用眼球追踪,就像人的五官一样,各有各的用处,加入眼球追踪后我们的交互方式更加丰富了,在各个领域都有最合适的交互方式。那我们可以想象一下,比如说在淘宝buy+的这样一个应用场景里面,比如说若干,一定的时间以后,如果说真的能进行应用了,比如游戏里面也有这个菜单选择,我想在购物的时候也有菜单选择,因为在电脑屏幕上是有菜单的,在虚拟场景中也是有菜单的,那么菜单的选择,就可以不用手,也不需要手去触摸了,可以用眼睛来看,来进行选择商品。最后呢,在选择完商品以后,在进行支付的时候,也有一个支付宝,要输入密码,搁以前的话,如果是没有眼球追踪的话,那么输密码肯定要把虚拟现实头盔取下来,然后再用手打开电脑再去输密码,这是一种很不好的用户体验,因为就出戏了,本来在虚拟现实中看到这个衣服很漂亮,一摘下头盔来,这个衣服没了,就在想,我这个月工资也不多了,干脆别买了。趁热打铁,趁着他想买的话,让他买,那怎么办呢?一个是弹出支付密码的窗户,让他来输入密码完成支付,另外,现在还有更新的一种技术,刚才我在门口看到有一位支付宝的同学就说,让我体验了一下人脸识别技术,人脸识别支付,现在呢,VR里面,当然因为没有人脸识别,但是可以通过虹膜识别,就是说相当于我们手机上支付这个指纹识别,因为人的虹膜特征都是唯一的,那么有可能以后就会做到直接通过识别你的身份,这个虹膜,直接完成支付,密码都不需要输入了。虹膜就像人的指纹一样,每个人都不一样,可以完成支付。系统问你,是不是需要虹膜支付,然后用手机上的摄像头扫描一下虹膜,这样它才会支付保证安全,可能这个只有在比较高的安全等级下才可以使用。我可以要求眨一眨眼睛,连续拍个几帧这样来判断是不是真人,带隐形眼睛的话,一般来讲图像没什么关系,但是美瞳不行,因为美瞳是有色眼镜。
眼动仪最早是一些大学的心理学,像浙江大学的心理系,像华东师大的心理系,他们都买的比较早。早期的设备从国外运过来,100多万,用起来也非常麻烦。主要研究人的心理活动,那么在虚拟现实中,眼球追踪也有非常好的一个应用,比如说消费者的一个心理研究,比如说我是一个消费者,那么我使用了淘宝buy+在虚拟现实中进行购物,首先我到了一个虚拟的商店,我进到以后,首先来讲,我为什么要选择这样一个商户,为什么我要进入这一家,他的眼睛是怎么看的,为什么就选中这一家呢,或者比如说一个超市,我是怎么去选择商品的,我在超市里面是怎么走动,或者我到一个卖衣服的商店里面,我眼睛的浏览顺序是怎么样的。还有一个呢,对商家来讲说,我要重点所要推销的商品,怎么才能让消费者最容易找到,我们会感到迷惑。这个其实就是我们刚才讲到的,眼动仪在比如像网站的可用性啊,或者广告搜寻中起到,一些传统的方式其实,传统的领域遇到的一些问题,用户体验的一些问题,在VR中一定也会遇得到。这不过这是一个全新的领域了。
还有一个呢,就是为什么消费者走到衣服旁边,左看看右看看,甚至还摸两下,最后没有买,为什么?只不过是在以前传统的方式的话,是没办法去记录这个数据的,但是在VR中的话,我们有了这个眼球追踪技术的话,就可以知道,我拿到一个商品,我左看看右看看,但最后没有买,可能是看到说,比如说这个,打个比方,是看到衣服标签上的材料,她想买全棉的,但这个不是全棉的。那么通过眼球追踪技术呢,就知道消费者所看到的这样一个过程,判断消费者的心理,为什么买,或者为什么没有买,还有追踪过程,如果买了的话,是看到什么信息,决定最后不买了。那么,当然对于像支付宝啊,或者是淘宝啊,阿里来讲的话呢,根据所有的店铺,所有的消费者的这样一个眼球追踪的数据,如果放到后台的话,可以得到一个非常好的大数据的分析平台,结合我们的专用软件,就可以得到消费者在看货架上所有商品的时候,眼动轨迹,浏览的顺序,每个商品,每个区域,看了多长时间,看了多少次,第一眼看到它,用了多快的速度,还有比如说,如果是多个人的话,百分之多少看到这个商品,这个数据都可以统计出来。
另外一个应用的话,就是在虚拟现实中的广告。因为中国人喜欢免费,不管说是玩游戏,还是看视频,内容呢,都喜欢免费。免费怎么办?就要给它插入广告,让他来看。那么在虚拟现实中,和眼球追踪技术进行结合的话,对广告来讲也有很好的一个应用。一个就是说广告的效果评估,刚才我们提到的,在普通的电脑显示器上可以进行,平面广告的效果评估,在VR中当然也可以进行效果评估了。这些广告位置,哪个好,哪个坏,定价,有的是1个亿,有的是5千万,为什么?那就根据这个效果。比如说这边效果好,因为他看的次数是这个两倍值,它是1个亿,这个是5千万,这就是它的道理。以前的话呢,凭感觉。还有另外,如果这个觉得也不合理的话,广告商觉得不合理的话,那么可以按广告的次数收费,一共有,这里面有十个广告位,不管你放到哪里,我看一次,收1块钱,这样非常合理。另外的话呢,对于一些电影、电视剧,或者其他的一些虚拟场景内的植入广告怎么设计,也可以通过眼球追踪技术,得到一个非常合理的设计
另外的话,还有一个非常重要的应用,就是根据观众的视觉偏好来进行广告的投放,因为并不是说,比如说有一百万个人来使用这个VR设备,如果是,现在的方式的话,比如像优酷啊,它就是按照同样一个视频源,所有的人看了都是同样的广告。那么现在的话呢,根据每个人的视觉偏好,因为眼球追踪技术已经,尤其是像阿里的大数据,如果使用,和眼球追踪技术结合的话,可以知道每个人平时喜欢看什么。比如同样是看世界杯,那么我比如说准备要买一个手机,这样的话呢,可以就给我投放手机的广告。有的人在看汽车,之前看过汽车的一些信息,可以投放汽车的广告。所以以后在虚拟场景中呢,未必每个人看到的广告都是一样的,可以根据不同的偏好投放不同的广告

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ