快捷导航
查看: 196|回复: 0

张硕:《VR应用开发实践不完全指南》

[复制链接]


大家好,我是锋时互动的张硕,我们公司成立2011年,(在)天津,主要做手势交互识别。2013年左右VR概念逐步火热,因此我们在2013年也把底层算法进行了一些调整,从以前PC鼠标完成了向整个VR手势交互算法的倾斜。
视频里是一个VR播放器的场景,我们可以把手部的23个骨骼节点,26个自由度的手势完全模拟出来,使用者可以轻松地使用自己的双手可以在VR当中操控整个手部的控键。
今天我给大家准备的题目是《VR应用开发不完全手册》。2010年前我在大三大四的时候参加过一个诺基亚组织的开发者的的活动,当时simagine刚开始有一个塞班的雏形系统,在sim卡上有一个64kb的储存空间,诺基亚就想看看大家在这个使用这么局限的这种运算方式上面能够做出什么东西来。我们当时的项目是三个人,想出了3个idea报到诺基亚的总部,其中一个idea就是我们就是想通过把这一组数字变成在塞班系统上一个黑白屏幕上面,显示的一个这个barcode条形码,如我们在一些机场或者在一些超市使用红外扫描仪,可以直接通过扫手机屏幕来获得用户信息,当时这个项目最后入围了全球创意前十之后,这个项目后来也并没有落地。
后来我们发现随着智能机的普遍,每一个手机都带着一个camera之后,扫二维码他是一个很普遍的一个现象,我们整个这个项目,从我们十年前开始有了这个想法到技术能够达到,到最后真正达到一个人们日常普及应用的一个范畴,是需要很长时间的。
今天我也看到很多中国传媒大学的学生来到我们这个公开课上,我看到可能是一个宿舍的四个小伙子一起来听VR开发。VR是怎么做的?首先我们需要做什么?具体的在整个VR这个很大的一个行业内做哪一个方向?我想根据我对于整个这个行业的认识,这个整个行业的上下游的产业链的一个分部,给大家介绍一下。
当我们整个这个团队明确了我们想做哪一个点、哪一个方向之后,更容易展开特定的应用,对于应用什么样的交互方式,对于是选择使用手势交互还是用传统的键盘鼠标来完成我们VR的操控,这个实际上是定位就很明确了。
我们看的这个VR,实际上从整个大的这一轮资本的推动发现,它可以被划在智能硬件这个范畴当中。那么整个资本在智能硬件这一个浪潮中我们认为它分为三个主要的阶段。
第一个阶段就是智能家居,智能家居最关键的这个核心点就是google用32亿美金收购Nest。国内就是从开始从美的,海尔这些大的企业开始,一直到包括像这个smart life这种创业型的一些公司开始去推出智能门锁、智能防盗、智能监控,包括我们的二氧化碳、甲醛检测一系列的智能产品。那么到后来我们发现,这个实际上在国内这个东西我们买了之后回家只会让我闹心,他比如说他告诉我,我们家甲醛超标了,但是他不给我提供任何服务,我们家甲醛超标了怎么办我也不知道,我每天过的闹心,我还不如不知道,对吧?
那么,整个这个资本再往前推的时候,又形成了可穿戴技术,wearable device,这些可穿戴技术最根本的代表,实际上最开始的鼻祖是Google glass和一系列的智能手表,Google glass实际上是把AR的概念第一次告诉给了我们,但是这个可穿戴设备目前在市场上,仅剩下竞争力的除了一些比较高端的手环产品之外,剩下的就是Apple Watch,苹果手表了。但是这个东西现在被人吐槽得很厉害,但是我觉得这个东西它还仍然有很多很好的发展前途,我觉得这个可穿戴设备最打动我的就是像苹果手表广告里演的一样,当我从利用苹果手机预订酒店之后,我不用在酒店去办理任何的这种check-in的这种手续,我直接走到我的这个房号门前刷一下我的苹果手表,我就可以进入到我的房间了,这是一个很智能化的生活。
第三个阶段,就是在整个这个智能硬件资本推动的尾声,就是虚拟现实。虚拟现实行业的标杆基本上确立起来了就是Oculus和HTC Vive,也是之前几位导师不断提到的两个厂商。这是目前整个智能硬件的发展的一个方向。
我们公司也是从2011年成立,2013年初被划到这个智能硬件行业里面,在2015年年底的时候又被划到这个人工智能这个行业里面,也是标志着这个智能硬件他的要求从最开始大家不知道什么叫智能硬件,后来变成了一个蓝牙加一个app,一个传感器和我在手机上能看到它的读数叫智能硬件,到现在大家对于智能硬件、智能传感器有了更高的认识,它收集到的数据是需要经过机器学习的,是需要通过这种deep learning的这种算法,来构建出一个数据模型的。它所检测的目标是对于人本知的感知和对于环境的一个监控,他收集到的不仅仅是数据,而是一些指令级的系统,那么也在标志着大家对于智能硬件的认识有了进一步的提升,那么人工智能与传感器结合肯定是智能硬件未来发展的主要方向。
我们把整个这个可以产生价值产生这个利润的智能硬件,主要分为5个阶段。
第一个阶段我们称之为传感器,就是sensor,比如说,我们做的手势识别系统,甲醛检测系统,以及HTC的little house整个这个空间范围定位系统,我们都可以把他叫做传感器。在传感器里面,特别是在做手势识别的传感器,光电传感器就分为三大类,一类是微动和leap motion我们一块使用的名为多角度摄像头传感器,另一个是Inter的TOF的光飞行时间传感器,还有另外一个分支是以色列presence为首,这家公司就是给微软做体感游戏机的,它叫结构光传感器,
第二就是算法,算法就是刚才在外面有一位朋友提到的,比如说,我们使用这种光学传感器,当手部产生遮挡的时候,我们如何对于人体手部被遮挡的部分,进行虚拟的预算或者说估算出现在我手部的姿态。有很多创业公司是在算法的层面进行深度的积累,其实大家可以理解为,我们平时在做行业应用,我们在做游戏的时候也是需要一些算法的,只不过这些算法很多是在游戏引擎层面帮我们解决掉的,比如说我们经常用到一些寻路算法,或者说我们经常用到的一些这种纹理变化的算法都是在游戏引擎解决掉,不需要我们再写了的。
但是现在我在展会上体验到一些国内的应用厂商,比如说地产行业,同样是做一个这个刚才讲师讲到的,我按一个button,我要把我的人物移动到另外一点上面,那么我们国内很多厂商做的都是一条射线,射过去,射过去之后在我的目标点上显示一个定位点,但是我发现很多,基本上全部的北美的厂商都是一个抛物线过去,一个抛物线跟一个射线相比的话,一条直线在VR里面我们是特别不容易观察到它的存在的,特别是当我是用来瞄准,这个直线是三点一线,我们几乎看不见这条直线,然后隐隐约约呢我们能从我们的视差角度上来看到这条直线,用户体验度也是特别差,但是如果一个很粗犷的抛物线,然后指引我,告诉我我将要把我整个的人或者把我的视角抛送到另一个点上去,这样给我的提示是相当明显的,但是抛物线这上面的算法就会用很简单的一个多点的贝塞尔曲线的一个平滑过程,但是我们这些应用厂商在这方面没有一定的算法积累,他们做出的体验不够尽如人意。
第三点是数据,数据其实,这个在智能硬件里面体现在大数据的一个收集,就是智能家居,那么我实现着语音控制,实现着用手机控制我们家还不够,我希望整个家庭更懂我,我希望它能知道我今天高兴不高兴,我一回家如果我高兴的话,它可以给我亮出一盏红灯,我不高兴的话我们家的光是很柔和的是绿色的。那么体现在VR领域的一个数据呢,实际上是我们这样的一个手势识别厂商对于大众手势识别的样品的一个采集。通过采集更多的样品,我们可以通过我们的机器学习方法,来训练出更为准确的一个手势识别的函数拟合的这么一个过程,这些数据也可以根据用户每个人在使用手势操作的时候根据你的操作习惯进行一些修改。比如说同样是翻页操作,有些人的翻页操作可能是很标准的这样水平挥动,有些人的翻页操作他的手伸出来可能是直的,这样横向滑动,那么这样的话我们就可以通过采集足够多的样本来改善我们这样的一个用户体验。
第四点是这个服务,服务实际上是我们很多在VR里面,内容团队在做的一个事情。我们实际上是可以把我们的传感器,把我们的算法把我们的数据,包括我们游戏引擎的开发过程隐藏掉,我们可以把它打包成一个功能性的一个应用,比如说我们VR的全景播放器,我们VR的这个在线全景直播,以及VR旅游VR教育,然后这些东西把它形成一个功能,产生一定的价值,把它打包给我们的用户,包括我们现在比较主流的VR教育,是现在一个比较大的一个方向。比如说我们的工程师,特别是硬件工程师,我们在上岗之前呢,戴上VR头盔之后,他可以在一个虚拟的场景里面看到一个已经损坏了的设备,那么他如何通过他的判断,这里面哪些零件需要更换。这是一个很好的盈利方式,作为内容开发呢也主要是在第四点上。
第五点是用户,用户更讲究的是一个生态,这里面我们可以看到对于一些寡头型的企业,像腾讯、阿里巴巴以及百度、爱奇艺他们,更多的是办一个发布会,告诉大家我们有多少多少用户,现在的日活量是怎么样子去吸引开发者,如果你在我们的平台上开发应用,选择我们这个平台的sdk一个硬件,将会给你带来一个什么样的服务。这主要是从一个小企业到一个大企业以及在这个行业中我们的切入点的不同,造成我们在VR整个生态里面,我们产生利益的点也不太一样。
整个这个在智能硬件场景当中呢,映射到VR里面,我们就可以看到,我们的一些大企业在做什么事情,一方面它们在不断地进行宣传,卖c端产品,不断地拉动用户。另一方面它实际上在输入和输出方面,尽量的去形成一个行业的标准,比如说我们今天看到的Oculus和HTC,它们的输入方式已经很明确了,在18年之前基本上就是这个样子,不会动了,这样我们就可以在这个过程当中去开发我们的应用。
比较早进入到VR行业的这些前辈,他们从DK1、DK2这样一路走来,他们的交互方式当时是很朦胧的,因为当时大家谁都不知道未来VR是用什么样的一个方式来交互,那么他们可能刚开始第一版应用的是鼠标和键盘来做交互方式,实际上在里面摸爬滚打,经历了很多过程。但是这些东西积累了很多经验,但是大部分是没有价值的,那么当我们有了一个行业标准之后,我们在上面产生的应用才是有意义的。这样子大的企业在抓住行业标准和用户之后,把中间的一些我们刚才提到的算法数据和服务包给我们第三方,来在这个平台上产生这个增量价值,做这种增值服务。
这个实际上是我们绝大多数VR开发者切入到整个VR行业的一个点,所以说这也是我们现在,包括学校内部一些VR社团的小组长想要开发,他们会问我一些问题,我们现在想做一个VR应用,但是我不知道做什么,我们呢想做一个比较VR化的一个东西,但是切入点应该怎么切?
那么我会建议说,看你是哪个专业的学生,比如说你是学计算机,学通信工程的,你们有一些基础的电子通讯的知识,那么我会建议你在算法里面深耕一些,因为这个东西,如果做成了的话,价值是很高的。但是如果我是一个学信息的或者是学金融的,那么我们能不能从搜集数据的角度,或者说从VR社交这方面来做起?我是学编导系的或者是学设计的,那么我会建议他设计一个服务流程,从VR的UI和UX来切入整个行业中去,在里面找准自己的一个位置,从而实现自己在VR生态圈里的价值。
然后说说互动,我们做了哪些东西,我们实际上是把自己定位在传感器的这个领域当中,我们做的是很底层很前端的东西,除了这种裸手的双摄像头角度的手势识别之外,我们也会把这个东西成为手感操控。
为什么这里面我不用手势识别这个词,实际上它是有区别的。我们之所以叫手感操控,是因为我们能提供手上23个骨骼节点的深度信息,然后通过这些深度信息与我们在图形图像里面识别到的整个手部轮廓,认知他的手部姿态,进行拟合,把这个深度信息和2D的图形信息重合之后,我们管它称之为手感操控。市面上也有很多其他厂商的产品说自己做手势识别,更多的是一些2D的图像识别的一些东西,像opencv的一些人脸识别和手势识别,基本上一些计算机专业的学生捣鼓捣鼓也是可以做出来的。
那么像这个光学手柄,这个是我们除了手势操控之外呢,为一些深度的,比如说一些特定的机械工程师,3D的工程设计、建筑师以及射击游戏来打造的东西。光学手柄它区别于我们现在在一些VR体验店里面看到的纯imu的枪械结构,主要是它是真正用我们的眼睛瞄准而不是一个imu旋转相对的一个瞄准,而且它在这里面光学定位很稳定,不会飘。
空间定位是我们在今年,目前还没有真正的公开,是我们今年在8到9月份的一个目前的内部项目,8到9月份会拿出一些demo给大家来看,它有点类似于HTC的light house,我们人可以在一个范围当中来行走,来检测我们人的蹲起,以及我们稍微歪一歪,我们从侧面去观察VR里面的一些东西,满足这样的需求,那么在人工智能方面呢,我们也是针对于VR里面凡是交互,不管是输入输出,我们用到的所有技术,设定的一些机械学习,一些深度学习的算法,来满足日后的这种交互需求的增长,这是我们锋时互动对自己的定位。
我们现在想要做VR内容,想要成为一个VR开发者,我么给自身在这个行业里面去如何定位,它是一个很重要的东西,这取决于我们团队的体量,我们资金的支持,我们面对的目标是什么。在这里面有很多东西都是会影响到我们团队的一个因素。那么目前呢,从这个小企业来讲,更多的是做一些微创新的事情,这个微创新不是指小的创新,而是指一些大家都比较难做的,巨头他又没有实力或者不想搭精力去做的一些东西,那么我们小企业就可以在夹缝当中找到自己的一个位置。
那么我刚才提到了我们是做传感器行业,那么算法功能,我们刚才说到了一些这种,比如说是一个射线,还是我通过一些贝塞尔曲线的拟合把它形成为一个抛物线,这样一些算法的积累我们其实可以通过一些这种把它做成一个插件,或者一个开源的SDK来开放给其他人,或者进行一个收费的形式,来形成自己的利益。而大企业更多的是在建立自己的用户生态,这样的话,我们拿着自己的技术和大企业应用的一个场景形成一个良好的互动,这样就可以满足于我们,所以我在这里面也是通过我跟目前VR开发行业的一些前辈们的一些接触,然后给大家一些建议,就是小企业要以自己的一个优势为主,特别是我们在座的一些中传的大学生,我们想要做VR,我们可能更多地会从用户体验入手,更从一些细微的角度,比如说我们去把我们的一些视觉创意的设计加入到我们的应用当中,去做成一些差异化的东西。
那么我们的中型企业,实际上更多的是已经在一些其他行业。比如说手游行业,在旅游行业,在视频直播行业,已经是有一定收入的企业,或者说我们可能做得更传统一点,可能我们做超市的零售,一些农产品的零售,但是我们现在想把它虚拟现实化,我们想让城市里的人带上我们的头盔走到我们的乡间田野,看到我们的瓜果蔬菜是如何施肥如何成长起来的,觉得这样可以刺激他下单,可以让城市里的人相信这是一个绿色的品牌。那么这样的企业我们觉得说它在VR里面应该尽早的和它的相关业务结合,而不应该投入很多的时间和精力去支持一个VR的团队在VR里面做更多技术的尝试和探索,最好的是市面上现有的技术,拿过来就用,我先把我的一个核心的价值实现出来。
大的企业我觉得现在就是需要去把整个行业给拟合起来。我们比如说国内很多的头盔厂商现在随着资本逐渐的注入一方面是在市场pr的行为,把自己的品牌打出去,另一方面在二级市场也不断的找新的技术,找一些新的增长点,在内容里面又办很多的这种比赛,或者直接入股一些游戏的内容开发商,开发公司,来实现自己产业链的一个布局。
刚才主要从行业的角度来分析,VR开发者应该是如何进行自身定位,如何了解现在自己在行业的位置。接下来,因为我们公司着重在做交互,我会从UI、UE等设计方面来和大家分享,我们企业内部目前正在履行的一些设计准则。
首先,所有影响沉浸感的交互设计都不是好设计,这句话毋庸置疑。但是这个在实际操作起来是有难度的,我们举个很简单的例子,就是我们曾经也很迷茫,我们不知道3D和VR的界限在哪里,这个问题在网上的争论很多。
VR讲究的应该是360度乘180度,应该是一个全方位的的沉浸式的体验。归根结底我觉得就是“沉浸感”这三个字。无论你的用户界面设计的有多酷,越少越好。这个是给我们很多初级的特别是从平面设计和视觉设计转型进入到VR里面的设计师提个醒,很多人他之所以进来,是抱着一个很大的抱负和很大的一个理想进入到里面的,他很可能会在VR里面说,我要做一个钢铁侠式的hard的显示界面,就像上午的讲师讲到的他把血条放到这样的一个位置,结果我发现,当我戴上头盔之后,如果我不翻白眼不使劲的用我的眼睛去看右上角,基本上看不到我的血条。那么试想如果我们要把整个的VR界面前面的一个图层都摆满了各种各样的这种信息,比如说一个VR一体机,有wifi信号,一体机显示当前的电量,显示系统时间,那么我们是不是要用一个传统的方式去做这些事情?不管这些方式是否很酷,我们能不能裁剪它?或者说我们做的是虚拟现实,那么我们能不能把这些硬件的技术指标转换成我们在虚拟环境中的一些物体,通过这些物体的表现出这样的一个数值?
那么我完全可以在我们的虚拟场景当中摆上一个大的电池,然后在电池上面用来显示当前带着的这个头盔的电量是多少,那么每次我们回到这个房间之后,我只要看一眼这个电池,看它还剩多少电量我就知道我还能玩多少时间,这样就是一个化繁为简的设计。
VR里的视野是360度乘180度,要充分利用屏幕以外的屏幕,这个也是设计师在刚刚进入VR行业里面比较容易犯的错误,特别是我们在体验三星GEAR上一些比较早期的VR的尝试的demo里,就会发现,我们完全不需要转动我们的头部,我们只要看着目标不断点击touch pad我们就可以完成我们的交互。
我们刚开始可能是坐在一个旋转的座椅上,但是当我们对这个游戏熟知了之后,就发现我们好像不是在面对着头盔,我们好像还是面对着一个显示器,而这个显示器不是摆在办公桌上,而是直接摆在我们的眼前,所以说用户在使用VR头盔的时候,他是从桌面电脑到VR头盔会有一个惯性。那么在这个里面,我们需要的不仅仅是我们的设计师,还包括我们的策划人员对于剧情和视角的编排,需要有意无意地提醒用户你现在带的是一个头盔。我们在摆放我们的UI控件的时候,可以在边缘的时候进行一些暗示,让他进行一些扭头的提醒
比如说我们在一个很简单的UI,就是在挑选电影的时候,比如我们背后这个logo是我们的主屏幕,我们会放一张电影海报。但是这个时候,我们的设计师会把这个电影画报的左和右各留出百分之十的空隙,然后在旁边再安放两张海报,这样当用户带上这个头盔朝正方向来看的时候,他会发现左边和右边各有一张海报,但是他又看不到海报的全部的内容,这个时候他用户出于好奇也好出于选择的一个必要性也好,他就会左右扭头来看,随着他扭头的这一个动作,看似很简单,而我们在虚拟场景中的所有的光照,所有动态的,运动模糊的一些效果就可以加上。在他扭头的这一个操作里面我们就可以向他展现虚拟现实的张力之所在,也会大大提高用户体验,专注核心玩法,专注核心交互。
比如,我们做VR购物和VR教育,那么这两个行业实际上核心价值是不一样的,所以我们在选取交互方式,在选取流程业务上也会有所不同。像VR购物是频繁交互,每一个交互动作又不像游戏那样复杂,这个时候我们会向客户推荐手势交互的方式。目前VR教育我们很怕一件事情,就是电视教育,在线教育平台。在线教育平台可能是大家理解的很好的教育平台,但是我们现在打开这个平台之后,发现还都是一个填鸭式的教育,这里面一个视频一个课时也就是40分钟到一个小时,我们的家长就要逼迫我们的孩子在电视前把40分钟的视频看完,这里面没有任何的一个互动和交互的内容。
在VR领域当中,我们的情景式教育,我们的互动式教育应该设计成什么样子,也会影响到我们的UI设计和用户体验,甚至会影响到对基础设备的一些选型。我们安排一个场景,比如在一个英语教育,把整个场景设定在酒店入住的环境里面,在酒店里面,把我们的护照,身份信息会放在前台,整个这个交互的过程,我们是不是要让学员通过动作来表达出来,这个实际上对我们来说,选用什么样的设备是至关重要的,设计师在团队当中的位置,特别是VR团队里面很少有真正的交互设计师在介入整个的VR的流程,这个我认为是整个行业中的一个很大的问题。
我们理解UI的工作,就好比我们在一个购物网站上,一个购物的流程,从浏览产品到加入购物车到最后去结算,整个这个过程当中,如何刺激用户买单,如何区划分用户在页面上点击的数量,甚至说在绑定用户的银行卡的时候,如果让用户身份信息以及卡号都放一个页面里提交,我们会发现这个提交率是很低的,因为她很快就会发现,我在第三步需要输入银行卡账号的时候,发现我的银行卡放在书包里的钱包里,我这时候人坐在电脑面前,我就想那算了。但是如果你第一步让用户输入你的真实姓名,第二布输入你的身份证密码,第三步你才告诉他,我现在要你从钱包拿你的银行卡,这时候他会想我已经点了两次下一步了,我如果我明天再拿的话,我前两次还得再重新点一遍,这个时候就会驱使这客户来完成一系列的这个操作。

那么这些在VR里面同样重要,特别是当我们的一些小团队,尤其是见用户、资方的时候,如何在很短的时间之内能把我们的真正要表现的东西去表达清楚,这实际上对于整个团队UI,业务流程的一个分析是很重要的,所以我建议大家在团队里面至少要配备一个两到三年的UI设计师,来帮助我们拆分我们整个这个应用的一个业务流程。永远不要抱怨工程师的审美,因为设计师不清楚交互的方式。
如果我们现在需要让设计师把HTC手柄的方式改为用裸手手势识别的方式,设计师会产生一连串的疑问,你会发现设计师设计出来的东西里面包含着很大的不确定性,甚至在提交到工程师的时候,工程师会认为有些东西根本就不可能实现。我么会发现,UI设计师已经变成了单纯的平面视觉设计师,而整个的UI过程最后是谁来完成设计和实现的呢,全都是工程师来做的。
快速迭代原型为UEsr testing留出时间,这个不只是时间的问题,我们发现很多小的团队在做VR的时候不重视交互测试,甚至没有能力去做交互的测试。比如一个四个人的团队,很可能是两个设计师,两个工程师。由于整套的交互,整套的UI设计,整套的业务流程全都是这两个设计师编排的,所以这两个人已经对于测试失去了意义,就相当于我们在实验室养了一个小白鼠,把它注射了一种血清之后,这个小白鼠就对于整个测试就再也没有意义了。我们需要去培养一个新的小白鼠去完成这个测试,那么VR现阶段的交互需要大量的原型测试人员。特别是在手势交互方面,我们会发现每个人的动作标准不一样,每个人的手伸出来也是千差万别的。曾经我见过一个男孩子,他的手长得比较畸形,他的手伸出来之后,每个手指头都特别短,特别的粗,就像一些小动物的卡通的手掌一样,导致我们在某些特定的UI操作方面,他用起来特别吃力,所以当时我们就邀请他来到我们公司,对他整个的手型进行一些个采样,帮助我们进行一些后续的分析。
最后,给大家分享一下我们UI设计的一些方法。我们首先讨论的是传统的UI设计方法在VR中是否依然适用?这也关系到我们VR的行业人员实际上是极度的短缺的,需要聘请一个什么样的人来完成UI、UE的设计。我们首先肯定的是,传统的方法依然是适用的,这个体现有两个层面,因为人的视觉的整个思维逻辑,包括我们早上第一节课AMD的邓总给我们介绍了整个人对于物体大小,瞳距之间和我们身高之间配比的一个关系,那么这些东西在VR里面依然是十分适用。而且人类对于整个菜单的分层展开的逻辑形式在VR里面也没有改变,人类对于颜色的感受,比如红色代表警示,黄色代表警告,绿色代表通行代表安全等也没有发生改变,所以我们会说传统的整个视觉体系在VR里面依然适用。
但是改变的是什么?改变的是在互联网的一些东西,特别是在手机上,现在我们手机讲究的是扁平化设计,叫mature style,特别是在win8和win10这两款产品当中展现的淋漓尽致。那么这股由微软刮起的扁平化的一个风格在VR里面是否依然适用,现在我们给它打一个问号,这个需要交给我们的开发者,在后续的工作当中不断地去探索。但是我个人认为这是需要跟一些场景相关的,比如,很简单的场景,很简约的主题,我们就可以把我们的一些UI、UE的一些控键对应到场景当中的一些实体身上。比如说我会在场景里面去安放一个门,当用户走出这个门之后,整个应用就退出了。
但是如果我们的场景是写实化的,一个很复杂的,一个比如说家装行业的场景,家里面的沙发,茶几,电视机,甚至在茶几上面摆放的茶具,我们在VR里面都要把它实现,这个时候我就不建议,你在这么复杂的环境下再安放一些实体的控制单元。我们可能会把退出菜单会放在我们的头顶上,这就是一个很扁平化的一个风格,当我们的用户每次抬起头的时候都可以看到上面写着退出按钮这几个字,那么他点一下就可以退出,容易使用的界面要设计的让人有熟悉感。
很多我们在第一次做VR的时候,或者把我们的应用给之前没有体验过的VR的一些小白用户看的时候,很多人在这个世界里面,第一个感觉就是我不知道我要做哪些操作,或者说根本看不懂,内容将要传达给使用者一个什么样的信息,我们的设计师在跟我沟通的时候会说,我们要把这个东西设计的更加直观。我们发现,我们应用里面所有的元素,比如说在里面可以让用户点击的元素,都加上了像网页一样链接的一些基本的一些视觉资料,当我的视角和它触碰的时候,它会变大它会高亮起来,它会有下划线,然后当用户点过的时候,它的颜色会稍微有一些变化,来提醒我这个路口之前已经访问过。包括我们今天带来的一些demo是一个全景视频播放的控件,我们在控件上,play button,pass button 这些基础的多媒体控制的东西是用一个三角图形代表播放,用两个长方形来代表暂停,这些基础元素,在VR里面同样会让人觉得直观。
我们总结下来,这不是直观,这叫熟悉,我们只是把人们以前熟悉的UI控键再放到了VR里面去,这样可以方便让用户根据以往人生经验就知道这个按钮就是干嘛的。
我们团队内部用一个为什么的方式来不断地去问自己,来不断的去挖掘自己这个应用的核心需求。比如说我们要做一个邮箱,收发邮箱,那么我们会问自己,为什么公司的一个人要用企业邮箱,与人沟通吗?与人沟通的时候他还会用电话,一些即时通讯的软件。那么他为什么要用邮件,我们会发现邮件系统最根本的目的是存档。我们在做这个邮箱的时候,搜索的功能就是至关重要的,除了搜索之外,按时间排序也是一个邮件软件必须的功能。
那么我们再举一个例子,比如说我们在做一个手机交互的时候,一个人需要拨号打电话给他的朋友,可能他是一个司机,他正在高速公路上来驾车,这个时候他忽然想拨打电话给一个朋友,基于这样的应用,我们的设计师会把整个的拨号界面做的更加简洁,更加易用,甚至会采用语音拨号,只要说出我朋友的名字来,这个手机会自动这个电话给我拨出。这样的一个语音方式应用搬到VR里面来,你是想让用户在VR里面真正地看到房地产的沙盘模型,还是用户在家装行业里面,通过VR软件可以编辑整个排布去更换地板的颜色,我们在做VR这个工业设计软件的时候,目的是让设计师,工业设计的设计师不再去用犀牛、key short这样的工业设计软件,而是在VR里面,完完全全从零开始搭建,还是去给她提供一个给客户通过VR手法,展示设计作品的这么一个应用?
最根本的一个核心就是我们为什么要做这个应用。当我们知道为什么这样做之后,就可以把VR带来的对于整个应用的优势扩大化,使我们的使用者,真正能够身临其境去感受VR带给他的视觉沉浸感。
用户学习的动机,是一个很大的一个题目。用户学习动机大概分两类,我们平时在PC端使用软件的时候,都会发现有两类软件是操作界面截然不同的,一类就是word,word我们是把他叫做openfloor platform开放式的软件平台,打开word之后,我们会发现有无数个按钮我们都可以点,有无数个工作任务我们都可以下达,有人统计过excel,打开excel2013那个版本的时候,他同时可以完成784项工作任务的下达。VR却不同,我们提供的一个使用者在一个虚拟世界里面的漫游,但是却没有明确地告诉你,在这个世界里你要干嘛,你要做什么,这时候用户会很迷茫。那么与之相反,我们会发现有另外一种软件,就是我们在使用比如说ATM机,或者一些叫号系统一样,它会一步一步的告诉你,你现在需要插卡,你现在需要输入密码,你现在需要在查询余额和取现还是存款这几个操作里面去做一个选择,这样的一个方式可以让我们的用户学习成本降得很低,很快速的完成整个的操作,从而获得操作成功的一个愉悦感。
我们如何引导这个用户一步一步的走入到我们的世界,这里面需要我们在一个开放式的用户场景当中,和一个向导式的用户界面当中去做一个抉择,去做一个平衡,这里我们可以去参考一个路由器的软件,我们会发现,路由器的这个软件在第一次使用的时候往往会先弹出一个向导,让你去选择输入你的网络接入类型,输入你电信给你的用户名和密码,然后设置你们家的wifi的ssid需要叫什么名字,设置我们的无线网络密码,很简单的几步这个产品就可以工作了,但是对于网管或者说那些系统管理员来讲,我们的路由器上面是由很多个界面的,有系统界面,有外网界面,内网设置界面,以及流量监控界面,分配策略界面,复杂平衡界面,还有日志界面,这些界面实际上对于我们大多数用户来讲都是没有用到的。
在传统行业里面把这两个界面来进行区分,用户学习也是如此。我们了解用户学习的动机之后,再安排我们的应用,一步一步的去引导用户掌握我们的应用,大家会感觉到像excel、word,像webStrom,以及包括unity这种开放式的这种软件。最后我们都会在网上或者图书馆里找到一本对应的开发指南,而且都是很厚的一本书,这就是为什么这些软件设计成这样依然有很多用户可以很熟悉的掌握它,因为它已经变成了一个生产的工具,但是我觉得作为一个开发者来讲,我们开发出来的东西它不应该是一个生产工具,不应该是一个用户在使用这个产品之前需要翻看几页文档才能掌握它的一个交互方式,而是我们在VR里面通过像游戏一样,一个一个小的环节,让用户在这里逐步去适应,逐步去寻找这款应用设置的交互方式。

其实很简单,因为就目前来讲,VR里面的交互方式基本上可以分为四大类,选择、确定、取消、移动。每一类设立一个学习环节其实就可以了,安全探索,拿Photoshop来举个例子,在p照片的时候,我们很有可能会用到滤镜,或者说我们在照照片的时候会加一些黑白,加光晕之类的滤镜,美白滤镜,那么我们会发现我们之所以进行这些尝试,是因为我们知道我按一下ctrlZ或者说我们在手机上按一下取消,所有的这些效果都是能够恢复的,我们可以拍一张照片之后,过几天我要发的时候再去p它,而不是即时产生即时保存。
那么在VR里面呢,同样要满足这个道理,如果一个用户在你构建的虚拟世界当中,他的一些基本的尝试探索要付出很大的代价,甚至说当他在这个VR场景中迷失了之后,他需要摘下头盔关闭这个应用,重启这个应用,才能重新开始你这个应用的体验过程,这对于用户来说代价特别高,所以如何把我们的应用设计成一个可以让用户安全探索,这是一个很关键的因素。
即时满足,很多想做VR游戏的团队之前可能是一些手游的厂商。传统游戏会在所有游戏开始前设计一个demo关卡,这个demo关卡会告诉用户,你练到50级的时候打怪是什么样子,你练到99级的时候,装备是有多么的爽。在VR游戏里,如果我们按照刚才所说的,也安排一个很冗长的一个向导过程,需要用户一步一步花上15分钟才能完成一些基本的操作。我认为这是有一些问题的,所以,即时满足就是能不能让用户在一开始,一接触到我们的应用就真正的感受到应用最好的核心的部分。
空间记忆是一个很重要的东西,举例来说,所有人在电脑桌面在找东西的时候,我们都不是按照文件名的顺序来找的,可能我昨天在做这个ppt,我今天过来再想把它上交的时候,我在桌面上肯定不会去搜这个ppt的名字。我肯定是记着,昨天晚上做完了之后,把它放在桌面的哪个角落里,到那里去寻找,这就是人们在日常操作中的一个空间记忆。
包括我们比如说,明天早上上课的时候,我要交一份作业,那么我可能提前一晚上就把这个作业摆在门口的办公桌上,这样的时候第二天我一出去的时候看,我看到了在这个特殊位置放置了一个东西,就可以勾起我对于整个事情的一个记忆,这个也可以算作是一个空间记忆。映射到我们的UI/UE里面,就是我们所有的窗口,Windows,mikemiller,linux所有的放大最小化,以及关闭按钮,都是固定的,这就是用户的空间记忆,我看到一个窗口想要关闭它的时候,没必要每一次都去视觉的搜索它的控键在哪里,而是凭借着一种空间记忆直接把鼠标点到那里。
在VR里面这一点也特别重要,包括我们对于VR里面一个场景的记忆,我上一次进入到这个场景当中是从哪个方向进来的,我退出这个场景当中的时候是采用什么样的动作,是在这个房间里面某一个空间里面触发了一个控键吗?那么这个控键在我这次进来的时候是不是还在同样的位置,如果我们在一个应用当中所有的应用都遵循着同样的设立,就会养成一个同样的标准,一个用户习惯。
简化重复工作,这个我不知道有多少朋友体验过一些三星gear的产品,特别是gunjack这款产品,这款产品是一直到现在都是gear上的一个神作一样的存在。但是我们会发现,我们在里面开着一家小飞机,每发射一个导弹,手都要点一下,每发射一枚导弹点一下,我们这个游戏最多的人玩超不过15分钟,因为他手在重复的这样的一个工作,他会很酸很酸,但是这样的工作在VR里面完全不是必须的,就像刚才我们也讲到说,如果我们每一个VR的一个交互过程都需要从地上拾起一个东西再把它投出去,那么我们觉得我们这个腰也是会受不了的,所以如何简化这样的工作,如何让用户在第一次操作的时候,它是可以通过这样的动作,去产生对于VR,去产生对于虚拟现实的乐趣,而在以后的游戏过程当中,又可以不对这样重复性的动作产生厌烦感,是我们的UI/UE设计师需要重点关注的。
最后想跟大家分享一下手势交互,手势交互在整个VR行业当中发展的一个方向,其实整个交互行业在VR发展里面,实际上是呈现出快速收敛的一个状态。那么我们在14和15年的时候,我们在一些论坛和沙龙上,会经常看到一张大图,这个上面有很多像万象跑步机,像一些弓箭,刀,以及VR手柄,VR手柄那个时候有imu的有磁力的有光电的手柄以及我刚才提到的不同的光电的这种方式对于裸手的手势识别。但是今天我们会发现,所有的交互都是基于三种,一种是Oculus的手柄方案,一种是HTC的手柄加空间定位的方案,另外一种是裸手的手势交互方案,那么整个这个行业是呈现出快速收紧状态的。
手势交互主要应用在VR里面的一些比较轻量级的交互方式里面,单次的交互方式比较简单,但是应用的整个交互频次又是比较频繁的,最妥当的例子就是VR购物,我们在VR购物里面选取我们的物体,购买的一个目标,对于这个目标不同的品类不同的颜色进行替换,然后调整我们的下单数量,输入我们的支付密码,整个这一系列的操作,每一个操作都是很简单,都不难,但是用户如果要完成一次购买过程的话,他需要四到五个操作频次,那么我们会认为这样是手势交互最能够发挥它的地方。
随着我们从资本层面来看,像Facebook他收购了Oculus之后呢,又随即收购了三家与手势或者空间检测为背景相关的一些公司,包括我们现在在国内外的一些,像图形图像啊这种比较专业的论坛上看到了一节论文和发展方向,我们有理由相信,基于现在手柄的这种方案会在两年后出现一个比较大的变革,同时整个行业也会从现在的HTC和Oculus在PC端独占像这种mobile VR移动端VR、一体机、或者说这种手机插入的gear的VR眼镜方向有所倾斜,更多的VR沉浸视频,和VR视频会成为VR应用的一些主流。我们也是希望能够在2018年左右的时候,看到手势交互成为这种轻量级的移动端VR的主流的手势交互的一个方向。
手势交互在增强现实和AR领域当中也有着很巨大的一个潜力,未来当我们带上google glasse,或者微软的HoloLens之后,我们那个时候很难再去拿一个手柄再操作,这个时候我们看到的是现实与虚拟方式的一个结合,这个时候浮现在我们面前的一个UI,相信我们的使用者都会想要伸出双手,去尝试着去触碰一下,那么在AR领域当中,特别是在特定的一些行业里面,手势交互将会成为未来交互的主要的一个方向,这是我们通过自己,在这个行业内对整个行业发展的一个判断。
最后是一个比较新的视频,这个视频目前还没有对外公开过,是我们根据阿里巴巴buy+的一个购物场景,我们把里面相关的动作实现出来,还是比较原始比较基础的,我们可以伸出手指进行选择性的一些操作,然后会弹出一个菜单,通过滑动来选择菜单,这个时候我们可以通过双手来放大和缩小那个目标物体,我们向上推就完成了确认的操作,而改变了这个物体在虚拟当中的宽度。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ