快捷导航
查看: 234|回复: 0

青瞳视觉 祖厚超:《虚拟现实线下娱乐体验新形态》

[复制链接]

大家好,我是青瞳视觉科技祖厚超
在传统的VR领域,单纯的追踪系统,因为我们一直做追踪系统,从2012年的时候,系统研发出来,当时是给一些军工研究所去使用,当时还不是一个市场化的行为。在2015年的时候,156月份的时候,当时在美国有一家公司叫做the Void,现在是盛大投资的,整体金额大概是3个亿美金,接近18亿人民币,然后投资之后,它拿到了它在中国大概是3年的运营权,后面的话,大概是在67月份会在上海会开第一家,这个模式实际上是得到一个验证,很多人在虚拟现实主题公园就开始去做一些新的尝试。
大家看一下这个,这个是澳大利亚墨尔本他们所做的一个,这个空间是400平,400平的话,使用世嘉和外星人电脑,再联合墨尔本的一个团队一起打造的。这个视频大概是2015年的第一个版本,现在已经到达16年的第三个版本,它里面实际上是类似于一个僵尸这样的游戏,人通过一些空间行走,然后里面的一些建筑物,很多东西都可以用虚拟的,它使用的是PlayStation追踪定位的这样一个camera,使用了129个。当时在墨尔本开出来之后,效益是满轰动的。
然后除了这一家,还有一家是the Void。这几家的话,开出来之后,大家在经历了2015年整个就是说,在很多地方大家能看到那种蛋椅的体验形式,体验形式一波过去之后,大家开始向一些新的方向去寻找。那这边的话,我把那个整个的系统,从硬件软件到它的应用,给大家做一个简短的分析
我从ppt的第一页开始讲,当时之所以说把演讲的题目叫做“为想象而来”,就是线下娱乐的一个体验,主要是说,当时在最开始做的时候,虽然我们是做追踪系统,但是追踪系统本身是个硬件。但是硬件的话,它实际上是在市场上寻找一个比较可靠的并业方向,它必须得去结合一个它必须要有的应用场景,那这块应用场景,我们在之前一直走一些军工啊,包括一些研究所高校这样的一个路,后面的话,意识到这不是一个市场化的常态。那后面的话,参照了很多,跟芒果卫视,包括跟乐视,还有很多的一些团队聊完之后,觉得在线下体验上可以参照迪斯尼的一种,就是说它里面的有一些世嘉里面的一些玩法,可以去把它做得更有趣。
这个就是在传统的虚拟现实的空间环境里,大家都习惯了去建一个CAVE的环境,之前大家可能关注过,可能有一个叫三折幕和Power Wall包括Cave,那这种方式其实成本非常高。这种就是说,对很多的高校、研究所,包括一些重工业,它可能会去用。这个的好处就是它可以面向多人,但是它的成本比较高,我们最早的追踪系统基本上都是结合着这样的一个空间环境的系统在做。
那看这个,这个是标准的之前大家所做的那种CAVE系统,看这一款,这个就是camera的部分。因为在VR里面,其实有两个很重要的部分,一个是展示系统,展示系统的话,不管是之前的投影系统也好,还是现在的就是说PlayStation,Sony PSVR还是说Oculus也好,其实它只是说在显示系统换了,而追踪系统的话,其实大家慢慢地意识到是越来越重要。
到目前为止,在整个市面上,大家能看到的追踪定位的系统非常多,除了被动的空间定位的红外系统,像我们现在做的叫CM tracker,包括Opti track,包括像现在motion,Vicon这种老牌的做Motioncapture的,他们用的都是被动红外的,那现在也有一些,基于一些工业的,像工厂里用的UWB,像现在很多做计算机图形学,它做的叫SLAM,其实都是做空间定位的,包括空间识别,动作捕捉这样的用途。
目前的话,在整个的一个探索之后,不管是说SLAM的,像PS VR这种主动的可见光RGB颜色识别的,还是说被动红外的,大家经过研究之后,选择了一种折中的方式,被动红外的一种方式。
为什么会选择这种方式?有几块。
第一个就是说,在VR的环境里其实对于精度要求非常高,之前工厂用的UWB的方式,其实它的误差比较大,它能达到厘米级的误差,这个误差其实在你的虚拟现实里面做一些定位啊互动啊,这个问题就会比较大。
那第二个部分就是延时,因为大家如果说接触一些国产的头盔,参与过它的一些研发过程,你会发现,国产的所有头盔的标准就是在18毫秒以内,它要把数据的传输,整个的流程全部走完。那这个走完的话,其实是对每个环节的延迟,要求它耗的时间,要求都是非常高的。所以大家现在看到,很多头盔它会采取OLED的显示屏,会采取一些追踪定位,包括一些追踪定位它都会去对延迟这块,考虑的会比较多。
所以现在,这套被动的红外追踪定位系统,跟Oculus现在头盔用的那种追踪定位系统是类似的,Oculus它头盔本身自带的追踪定位系统也是红外的。只不过说,不同的地方就是,大家看这个,这个就是被动反射的红外点,就是在Oculus头盔里面,它把它做成了那种主动发光加屏闪的方式,还可以把它做小,然后通过一些透红外的材质,把它罩住,在VR的空间行走定位。
真的实际应用,它会涉及到几个环节。一块就是追踪定位系统,追踪定位系统的话,它会结合着一些被动追踪的body,body的话大家通常称它叫mark,mark的话,其实它可以做到的就是说,它可以追踪头部的姿态,追踪手部的全身的,或者说是它可以追踪到物体上的,比如说你的虚拟空间里面,有一个篮球,但是你想把真实的篮球也追踪进去,因为在VR的环境里其实最难解决的是触觉,包括重力的感觉,如果说你在篮球上粘一个这样的mark点,你就可以把那个空间环境带入进去。
其实还有一个就是背包,在行业里面统称它叫战术背包,这块的话目前有微星,包括外星人,还有清华同方,联想都有在做,但实际上,大家最开始觉得追踪系统可能会是很难的一块,追踪系统大家探索明白了之后,觉得是VR的游戏太少,VR游戏了解的差不多的时候,最后发现,这个背包实际是非常难的。
前段时间接触,北京有一家已经在运营中的体验馆,叫抉择,它采用一个无线背包的方案,这个背包它在测试的时候烧掉了十几台,但是没有一个真正的,即使开了模之后,没有一个可商业化的(方式)。那现在是说可能会面临的两个问题,一个是这种背包,这些厂家会不会大力去做,是一个问题,第二个问题就是说,现在不管是中兴也好,华为也好,还是国外的Nokia,它都有在做5G的网络,因为最好的一种方式还是要通过一种无线,给头盔进行无线传输。但是无线传输的话,现在是Archiact和VRK当时在合作,它的无线传输能够通过一个基站的方式,去达到8个人100平以内。但是如果说是,要在一个比较好的大规模的应用,它必须得去再依附于5G网络的完善,依附于有一个单独的波段,这个就是空间定位,包括全身动作捕捉的整个一个示意图。
这个图,因为我们自己做的那个图比较丑,所以我选用了OVtrack,从它的官网上截了几张图。这个的话就是说,在整个相机内分布,实际上就是,通过一个面积,然后挂在天上,然后再均匀地分布于四周,目前动作捕捉实际上,包括一些以前实验室里所用空间定位的话,实际上它的面积很小,基本上都是室内,也不会考虑商用。
那这一块的话,一般的也就是一个实验室大概50平就够了,那目前的话,其实现在做线下体验,包括很多人提出来说,他上来就要做1000平的,所以大家后来才看到,在国外的Wordviz,他公布了一个PR稿,他写的是,他最大可以做50*50这样一个范围,就是2500平,然后匹配一个2500平的地形,然后做一些比较强的互动,目前这一块的话,不管是说迪士尼也好,还是说横店也好,都是想做一个500平到2500平之间的范围。
那这之间的范围,我们现在用的是我们第三代的相机,用USB的相机,现在目前的相机的整个运算,实际上在PC上去完成,然后会把它放到每个相机,进行分步式的计算,在整个这个body点上去结合一套谷歌系统的话,其实我们现在也会做一些Motion capture这一块,那Motion capture其实更多的是为影视服务。
我们因为公司在上海大学的温哥华电影学院,现在是跟温哥华电影学院直接对接,因为在影视用Motion capture的话,跟商业级的追踪级的方案可能还不一样,它需要开发很多的影视级的应用,那这一块应用的话,我们是采取合作的方式,跟温哥华电影学院、米粒影业去合作,然后专门去做这一块。
这个是,当时是在圣丹斯电影节上,使用出来最早的一个demo,但这个demo的话,也是一个登高型的案例,它采用的是在侧面建了一个悬崖的场景,然后下面是一个桥,这个桥在真实场景中是匹配了一个真的桥,但真的桥的话,大概是比真实地面高个几公分,人走上去的时候,是有一个抖动的感觉,目前的话,像在日本的南梦宫有做一个案例。他的案例就是说,仔细想一下,人去通过一个高楼大厦去抓一只猫,然后猫身上布一些mark点,这种恐惧感,它的代入感会特别强,在6月15号,已经在日本那边开业,现在运营情况还蛮不错的。
这个是早期所做的一些测试,目前的话,我们现在所走的方式,实际上是在几块问题上去解决,因为最早测试的时候,其实在一些空间环境中,我对一些光线啊、环境要求其实也不高,但慢慢随着商用的话,其实在这一块的话,我们有几块的参数现在是在不停的向上提升,然后把一些工业设计做的更优化,价格做的更便宜。
那目前,其实对于空间定位,大家对几块的数据会要求比较高,第一个是系统的精度,我们现在是0.11毫米,但即使是工业级的精度才差不多满足大家对于环境的一些追踪,可以达到它的匹配的要求。所以目前为止,在国内做线下空间的乐园交互,包括很多的一些商用的环境解决的时候,基本上市面上你能看到的方案不多,一般的现在大概有三、四种,一种是北京的身临其境,它采用UWB,UWB的话实际上是需要很大的面积,然后他走到一个地方,然后去触发,它目前的话,实际上在一些运营的时候,还没有真正投入进去。然后还有一个就是说北京蚁科技视,他们所做的一个,就是说反向的,像我们现在所做的camera是在外面,他所做的是把camera放在头盔上,从头盔上,然后它的四周是它抻全息板,就是说他在他的空间结构上是那种mark均匀的分布,然后通过头盔上的相机去反向识别到mark,去进行追踪定位,这种方式就是说,可以降低成本,但是对于空间环境要求会更高。
然后第二个参数就是系统的延迟,目前系统的延迟是很关键的一环,在2014年,比如3glasses,还是说大朋头盔推出的时候,它们很多头盔都是很晕的感觉,那目前为止其实有改善,但是还会有一些。它里面有一个很重要的参数就是延迟,大家需要把延迟的时间做的更小更短,然后去提升体验,然后会把它做的更流畅。
还有一个就是捕捉距离,其实这也是大家现在特别关注的一块,大家现在所看到的就是使用被动红外的一个追踪,现在目前性能最好的是Vicon的相机,它能捕捉到15米这样一个距离,现在普遍的相机基本上是在于8米,因为追踪距离的增加其实意味着我可以减少相机的分布。比如说我100平的一个面积,我可以去减少相机的分布,我的成本会降低,那增加相机的性能,就是说增加相机的捕捉距离是一个思路。然后现在像北京诺亦腾包括国外的Opi track还有几家公司,他们现在所做的就是说用传感器跟光学的做一个数据混合、融合,大家知道传感器它的成本会非常低,但是光学的成本就比较高,那这样的话怎么去解决成本的问题,它会去通过这种方式去降低它使用的成本,比如说在一个50平,我可能就用两个相机,剩下的就用光学惯性混合,用传感器的数据去传回来,一个就是说我能降低成本,第二个就是因为惯性,它有个优势就是它不怕遮挡,即使人很多,空间环境很复杂,那我通过一些惯性的方式我可以把一些数据都能够完美的获取过来。
这个是我们之前的相机的界面图,绿色的部分代表了相机的位置,捕捉的范围实际上就是相机分布的一个中间位置,任何一个body点需要同时要有两个相机一同去捕捉到,这个是目前世界上已经在做的几家。
当然目前,因为PPT做的比较早,一个是The Void,The Void是世嘉和外星人直接投资,所以它在背包上包括内容运营上其实解决的比较好,它采用的是129个PlayStation的小的camera进行同步的,它的一个问题就是校准的过程会比较复杂,因为它本身使用的RGB颜色识别,所以它的一个问题,可能6个人,12种颜色,6个人,一个人是枪上一个颜色,头盔上一个颜色,可能6个人是它的上限,但是目前从它的一个新版本出来,好像这个问题它也解决掉了。
VRK的一个特色,它在内容上是跟加拿大的一家公司叫Archiact合作,Archiact它的一个特色是,它目前使用的也是Opti track的PW13的这个型号的相机,它的好处就是解决了无线的问题,之前在上海中山公园那边它有一个内测环境去看过,就是说它的无线版本现在还不错,但是可能最大的问题就是,它投入到商用环境中现在还是不够稳定,因为无线的话,包括上海的幻境乐园无线也做出来了,包括IBM也做了,就是无线其实最大的一个问题就是,大家如果说要去商用化去普及,去要很多体验店也好还是说主题公园,真的用起来它可能还要依赖于5G这样的一些基础设施的提升。所以这个在国外,Wordviz它就跟Nokia进行合作,Nokia做无线,Wordviz做追踪,那国内的话现在节奏相对比较慢一点,即使是中兴华为现在在研究无线这一块,但是它们对这一块可能更多的还是概念,就没有一些真正放出来的东西。因为之前,上个月任正非刚去我们那边,去体验过,包括中兴那边,都去体验过,它们现在是,头盔采取的策略就是说,拿国外的贴牌,那真正的进行投入,现在还没有,应该还是有一段距离。
The Void这个就不用说了。The Void目前是做的最早,也是做得最好的一家,它从内容,包括它的很多头盔都是自己做,它现在在攒的一套方案叫做射频定位。射频定位第一个方式就是说,它的成本非常低,那射频定位的精度很差,所以它现在是新的版本是射频定位它能把精度提高到非常高。然后因为它本身团队构成里面,有一个是专门研究神怪诡异恐怖这一块的,所以它的一个特色:头盔是自己做的,内容是有一个专门的团队在做,所以目前为止它是整个世界上评价最高的。
它开了一家馆是在美国的犹他州,现在新的一家马上也要开出来了,那这一家开出来之后,国内的资本基本上都在关注这一块,除了当时腾讯互娱那边的,腾讯有七大工作室,天美互娱是最大的两块,互娱其实是想引进它,互娱和百度都想引进它,都去谈过,后来是被盛大拿下来了,盛大当时它们大概是投资是5000万,然后还有3个亿美金是相当于它在中国的运营权,但是目前的话因为盛大本身也会有一些问题,也在转型,所以它之前说是六月份会引进到上海,但是具体的时间没定,但是好像已经在做了,在今年的ChinaJoy,好像是有它们参加,盛大是有一个很大的展台,最大的展台(有)两个,一个是阿里的,阿里的可能会是buy+这一块,然后还有一个就是盛大的,盛大的展台有可能会放的就是The Void。
这个是我们做的星核的VR主题乐园,星核那边的话,实际上面积不大,一开始的时候,因为在2016年1月份开始就开出来了,所以在一些空间环境上采取背包,更多的是用影视IP,跟一些商业地产,和一些影视去结合。除了那一块的话,本身我们在做追踪系统,到目前为止更多的是向着线下的主题乐园这个方向去走。
因为到目前为止,不管是说医疗也好,还是类似于NDI所做的那种精准医疗定位也好,其他几块相对来说它的市场节奏可能会比较慢,所以我们当时分析了一下几块.当然智能相机我们也做了,然后半实物仿真,像那个虚拟电气焊这种也做了。像生命科学这一块,我们是跟一些医疗机构,做一些康复医疗这一块,做那种下半身的仿真分析。动作捕捉是跟温哥华电影学院合作,然后虚拟仿真,这个是因为存在的市场时间应该是比较久了,所以在早期,在世博会和奥运会的时候,很多学校都会去做一些,机械学院都会做一些虚拟仿真。这样的一些环境,目前整个相机的一个应用领域,现在我们是按照这些领域来去走,但是最重要的一点,现在走的是线下体验,就是主题乐园这一块
这个就是整个的一个沉浸式CAVE系统,这种的话就是说,它的成本会比较高,它使用的是投影机,一般的像这种投影机的话,一台可能五万美金,可能会更高,国内使用最普遍的工程投影机,最便宜的是用Sony,可能还有一些高的,用那个Barco、科视这样的投影机,基本上就是这样的一个系统两三百万可能轻轻松松就花出去了,但是它的使用价值可能还不是特别高,更多的可能会在一些研究所、单位内部使用。
这个的话会在一些汽车行业做,像奥迪大众,它们都会去做一些内部实验室,它会做这样的一些仿真的案例,做一些汽车的模拟培训,包括一些仿真分析。另外这个是在军工这一块,军工它会去做一些双兵对战,它会把部队分成三四个人一组,进行对战,它的一个做法,实际上是跟VR的主题公园的做法是一样的,它的唯一的一个不同就是说,它更多的偏军事化的应用,把一个游戏型的素材换成一个军事化的素材进行使用。
当然目前在国内,包括国外,其实在做军事上,用的最多的可能还是在惯性这一块,因为第一个是光学的成本会比较高,第二个是因为大家不太敢去把一些真正的核心技术放在军事上使用,因为比如说我去把光学的放在上面使用,因为部队它会去申请专利,申请专利之后它反向会来禁止你的东西进行市场化的用途。所以当时有一个朋友在Insta那边,做全景相机的,当时部队想用,后来他不敢给部队去用,因为公司申请专利可能要三年时间,部队申请专利可能三天时间就下来了,你的东西就很难去进行商业化了。
这个实际上也是一套封闭式的CAVE系统,目前这一块的话使用最多的还是之前在一些教育科研,包括汽车房地产,这样的附加值比较高的一些产业。像这一款,这个是另一款,就像那个桌面式的一个互动系统,上面是追踪相机,这个笔的话实际上是,它通过追踪笔做一些化学生物实验,那在美国有一家公司叫zSpace,它就把它整套的系统进行了一个整合,它这一块就是说这两边是它的追踪系统,然后立体眼镜加追踪笔,然后通过一些叫立体显示屏,它核心的包括它的内容做成了一套完整的系统,它把美国的富兰克林包括一些其他的,普教包括一些细胞的结构展示,包括一些机械的拆分,它把它做成了一个完整的应用,就是做成一套完整的系统。
那它目前的话整个硬件,追踪系统加它的整个显示端,整套硬件的话大概在3万块钱左右,现在内容的话,它集成了非常多的第三方内容,包括一些细胞生物,包括一些富兰克林这样的一些教育的内容。这一块的话,它做成一个完整的平台,整套的,如果你把它所有模块配齐的话大概在20万左右。
目前中国它是通过惠纳在对外去做,这个是在医疗领域做一些精准医疗。精准医疗到目前为止,可能更多的偏向于就是在一些医学的训练,之前跟上海有一家叫亿维讯的在聊,其实很多医生通过医学院去实习,通过福尔马林泡过的尸体去实习之后,医学院的学生从尸体身上到真人身上是没有过渡的,它这个好处就是,它通过解决一个过渡的问题,比如说他进行尸体解剖的时候,它会去通过味觉的一些其他方式进行触发,它会把血腥味包括其他的一些感觉做的非常逼真,那这样的话去从医学院到医院过渡这样的一个过程中,会遇到的一些问题,它会规避掉一些。
这个是其中的一个,这个是美国的杜克大学当时做的一个案例,他们有一个比较完整的分析,相当于专门给医学院学生做这样的模拟培训,这个其实现在还有一个用途,之前跟他们聊过,就是叫医疗机器人。因为在用人眼的时候,你可能在一些外科手术中是可以判定你的伤口在哪儿,包括你要去缝合的话,要缝合哪个部分,但是在很多的时候,是使用像达芬奇机器人,外部的一些机器人的时候,他对这个东西是没有判断的,他可能会去使用一些精准医疗去做。
那这一块之前是,在中国其实很少能看到,其实最大的一个问题,第一个是资质问题,第二个是风险问题。之前IBM出来有一个人,他当时找到我们,他特想做,当时聊完之后,但是他提出一个问题就是,比如手脚这样的外科手术可能还好,但是比如说开颅的一些手术,如果一旦没有切准的话,可能会出现一个很大的医疗事故,那这个事故的话,比方说你试验100次都是成功的,到101次失败了,那这个问题就很大。所以到目前为止,大家会用它做一些叫辅助、培训,包括一些医疗康复这一块,就是说真正的临床医疗,至少目前为止还很少有人敢去用。
这个就是刚才所说的,就是在红外追踪这一块,对于一些body点,实际上它所镶嵌的这个灯珠就是跟被动红外的mark点起到一个类似的作用,这个灯珠官方的说法叫星云化的一个分布,他从头盔里面的一个曲面面板,然后从头盔的各个角度,包括后面都进行覆盖,人进行头部转移,包括说你离电脑有一定距离都可以进行追踪到,那在Oculus,当时它所做DK2的时候把追踪系统加上去,但是它的追踪系统范围只是在一米左右,现在它的CV1,它的一个新系统,现在在三米的一个距离。这个是它后面的一个touch,touch的四周其实也是有那个分布的,只不过说是被隐藏掉了,这个是它最新的一个追踪系统的camera部分,这个是在PlayStation上,PlayStation用一个颜色的RGB识别,这个实际上是跟刚刚介绍的澳大利亚墨尔本的那家类似,它们都是使用这种RGB的颜色识别进行定位,进行交互。
刚刚有张图可能没跳出来,这张图是HTC的头盔,它使用的是激光的方式,到目前为止HTC的头盔铺货量是最大的,然后它激光的方式目前也是成本最低的,而且像国内的国承万通它的所用方式实际上是类似HTC的,采用激光的分布方式。 那除了这一块应用的话,还有一块就是在一些无人机上,无人机上就是之前intel和Opti track合作,做了一个案例,它在无人机上进行一个标记,标记以后进行编队飞行,然后让它做一些复杂的动作,包括在空中结网,通过结网然后再去接一个球,或者是用几组无人机去拦截另一个无人机,都可以去做到。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ