凌感科技总经理张宏:VR/AR的人机交互

2015-11-23 11:35:21来源:DVBCN数字电视中文网 热度:
 11月17-18日,GFIC 2015家庭互联网大会在上海国际会议中心盛大举行。在第一天的VR/AR发展峰会上,凌感科技总经理张宏为大家就VR/AR的人机交互做了精彩的分享。
 
凌感科技总经理张宏
 
凌感科技,主要的核心技术是在人机交互方面,人机交互大概是什么样的情况,从第一台个人电脑是80年代apple引领了PC时代的到来,然后是07年的第一代的苹果,iphone是引领了从07年到目前为止移动计算时代的革命性的变化,然这两次的的革命,都牵涉到人机交互。人机互动在任何互联网领域都很重要,第一代的PC,人机互动靠的就是鼠标,鼠标可以简易地让用户与终端进行交互,第二个手机的移动设备的触摸式交互,这两个革命性都是和交互有关。那么可以预见的是,第三次也是一样,第三次平台的剧变也会跟交互有关,凌感主要集中在这方面技术,张总认为,第三代的变革,会在VR/AR看到变革的到来。

凌感科技于13年成立,诞生于美国,现在国内有杭州、深圳、北京等地,提供的产品就是交互设备,产品的外观形态是VR的头盔,装载了核心技术,是三维的视频交互,不需要额外的外置硬件,只是头盔就可以做的交互,第二,通过头盔做的,一般的VR都可以做旋转的,传感器可以做到。第三个就是大家看到在VR上面叠加AR,作为产品的三个核心技术,产品形态就是这样的。

谈到VR/AR这一块,很多提到输出方面,网格这些问题的解决,都集中在输出端,输出端可以通过软件或者硬件的提升,以及CPU的能力来解决这些问题。凌感科技的产品第一块是在输入,目前来说对输入设备的关注度不是很高,或者是目前相对来说比较分散,有各种的解决方案,有运作的方案,外面有很多这种通过手上戴的传感设备,来做这些事情,都有在做,我们是通过视觉的方法,来做三维的人机交互,待会儿我可以具体讲一下,三维人机交互具体的细节问题。这里还有刚刚讲到的转的过程中,转到过程中,大家讲到这一块基本上都能做到,然后我们也是通过摄象头,刚刚大家仔细,我们的头盔跟别人的头盔不一样,是两个眼镜,两个眼镜是两个摄象头,这个是两组摄象头,有我们IR的,还有一个输入是做的这方面的事情,输出就是大家看到VR,VRAR这一块我们产品的终端形态。目前我们的原型机是用手机处理,手机处理会碰到一些问题,很多专家都知道,我们下一个产品是有处理的单元,把我们的算法做入到里面。

VR很多来自于软件这一块,硬件当然别人有不同的看法,硬件会把CPU,CPU的能力,会把显示的分辨率,响应的速度都会得到提高,尤其是对创业公司来说,我们觉得在软件上有更多的机会。这个是分享一下,这个视频刚刚放过了。我分享一下手势识别这一块,手势识别有几大类,有二维有三维的,最主要是手势,有拳头,伸开,第二个可以看二维的手势信息,现在已经有好几家,他们是没有生物信息的,但是你手动一下,从左到右,或者是从上到下,是能识别出来的,第三种包括我们现在在做的,包括其它几家,不光我们一家做,是三维手势交互,第一块大家比较手术是nimble,我们也是在这一块做的工作,这一块有三大类,我先讲微软,微软最早的技术后来卖过苹果,是用打光栅,光栅产业的变化。第二个是叫光飞时间,索尼新收购的公司叫softkinetic,是用的这个技术。我们做的是多角的成像,是用两个算法做的,精度大大提高,受外界光影响不会特别大,它有一个问题,如果是穿过全黑的物体全黑吸收的,透明的玻璃杯子折射是不对的信息,它也有一些场景不好用的,我们这里有一个缺点,每一个产品都会有优点有缺点,我们缺点是完全是白的场景和其它信息,也就是会有问题。总体来说是取一个平衡点,我们的核心并不是完全这个技术。

回头讲到VR,手势交互讲到还有跟踪,AR在VR的叠加,我们看一下这个图,我先讲一讲,大家都知道奥克斯,奥克斯是VR领域的一个标杆性的公司,这两年买了好几家公司,他买了一个以色列的公司做手势的,去年也买了一家公司,两家都是做手势公司,最近有买了一家英国的公司,这家公司是把桌椅拍下来,变成三维模型,三维计算机模型,可以在上面做很多工作,把一个平面做成桌平面,可以把平面变成游戏等等,所以你看看他做的收购的事情,他其实最终的产品,我们去猜也不知道具体,17、18年,把手势交互和AR加到产品里面,因为做的比较谨慎,比较慢,他说产品出来要给你最好的体验,一个好的VR产品,最终需要做到几点因素,是交互,不需要额外的东西,当然可能需要其它的交互的方式,这个也没有问题,第二个你可以做位撑,位撑是我戴着东西我左右前后走,场景会有变化,你转动会有跟踪,你头转动,会有视角变的,这方面也不需要太多的额外设备,我们的宗旨就是说你这个应该是在一切的个人产品当中,有一些设备就够了,所以这个是我们的想法。还有现在ARVR这一块,产品比较多,看到很多视频有真有假,其实有真的,还是很不错的,有很好的背景,前面两位公司提到AR是比VR更大的市场,做了细分AR、VR核心技术的公司,体归核心的技术,觉得市场起到很大的推荐作用。

分享主要是关于在AR/VR行业弄了一个是交互,很重要的一点,我不从交互入手,来对VR/AR用户体验进行提升,第二个我们在跟踪和VR/AR叠加的技术上面,也有很多自己的技术,然后这一块我认为将来是比较大的发展方向,谢谢各位。

责任编辑:许鸿运

为您推荐

高清、PVR及交互式应用驱动机顶盒技术发展

市场调研公司IMSResearch于年初宣布,全球数字机顶盒2004年总销量为5,080万台,预计2009年将达到9,030万台。数字电视机顶盒总的前景普遍看好,然而具体到国内而言,目前国内机顶盒开发商仍然以卫星机顶盒为主,有线机顶盒仍未走向普及应用。据CCID数据显示,2004年中国有线数字电视用户规模仅68.2万。纵观整个数字机顶盒行业:有线机顶盒前景广阔,但近期的表现令人失望;卫星机顶盒出口总量较大,国内市场有限;新近成为业界热点的IP机顶盒似有后来居上之势。同时,有线、卫星和IP机顶盒发展存在很大的变数,包括产品功能定义、传输标准、信源编码标准、中间件选择、业务发展模式等,新的半导体方

Amstrad HD PVR采用恩智浦半导体芯片组

中国上海,2009年3月10日,恩智浦半导体今日宣布其完整的DVB-S2/MPEG-4个人视频录像机(PVR)机顶盒(STB)解决方案已被最新款AmstradDRX780UKHD卫星接收机所采用。Amstrad是一家领先的数字机顶盒制造商,同时是付费电视提供商——英国天空广播公司(BSkyB)的子公司。Amstrad已经选择配有DVB-S2卫星前端的恩智浦高清晰度H.264芯片组来为Sky+HD客户提供高品质录像与回播功能。 Amstrad技术总监RogerLambert表示:“现在加入Sky+HD这一欧洲领先的高清电视服务的客户比以往任何时候都多。他们日益期望既能收看各种各样的高清频道,又能

博通BCM7335 PVR SoC解决方案

Broadcom公司的BCM7335是高清PVR卫星机顶盒片上系统(SoC),它集成了双调谐器/解调器BCM4506前端技术以及支持多种视频格式的最新一代的AVC译码器,支持用于基于DVB-S2和8PSK的DBS传输系统的世界标准。BCM7335工作在运行于450-MHz的双线程MIPSCPU核,具有超过950DMIPS的性能。本文介绍了BCM7335的主要性能及优势,单片系统方框图和参考设计方框图。BCM7335:High-DefinitionPVRSatelliteSystem-on-Chip TheBCM7335isBroadcom’snext-generationsatellitePV

黄赟:PVR业务中EPG的关键应用

2009年3月21日第二届数字电视趋势论坛在北京中旅大厦三层宴会厅举办,DVBCN数字电视中文网全程直播整个会议。图为广州啊哈媒体IMS技术总监黄赟先生演讲。 各位领导、各位来宾,大家下午好。今天很荣幸受主办方的邀请有机会在这里跟大家分享一下关于EPG元数据与增值业务的关系。 啊哈媒体其实是从2004年开始从事关于EPG元数据的采集以及关于EPR的研发,从那个时候开始我们进行了怎么样在数字电视上进行EPG元数据的应用,有一些经验跟大家分享一下。 以下是我今天下午发言的内容,首先跟大家简