全球首个Magic Leap One体验:吓到你不敢进房间

2017 年 12 月 21 日 智东西 海中天

看点:半夜刷屏的MagicLeap眼镜是不是样子货?先别吐槽太丑,这九个演示会惊呆你,CEO还是很狂。

昨夜,业内备受关注的AR技术公司Magic Leap,在获得19亿美元融资历经七年之后,终于放出其第一款头盔产品Magic Leap One,很快在科技圈、VR圈引起刷屏式关注,大部分焦点集中在,“设计太丑”、“怎么像是效果图?”、“融了19亿美元就搞出个这?”,到底Magic Leap One是不是样子货?

同时,从Magic Leap 创始人CEO罗尼·阿伯维茨(Rony Abovitz)对外的一些言论也看到不少值得关注的点,比如他说:它也是一台计算机,设备很轻,但是工程技术却像卫星一样复杂。也有说:从本质上讲,你正在创造视觉世界。你是联合创作者,与动态模拟光场信号一起创造。还说:每一个人都是创造者,不断创造自己的虚拟世界。Magic Leap决定抛弃显示屏,使用人类已有的显示屏,也就是眼睛。是不是越听越炫,来看到底是怎么回事:

以下内容由智东西编译整理:

千呼万唤始出来。

终于,Magic Leap给我们带来一台原型头盔,2018年,头盔就会提供给开发者。Magic Leap给头盔取名叫作“Magic Leap One”,包括一个控制器,一个电池组,尺寸和手掌差不多大,还有一幅眼镜,充满数字朋克色彩。Rolling Stone报道说头盔很贵。

老实说,我们知道的消息不多。开发者没有办法试用,所以无法与其它原型产品对比。

值得庆幸的是Magic Leap的技术终于变成有形产品了。

头盔

冰球状的设备实际上是一台外置计算机,名叫Lightpack。照估计,设备可以接收多种输入指令,比如语音、手势、头部动作、眼球追踪。它可以将虚拟电视投射到墙壁上,当你回来时,电视会挂在离开之前的位置。SDK明年年初就会出货,至于硬件,可能明年的某个时间点也会出货。

护目镜有两种尺寸可以选择,前额垫、鼻子部分、太阳穴垫片是可以调节的,确保使用时更舒服。当产品推出时,Magic Leap还会将医学镜片考虑进去,简单来说,戴眼镜的人也能使用。

控制器是用塑料制造的,有一排按钮,支持6自由度动作感知技术、支持触觉反馈,还有一块触控板。

从设计上看,Lightwear和Lightpack有点像玩具,并不是因为它们便宜(实际上很贵),而是因为它们很轻,看起来好小。

Magic Leap CEO罗尼·阿伯维茨(Rony Abovitz)说:“这是一台袖珍计算机,你可以将它想像成MacBook Pro或者外星人PC,里面有强大的CPU、GPU,还有硬盘、WiFi、各种电子组件,所以说它本身就是一台折叠计算机。”

谈到Lightwear眼镜,阿伯维茨解释说:“它也是一台计算机,是一台实时处理计算机,可以感知世界,完成计算视觉处理任务,还有一些机器学习功能,可以持续感知周围世界。设备很轻,但是工程技术却像卫星一样复杂。”

头盔还可以感知用户周围的声音,里面安装了4个嵌入式麦克风,用实时计算机视觉处理器与外部摄像头(6个)追踪穿戴者的位置。太阳穴位置装有小型高端扬声器,可以输出空间声音。

阿伯维茨说:“它是一款装有摄像头的眼镜,能完成空间计算,拥有完整的意识。”

到底头盔安装了什么GPU、CPU,其它组件又是怎样的?阿伯维茨不愿意透露,甚至连续航时间也不愿意说。为什么?阿伯维茨说,他们想保留一些消息晚点发布,而且他们正在优化电池。Magic Leap已经动手开发下一款原型机。

体验

Magic Leap邀请Rolling Stone试玩了一些“Demos”。有哪些演示体验呢?比如,里面有虚拟角色,你可以用眼神与它接触,有漂浮的漫画书,有虚拟现场表演(用体积摄像头捕捉的)。之前有传闻说,Magic Leap碰到了麻烦,它很难将技术压缩到小小的护目镜内,同时还要保证性能,演示似乎让传闻不攻自破,它告诉我们:体验没有延迟,即使走来走去,靠近或者远离也没有关系。

为了让访客体验技术,Magic Leap在大楼内建了一个体验场所,和摄影棚差不多。Magic Leap在这里测试体验,未来这些体验可能会用在主题公园及其它大型场所。Rolling Stone记者花了一小时体验。总体来说,这些体验我们暂时无法在现实中看到,Magic Leap只是想让访客亲自看看“魔法”到底是怎样的。

Rolling Stone记者试玩了几个演示产品,体验如下:

一、主题公园

进入一个科幻世界,Magic Leap用隐藏风扇、扬声器、计算机控制的彩色灯光阵列增强体验。体验很棒,它告诉我们:主题公园可以没有墙壁,游客也不需要等待。一切都是在舞台布景中发生的,虽然看到的东西与现实有差异,但是相当接近。

二、Gimble机器人

进入一幢大楼,里面有一个大房间,装修风格跟居住空间差不多,有沙发、桌子、小摆设和地毯。进入演示区,有几种体验可以试玩。首先就是Gimble,它是一个机器人,飘浮在空中,介于眼睛与墙壁之间。你可以走近机器人,围着机器人转,从不同的角度观看……机器人静静飘浮在视野中。周围的世界仍然不变,你不能透过机器人看到世界。似乎机器人不是虚拟的,而是真实的,也不是平面图片。当你靠近机器人,图像不会变成粗糙的像素,走近能看见一些细节,在远处看不到。如果靠得太近就会消失,或者人会进入到物体内部,Magic Leap解释说演示体验还没有完善。当你围着机器人转动时,声音也跟着转。

三、虚拟显示屏

接下来,Magic Leap高管在记者的视野内摆下三块虚拟显示屏。屏幕看起来就像超大平板电视或者显示器。你可以移动屏幕,可以自由组合。观看屏幕时,机器人仍然悬浮在旁边。

四、4面立体电视

随后你可以尝试另一种体验,那里有一个飘浮的4面电视,每一面都在播放直播节目。你可以围着立体电视转圈,看不同的频道。不论观看还是不看,电视频道都会一直播放。

五、虚拟美女

房间的墙壁上突然用白光显示门的轮廓,然后门打开了,一名女人走进来。她朝你走来,相隔几英尺远,站在旁边。细节相当逼真。当然啦,这个人不是真人,不论你说什么,女人不会说话,也不会响应,她没有这样的能力。你可以用手动方式控制她的表情,比如微笑、愤怒、厌恶。当你移动或者四处观看时,她的眼睛会跟着你转。Lightwear内部摄像头会将数据发送给她,这样她就能保持眼神接触了。

六、漫画书

你会看到一本巨大的漫画书,你可以走近一点观看,就像透过窗户观看一样。

七、观看现场表演

Magic Leap还演示了所谓的“体积捕捉”技术。是什么呢?团队跑到工作室,让他们用特殊设备录制演员的现场表现内容,然后Magic Leap将演员放进系统,最终,用户不论站在哪个房间,都可以看到现场表演。虽然捕捉的内容有些细节比较粗糙,比如鼻子与嘴唇之间的地方有点太圆了,不过体验还是很惊人的,因为你可以近距离观看真人表演,还可以围着人转动。图像不会卡顿,不会延迟,即使你围着表演者转动,靠近观看,离远观看,都不会有任何问题。表演者可以放大或者缩小,甚至可以放在手掌中。

八、Tonandi音乐体验

Sigur Ros与Magic Leap合作开发了一种名叫“音景”(soundscape)的体验。为了体验新产品,试用者先要将耳机插在头盔上。这是一个名叫Tonandi的项目,体验者看到的不是录制音乐片段,而是互动音景。

进入Tonandi世界,你会获得这样的体验:

在你的周围会出现一些缥缈的树,然后看你如何反应。进入场景,周围飘浮着各种小精灵。当你向它们挥手,它们就会唱歌。然后各种各样的生物就会冒出来,你触摸它们,向它们挥手,敲打他们,然后就会播放各种音乐。地上会长出豆荚,有长长的茎,草在地毯上、咖啡桌上铺展。豆荚像花蕾一样绽放。

创造Tonandi体验用到了许多技术,比如眼球追踪、手势技术。阿伯维茨说,他们正在开发一种非常吓人的体验,可以吓得你再也不敢进房间。

九、Weta Workshop的游戏

Weta Workshop是一家特效公司,《指环王》、《银翼杀手2049》的特效都是它做的,它正在为Magic Leap开发游戏。游戏由Weta Gameshop部门操刀,围绕Dr. Grordbort幻想世界设计。新部门有55个人正在开发这款游戏,两家公司合作已经有5年了。

明年硬件推出时,游戏也会推出,这是一款第一人称射击游戏。在游戏中,一个机器人星球找到入口来到地球,它们想入侵地球。玩家必须阻止机器人穿过入口。当你进入游戏,入口会在休息室的墙上打开,或者在卧室墙壁上打开,你会看到机器人星球。

光场

头盔使用了一种关键技术,它就是“模拟光场信号”(analog light field signal)。从本质上讲,光场就是所有物体反射的光的集合。当你拿起一幅画,光场的每一个薄片你都能捕捉到。不过眼睛看到的东西不只包括光场,还能感知深度、移动及其它视觉元素。

光场信号如何通过眼睛进入大脑,进入视皮质,这就是阿伯维茨想解决的问题。他说:“你所感知的世界实际上是在视皮质上形成的。视皮质与大脑的一部分相当于渲染引擎,100万亿个神经连接会对你所观看的外部世界进行渲染。”

人类40%的神经处理能力会用来处理视觉信息,做某些事情时会达到70-80%,比如从事体育活动时。阿伯维茨说:“从本质上讲,你正在创造视觉世界。你是联合创作者,与动态模拟光场信号一起创造。”

因为信息太复杂,创造人工光场相当困难。后来阿伯维茨认识到,人类视觉系统可能像过滤器。换言之,人眼并没有真正观看所有东西,它会从光场中过滤大量光线,只让少量光信息进入视皮质。

所以,研究的重点就是找到那些光场信息,让它通过眼睛输入到视皮质。阿伯维茨说:“我们的想法是这样的,如果能够找到这些信息并且(或者)接近它,也许就能破解,植入晶片。这样一来,小小的晶片就可以发射数字光场信号,再次呈现图像。这就是我们的关键构想。”

阿伯维茨相信,如果能够开发出一块晶片,将正确的光场光线输入大脑,就可以欺骗大脑,让它认为看到的虚拟图像是真的。

在这种构想的指导下,Magic Leap决定抛弃显示屏,使用人类已有的显示屏,也就是眼睛。

阿伯维茨说:“我们有两个核心构想,第一个,没有显示屏才是最好的显示屏,第二个,外部的东西实际上是内部的东西。事实证明这些构想是正确的。一切你认为位于身外的东西,实际上是在内部渲染出来的,由你与模拟光场信号联合创造出来。”

他还说:“从本质上讲,每一个人都是创造者,不断创造自己的虚拟世界。”

Magic Leap的晶片(Wafer)是谁制造的?公司的人不愿意透露。

阿伯维茨说,最开始公司似乎只是率先提出信号概念,然后开始开发信号晶体管。他说:“我们没有让电子在晶体管内移动,而是让光子移动,也就是纳米结构3D射线光子信号。具体叫什么,还没有取名,一直以来我们管它叫作Sea Monkeys,当然咯,我们不会用这个来命名。我们会想一个很酷的名字,给架构命名。”

阿伯维茨说,晶片让光子在3D架构内移动,输出非常特殊的数字光场信号。最终,这些光场晶片变成了更大、更圆的镜头,然后放进了护目镜。

视野

Magic Leap的显示视野以矩形形式显示,不知道尺寸,这点和HoloLens是一样的。

到底视野有多大?如果你将VHS录象带放在眼前,手臂半舒展,看到的录象带视野和头盔视野差不多。

Magic Leap One的视野并没有比HoloLens大多少。

公司工程高级主管山姆·米勒(Sam Miller)说:“未来的硬件会让视野明显扩大。你在这些设备上看到的视野,和出货时设备的视野是一样的。不过下一代产品会大很多。我们的实验室正在开发。”

你可以淡化边缘,这样一来看到的图像就不会有太强的破碎感。

米勒还展示了一个有趣的体验。他走到大房间的一端,然后让我弹出Gimble。机器人出现在远方,浮在空中,靠近米勒。他走到机器人所在的位置,此时米勒身体的大部分消失了,腿与机器人底部连接在一起。

就目前来说,Magic Leap的目标是降低重量,提高计算力。所以公司选择了分散计算架构,部分设备完成实时处理,部分完成应用处理。最初的设备用有线技术连接,未来会引入无线技术。为什么呢?因为就当下来说,确保不延迟,确保有强大的计算力,这些更重要。

因为头盔内部有计算机,所以不需要外部台式PC支持。头盔能够提供初级的室外体验,主要还是用在室内。先室内再室外,这就是Magic Leap的既定路线。

GTIC AWARDS 2018

▲ 扫描二维码报名

加入社群

智东西“人工智能”行业社群开始招募!
行业顶级大咖,免费线上课程,专属行业内参
微信加
zhidx008申请实名入群

加入我们

诚聘记者、新媒体运营实习生
简历发送至邮箱:hr@zhidx.com,期待你的加入!

合作勾搭

文章转载微信:zhidx_com
媒体合作:marketing@zhidx.com
商务合作微信:hillsmart

登录查看更多
0

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议,会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
打怪升级!2020机器学习工程师技术路线图
专知会员服务
98+阅读 · 2020年6月3日
【元图(Meta-Graph):元学习小样本连接预测】
专知会员服务
64+阅读 · 2020年5月31日
7 个从来没推荐过的App,用了让你变得更厉害
高效率工具搜罗
9+阅读 · 2019年2月18日
刘强东清明节回湖南湘潭认祖,带给乡亲100亿“小礼物”
中国企业家杂志
7+阅读 · 2018年4月7日
中美日全球美女机器人大PK,哪一款是你想要的味道?
机器人大讲堂
4+阅读 · 2017年9月16日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
5+阅读 · 2018年12月18日
Physical Primitive Decomposition
Arxiv
4+阅读 · 2018年9月13日
Arxiv
11+阅读 · 2018年4月25日
Arxiv
5+阅读 · 2017年7月23日
VIP会员
相关论文
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
5+阅读 · 2018年12月18日
Physical Primitive Decomposition
Arxiv
4+阅读 · 2018年9月13日
Arxiv
11+阅读 · 2018年4月25日
Arxiv
5+阅读 · 2017年7月23日
Top
微信扫码咨询专知VIP会员