智东西(公众号:zhidxcom)
编译徐珊
编辑云鹏
苹果 MR 头显要来了——紧跟而来的,会是 MR 内容生态爆发吗?
8K 显示屏、64 颗摄像头、双芯片设计……除了这些耳熟能详的苹果 MR 头显硬件爆料信息外,近日彭博社和科技媒体 The Information 接连爆料苹果在 MR 内容生态的布局,并且揭露了其多个内容“杀手锏”。
据悉,苹果 MR 内容开发项目主要由⼀个内部代号为Z50的秘密团队承担,该团队大约有几十人,其员工主要来⾃视频、游戏等⾏业。并且,苹果还在打造一款内容开发工具,希望让不懂编程的人也能通过 Siri 语音助手,构建自己的 MR 软件,并上线 AppStore。
▲网传苹果 MR 头显渲染图
此外,据知名苹果记者马克·古曼(Mark Gurman)透露,苹果不但将 MR 头显称为“Reality Pro”,定价约为 3000 美元(约人民币 20254 元),而且还订下了一百万销量的目标。
作为消费电子行业的领头羊之一,苹果常常“重新定义”一款产品。苹果将 MR 头显定价 3000 美元的底气从何而来?苹果将如何补上 MR 头显内容的不足,令其在“元宇宙”赛道中能够脱颖而出?苹果又将如何达成百万销量目标?从最新爆料中,我们挖到了苹果 MR 头显除硬件参数之外,又一大秘密武器:MR 内容生态布局。在这里,苹果将用一些新的玩法和技术创新,试图重新带动整个 VR/AR 行业。
一、打造“空气键盘”?苹果 MR 头显四大功能秀翻全场
在苹果 MR 头显登场之前,市面上已有不少头显类产品崭露头角。这其中有拿下千万台出货量的 Quest2,有针对高端市场的 QuestPro,更不用提国内 PICO 4、奇遇 MIX 等各类新品头显接连亮相。
这意味着如果要和现有的头显产品拉开差距,苹果势必要打出自己的产品特色,又或是拿出更好的体验吸引用户。近期的爆料信息,正好揭晓了苹果 MR 头显的四大看点:一键切换 VR/AR 模式、眼动追踪及手部追踪功能、视频会议功能以及作为外接生产力工具。
1、一键切换 VR/AR 模式:简洁操作、平滑切换
据知情人士透露,苹果 MR 头显将会有两种模式:完全沉浸在虚拟世界(VR 模式)和将虚拟世界叠加到现实世界两种模式(AR 模式)。而用户想要切换从 VR 模式切换到 AR 模式时,只需要“转动”特定按键,沉浸式的数字世界将会逐渐淡出,用户将会逐渐被真实环境包围,就像转动手表表冠按键一样。
此前,苹果分析师郭明錤曾在推特上分析该功能将成为苹果 MR 头显的关键亮点之一。他认为一个真正的 MR 头显不但能支持 AR 和 VR 的硬件,而且还应该支持整合 AR 和 VR 两种模式,并可以在两个不同的场景中顺利切换。
▲郭明錤推特原文
同时,他也说道:“可能很多人都比较难想象在 AR 和 VR 之间的平滑切换能提供什么样的体验,因此在 AR 和 VR 之间干净、简洁的切换可能是苹果头显的关键卖点之一。”
来自彭博社的多位消息人士也证实了这一点,提到苹果同样希望该功能成为该产品的一个亮点。
但这能否成为苹果 MR 头显的“杀手锏”功能吗?这可能需要看苹果在此基础上还存在哪些其他的新玩法。
毕竟,目前市面上多数新品头显都能够通过 RGB 摄像头与 SLAM 的配合完成彩色透视功能,也就是 AR 模式下的显示场景。像是刚刚发布的奇遇 MIX 可以通过双目 RGB 透视方案,实现了一键切换 VR/AR 场景。
如果说苹果仅是简单地完成了一键切换 VR/AR 场景,切换方式从现有的虚拟按键改成了物理按键,可能并不能为苹果的 MR 头显带来太大的优势。但如果正如爆料所说,苹果能够通过滚动按键,调整数字信息逐渐淡出视野,更好地与现实世界直接结合,或许能够为 MR 内容交互提供更多地空间。
2、眼动、手动追踪功能:突破性交互方式或成关键
彭博社认为苹果 MR 头显的眼动追踪功能和手动追踪功能可以与竞争对手的产品拉开差距。
据介绍,苹果 MR 头显将会有通过外部摄像头追踪手部定位,以及通过内部传感器读取眼睛的相关数据。
用户可以通过眼动交互来选择某个按钮、应用程序或者是列表项目,然后通过拇指和食指捏在一起的动作激活某个特定的任务。
眼动追踪和手部追踪确实是近年来 MR 头显新品的重要功能亮点之一,各大头显厂商也在此方向上做出不少探索。从目前行业情况来看,尽管硬件已经开始支持眼动追踪和手部追踪功能,但其具体应用还少有动作。
▲PICO 4 所支持的手势识别
但不要忘记,苹果一向喜欢打造一个突破性的交互界面,使其产品和竞争对手拉开差距。
在 iPod 时代,是点击轮;在 iPhone 和 iPad 时代是多点触控;在 AppleWatch 时代是数字皇冠(Digital Crown)。而在 MR 头显产品上,则很有可能是眼动交互或者手部交互。
▲iPod 时代的点击式交互
目前,苹果已经有至少 3 项专利涉及到眼动追踪技术,比如说通过 3 颗眼动摄像头完成眼动分析、如何处理眼动追踪中的数据过滤等。同时,苹果也有多项专利探索智能戒指、手指传感器、裸手交互等方向。
看起来,苹果已经在交互领域用专利搭起自己的技术护城河,这也侧面印证了苹果在新的交互领域颇下功夫。
2、视频会议功能:用户将拥有全身渲染
还记得当 QuestPro 发布时,大家都对小扎“长腿”了颇感惊喜。但随后 Meta 却表示该功能仍处在研发阶段,尚未上线。而这次苹果真的要带着“长腿”的虚拟人形象来了。
▲元宇宙形象“长腿”
据彭博社介绍,苹果将重点打造基于 FaceTime 的高级视频会议功能。头显内的 FaceTime 软件将在虚拟世界中逼真地渲染用户的面部和全身。用户将会感觉自己和其同伴都处在同一个“房间”。这可能比只有”上半身”或者头部形象的 Meta 的 Horizon 平台要更先一步。
当然,苹果也考虑到全身渲染所需要的数据处理能力,因此全身渲染功能仅在一对一视频聊天中所支持。如果要是多人进行 FaceTime 通话,其他用户仍以图标或者 Memoji(Apple 的自定义表情符号)的形象出现。
4、生产力工具:作为 Mac 外接显示器,或打造“空气键盘”
外媒此前曾爆料,苹果一直希望将这款 MR 头显打造成工作头显,并且希望开发者成为其主要用户群体。因此,苹果 MR 头显成为生产力工具也成为其亮点之一。
据悉,苹果 MR 头显不但能够作为连接 Mac 的外部显示器,被当作“大号”的 iPhone 和 iPad 一样使用,而且还能在用户戴上头显之后,使用触控板或者鼠标、物理按键控制设备。
尽管目前不少头显同样能支持无线投屏显示,又或是通过串流方式实现扩屏,但是苹果 MR 头显以数据线的方式连接设备,并能和其他物理键盘等配件产生联动,也是其亮点之一。
也因此,当用户需要输入某些文本信息时,苹果 MR 头显至少支持语音输入和按键输入两种输入方式。语音输入时,设备将直接识别相关文本信息、借助 iPhone、Mac 或 iPad 等第三方设备的键盘,通过物理按键输入文本信息。
不仅如此,苹果还在开发“空气键盘”,让用户可以用手在半空中打字。但据悉,该功能不会在苹果首次发布头显时上线。此前,Meta 也曾展示在该方向尝试探索。
可以看出,目前苹果 MR 头显在显示、交互、用途以及具体应用上均做出了相关新的尝试。尽管这其中不少功能此前业内的 MR 头显都曾涉及,但是苹果在此基础上又增添了一些不同的思路,创造了新的玩法。
二、主攻教育、健康等四大场景,AppleTV+ 团队或成内容研发主力
当硬件上难以拉开明显差距时,内容则正为了产品制胜的关键要素之一。除了硬件之外,苹果已经在健康、教育、游戏、视听四大场景对其 MR 内容有所布局。
而打造这些内容的则是一个秘密团队。据五位知情人士透露,苹果自己的内容团队由一个代号为 Z50 的团队研发,规模约为几十人,其主要办公地点实在加利佛尼亚州卡尔弗城一座建筑内。该团队成员多数都是来自视频、游戏等领域,其主要任务为根据自身过去的流媒体服务 Apple TV+ 中的经验,为 MR 头显打造内容。
首先是健康场景。一位熟悉苹果 MR 头显内容策略的消息人士透露,苹果的高管一直强调苹果在健康场景发力,并提及他们正在开发有助于冥想和锻炼的 AR 应用程序。比如说早期苹果曾开发过一个让用户在充满禅意的花园中打坐的软件。
其次在教育领域,苹果则希望用户可以通过 MR 头显打造沉浸式 MR 阅读。一位前苹果高管希望用户可以通过浏览书籍,让用户在看书的过程中,能够体验到奇幻的环境与现实世界融为一体的感受。
2021 年 11 月,苹果曾公开发布了一款应用程序。该程序是苹果 Apple TV+ 系列电视剧“For All Mankind”的衍生产品,可以让剧迷们直接参与到一些字幕的制作,或者直接与剧中的一些物品,如老旧的 AppleII 电脑等物体进行交互。这样的方式可以让用户如同置身于电视剧的场景中,亲眼见证故事的发展。
再次,视听领域也是苹果 MR 头显的核心内容之一。
苹果将为 MR 头显打造专用的视频观看功能,可以让观众处于一个新的观看环境,如沙漠或者太空场景中观看视频。不过,该类场景构建早已在现有的头显产品中上线。
▲奇遇 Dream 打造星空观影环境
音频方面,用户通过佩戴 AirPods,可以获得完整的空间音频体验,感受环绕立体声。但这是否意味着仅通过佩戴 AirPods,用户才能获得空间音频体验,我们尚不明晰。
在内容上,苹果已经与包括华特迪士尼公司(Walt Disney)和杜比实验室(Dolby Laboratories)在内的大约六家合作伙伴讨论了为该平台开发 MR 内容相关事宜。丰富的内容加持,或成为苹果在视听领域制胜的关键。
最后,游戏一直是苹果鲜少涉及的领域,在 MR 头显上也不例外。苹果已经创建了自己的底层引擎为 MR 游戏提供支持,但游戏内容仍然是交付给第三方开发。
在内容方面,苹果高管一直秉持着一个观点,苹果将专注于 AR。他们希望将数字信息带入现实,像是将 Apple TV+ 的内容迁移到头显内。Apple TV+ 已经在短短时间内迅速成为了苹果的重要项目之一,苹果此前积累的内容优势也在其推出新的产品品类时,从研发硬件到软件等各方面均带来不小的助力。
三、让 Siri 帮你做 AR 软件,苹果试图降低内容准入门槛
如果仅仅只有苹果自己打造的 MR 内容,是远远不能够满足用户丰富且多样内容需求的。这也是 MR 头显目前在内容领域的不足之处——应用数量太少,内容难以吸引更多的用户。
但现有的 MR 内容开发难度较高,十分具有挑战性,尤其是为 AR 模式开发相关软件。因为 VR 模式下,开发者仅需要打造一个完整的虚拟世界。而在 AR 模式中,虚拟对象将要附在现实世界上,用户突然运动或者现实世界和虚拟世界之间没有精准覆盖,都会破坏用户体验。
针对这些难题,苹果正在打造了一款内容开发工具,可以让用户轻松构建自己的 AR 软件,并能够上线 App Store,提供给他人下载。
▲网传苹果 MR 头显渲染图
该软件可以帮助用户构建一个新的应用程序,比如说让虚拟动物在现实世界的房间里开始移动,还可以围绕在部分现实物体旁。借助该软件,用户无需从头开始设计动物模型,也无需计算该动物将如何在有障碍物的 3D 空间中移动。
一位前苹果工程师将这项内容创建工具比作“我的世界”和“Roblox”两款游戏。这些游戏中,用户可以通过简单的界面轻松构建自己的 3D 世界和对象,与 Meta 的游戏创建应用程序 Horizon Worlds 相类似。
The Information 透露,该内容开发工具所涉及的技术是从苹果 2017 年收购蒙特利尔初创公司 Fabric Software 时继承的。
在收购 Fabric Software 不久后,苹果就发布了视频游戏引擎 Fabric Engine。开发人员通过该引擎使用可视化编程系统来操纵数字对象、角色和环境的外观。这意味着他们不需要使用计算机代码,可以大量节省构建计算机生成图像的时间和金钱。
该内容创作软件将主要面向软件开发人员,苹果同样希望消费者也可以使用它,就像其 Final Cut Pro 视频编辑工具。
据三位知情人士透露,Fabric Software 的联合创始人之一彼得·锡安(Peter Zion)在公司被收购后留在了苹果公司,目前正在领导该内容开发工具的项目。有关该项目的最新进展目前尚不知晓,但有部分人透露他们最近看到了一些演示。他们提到如果项目研发进度落后,那么该软件可能会推迟研发。
除了 Z50 团队,苹果还有一个团队,主要攻克“如何扫描现实世界的物体并且将其以 3D 的形式导入到头显中”。
这一技术将为苹果及其用户节省一定的时间和金钱。这样一来,苹果可以邀请数字艺术家来构建庞大的虚拟对象数据库。
此前,苹果从 2017 年的 ARKit 开始,就曾在 AR 应用程序开发方向中做出不少探索。2021 年,苹果还曾宣布推出 Object Capture,根据 iPhone 或 iPad 拍摄的照片自动构建物体的 3D 模型。2022 年,苹果还推出 RoomPlan,它使用新款 iPhone 和 iPad 的摄像头和激光雷达传感器扫描并生成房间的虚拟平面图。
而这些打造 MR 内容开发技术团队背后,是苹果过去多年时间里多次引进技术人才的成果。
据不完全统计,自 2015 年以来,苹果已经在过去 7 年时间里收购了超过 7 家创企,为其 MR 内容服务。
2015 年,苹果收购了位于慕尼黑的 Metaio,此前该公司主要为 AR 应用程序制作工具。同年,苹果还收购了专门从事面部动画和动作捕捉的 Faceshift。2017 年,苹果收购的初创公司 Fabric Software,也正是目前研发内容开发工具团队的前身。2020 年,苹果收购了两家位于南加州的初创公司,分别是提供 VR 体育直播的 NextVR 和提供 VR 视频会议的 Spaces。
▲苹果历年收购涉及 MR 内容的初创企业名单(不完全统计)
从这些收购历史中可以看出,苹果从未放弃在 AR 内容领域不断扩张,不断汲取优秀的技术人才,这也让大家对苹果的 MR 内容更加期待。
四、定下百万销量目标,苹果 MR 头显将于 2 月开始生产
随着苹果 MR 头显发布在即,越来越多有关苹果 MR 头显“Reality Pro”的消息浮出水面。据知情人士爆料,今年 2 月,苹果 MR 头显将在中国开始生产;6 月,苹果将在 WWDC 全球开发者大会上宣布该产品,然后在今年晚些时候发布该产品。他还透露到苹果可能会先在美国推出该产品。
对于这款头显,苹果持有较高的期待。据悉,苹果将第一年的 MR 头显出货量定在100 万台。尽管相对于每年销量超 2 亿台的 iPhone 来说,其规模还尚小,但对一款售价约 3000 美元、已经成为头显类产品价格天花板的新设备来说,完成这样的销售目标,仍然是不小的挑战。
毕竟,“Reality Pro”的竞争产品 MetaQuestPro,在发布三个月时间后,就迅速调整了产品售价,从 1500 美元(约人民币 13000 元)降至 1100 美元(约人民币 7790 元),售价降低近三分之一。曾有调研机构预估,MetaQuestPro 在 2022 年,也就是三个月时间内,出货量不超过 25 万台。
▲Meta Quest Pro 降价 400 美元
在此行业背景下,苹果想要发布一款约人民币 2 万元的头显新品,以比此前 Meta 定价约人民币 13000 元的 Quest Pro 高出近一倍的价格,还期待达到百万台的销量,这意味着苹果就需要给消费者带来一款足够惊艳的产品。为此,苹果也需要用自己的方式解答一些行业共同的难题,比如说如何处理散热。
据爆料,苹果将通过安装冷风扇,解决头显散热难题,就像部分高端 Mac 电脑一样。此外,苹果将采用分体式设计,将头显的电池从头显上转移至用户的口袋里,用一根数据线连接头显和电池。
消息人士透露,这个电池大概外观会像两个 iPhone 14 Pro Max 堆叠在一起的样子,一块电池组的续航时间大约是2 个小时,与目前市场上大多数的头显续航时间相差无几。
不过,距离苹果的 MR 头显发布还有几个月时间,苹果还可能仍然对部分功能和设计做出调整。此外,还有消息称,苹果已经在开发更便宜版本的 MR 头显,发布价格将为 1500 美元左右,将于 2024 年底或 2025 年初发布。
苹果发言人对此次爆料信息均不予置评。
结语:内容或成苹果 MR 头显制胜关键
苹果 MR 头显,是苹果投入了千人团队,研发近 7 年左右的新项目,这也是苹果自 2015 年发布智能手表以来,打造的第一个主要新产品系列,更有人称其将成为“库克时代”的标志。
除了硬件参数一直备受瞩目,苹果在 MR 内容生态上的布局也初露端倪。教育、视听、游戏、健康四大场景成为了苹果主攻的四大内容场景,苹果也先后在此领域展开不少布局,AppleTV+ 团队在其中承担了主要力量。
从现有的产品特性来看,苹果 MR 头显能够一键切换 VR/AR 模式,或成为其最大的看点之一。而像眼动追踪、手部交互、外接设备等功能亮点,苹果早已不是先行者。不过在创新的加持下,苹果能够带来哪些不一样的体验,我们也将持续关注。
来源:彭博社、The Information