machine

Facebook的AR眼镜实现两大突破

2020 / 09 / 25新浪
Tags AR眼镜

“你说什么?听不见!再说一遍!”在震耳欲聋的音乐节现场或者吵闹的酒吧,我们和他人交往的唯一方式只能“贴近耳边开吼”,此时此刻,真是恨不得有一个开关让全世界都静音,只让对方开口说话。不过,这个梦想终于有可能变成现实了,载体却是一副眼镜。

FRL AR增强技术眼睛发布会现场 | www.theverge.com
FRL AR增强技术眼睛发布会现场 | www.theverge.com

最近,Facebook旗下的“Facebook现实实验室”(简称FRL),公布了2项新突破:一种让人在嘈杂环境中听清楚自己想要的信息,同时调低背景噪音;另一种让耳机里的声音保真度高到无法与现实世界的声音区分开来。当这两项神奇的技术被集成在一副可穿戴设备AR 眼镜上,会发生什么神奇的事情?

人群中,只有你的声音被倾听

首先,这款AR眼镜上有多个麦克风,可以捕捉佩戴者周围的声音,同时记录他的头部和眼镜的运动模式,找出他最感兴趣的声音,并消除其他背景噪音。这样即使在嘈杂的环境中,也可让佩戴者清晰地听到他想要的声音。

佩戴FRL团队AR眼镜与麦克风的交谈者 | www.businessinsider.com
佩戴FRL团队AR眼镜与麦克风的交谈者 | www.businessinsider.com

这是如何实现的呢?Facebook团队采用的是名为“近场波束形成”的技术——麦克风按照一定的形状和规则布置的阵列,即麦克风阵列,是对空间传播信号进行采样的装置。根据声源和麦克风阵列距离的远近,声场模型分为近场模型和远场模型。

FRL内部的声学实验室 | www.theverge.com
FRL内部的声学实验室 | www.theverge.com

大多数的麦克风阵列语音增强方法,建立在声源位于阵列远场的假设基础上。这种语音增强模型在大房间会议室中有比较好的应用,但如果房间较小,声源和麦克风距离较近,这种语音增强模式性能就急剧下降。研究证明,在小房间混响条件下,近场波束形成技术可以有效抑制噪音、提高语音信号质量。

这种“感知超能力”(perceptual superpowers),可能给听障人士带来新希望。根据2019年世卫组织的数据,全球大约有4.66亿人患有残疾性听力损失,超过全世界人口的5%,其中有3400万是儿童。不过其中许多人因为费用、不适感、社会耻辱感等问题没有使用助听器。AR眼镜将有可能提高听障人士的生活便利性,增强他们的社交生活。

另外,对普通人来讲,长时间暴露在85分贝以上的噪声水平下,可能导致听力下降。只听想要的声音而降低背景噪音,延长耳朵的服役年限,年纪大了还能耳聪目明。

所听即所见,给你一个真实的声音世界

新冠疫情期间,在家办公的上班族要想开会,就只能通过视频会议平台,而这种方式依然让人觉得有距离,不如面对面谈话来得亲切。Facebook另一项“音频存在”(audio presence)技术,就是让人难以区分现实世界的声音和耳机里的声音,呈现逼真的音效效果。这样你在打视频电话时,即便对方处在另一个半球,听起来却好像就在你面前。

要让声音“逼真”并不容易。当有人在你房间里和你说话时,你的一只耳朵会比另一只耳朵先听到声音,每只耳朵听到的音量也是不同的。声音和你所处的环境也会有相互作用,比如声音会从墙壁上反弹再进入耳朵。另外,耳朵的形状也会微微改变每个人听到的声音。所有这些信号都告诉大脑声源在哪里。如果能准确地再现这个过程,就能高度复刻真实世界的声音了。

要实现这个目标,就需要考虑每个人不同的耳朵形状,获得“头相关变换函数”(HRTF),以实现个性化的音频体验。HRTF是一种声音定位的处理技术,人类只有两只耳朵,却能从三个维度——距离、高度、前后两侧方位来定位声音。HRTF是高度个人化的,但每个人到实验室做一遍实验获取数据并不现实,因此研究团队希望开发一种更方便的算法,只要有耳朵的照片就可以估算HRTF。

在FRL团队的模拟试验中,志愿者很难区分声音究竟是耳机里传出来的还是现实世界的,这种音频模拟技术已经取得了一定成效。如果技术成熟,加上逼真的3D重建和共享虚拟空间,你可以和千里之外的亲朋好友亲密互动,而不只限于现在的文字对话或者充满距离感的视频通话,或许异地恋的成功率都会提高!

给你一个私人订制的融合世界

FRL介绍说,希望这副眼镜能够改变穿戴者感知外部世界的视觉和听觉维度,呈现一个更加个性化定制,更加友好的外部环境,比如当你走进一家餐厅时,AR眼镜就会自动识别你周围发生的不同类型的事件:人们的对话,空调的噪音和餐具的叮当声,然后为你做出智能决策。

AR眼睛加LiveMaps,你眼中的现实世界立刻会变得截然不同 | www.businessinsider.com
AR眼睛加LiveMaps,你眼中的现实世界立刻会变得截然不同

不过Facebook的雄心不止于此,他们希望用AR眼镜加上自己的AR增强实时地图LiveMaps(可以把它看做一个三维实景版的谷歌地图),打造一个全新的真假交织的世界。人们可以以全息图的形式周游世界,参观新的地点,和远方的家人吃饭。当孩子们路过一只小动物时,相关的信息会从动物旁边弹出,让孩子获得更强的参与感。

遇到动物,相关信息就自动从它身边弹出,LiveMaps可以帮助孩子更好地认知陌生的世界 |https://next.reality.news
遇到动物,相关信息就自动从它身边弹出,LiveMaps可以帮助孩子更好地认知陌生的世界

这个美妙的图景也同样让人不安,Facebook月活跃用户人数已经接近30亿,和微信一样几乎重塑人们的现实生活。而LiveMaps则是对物理世界的重构,对日常生活的渗透达到新的深度,这必然伴随着大量收集数据的过程。Facebook在隐私上并未获得多好的信任感,在处理用户敏感信息方面麻烦不断,面临多场诉讼和国会质询。为了更好的AR体验,用户愿意让渡多少隐私呢?

当然,等技术成熟也需要时间。Facebook的首席科学家对路透社表示,距离这款AR眼镜彻底成熟,变成面向市场的可穿戴电子设备,还有大约5-10年的时间,不过光是想象,就已经让人足够激动。