浅析3D音频技术拯救冬季虚拟现实
虚拟现实技术是20世纪发展起来的一门崭新的实用技术。虚拟现实技术包括计算机、电子信息和仿真技术，其基本实现方式是计算机模拟虚拟环境，给人一种环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求越来越大。VR技术也取得了很大的进步，逐渐成为一个新的科技领域。以下是我对3D音频技术拯救VR寒冬的分析。让我们来看看。
最近经常有人说VR的冬天要来了。最近看到一个很好的描述:“曾经承载了创业者和投资人太多期待和热情的VR行业，经历了过山车般的一年。”在核心技术瓶颈突破之前，VR也会在泡沫缩小后理性思考。而3D音频作为VR产业的关键技术节点，在今天值得关注。我在这里为大家带来3D音频技术的理性分析，拯救VR的冬天。
在百度上搜索“VR冬天”有1，660，000个结果。
资本的面孔变了:半年时间，VR从狂欢走向灰暗(极客公园，2019/07)，吸引了无数资本和创业者的VR行业似乎进入了寒冬(中国企业家，2018/26)，VR创业公司的寒冬来了？听听首都咖啡怎么说！”(网易新闻2065 438+2006年5月27日)“小心被套！VR将迎来寒冬(搜狐新闻2065 438+05 06 11)...
人们还记得2015下半年到2016年初的VR热潮:从创业者到投资人，每个人都对VR抱有无限的热情和希望。计算机出身，转投VR的人不在少数:他们就是看到了这片“热土”，走出大公司，一头扎进了VR行业。
行业缺乏高质量标准，关键技术节点远未突破。VR就像一个牙牙学语的婴儿，还处于起步阶段，远未成熟。与其说VR已经到了冬天，不如说之前的泡沫正在被合理挤压。
这里的“关键技术节点”之一是空间音频技术。今天，人们更愿意称之为3D音频。
正如著名VR制作公司Jaunt的首席音频工程师Adam Summer所说:“(在VR这个例子中)听觉占50%，视觉占剩下的50%。”
听觉决定了空间的方位，对物距的感知等等。视觉给出线索，听觉验证线索是否真的存在。如果没有视觉沉浸感，那么所有画面的真实性都会消失。不解决听觉问题，虚拟现实不可能成为虚拟现实。可以说，3D音频决定了我们所念叨的VR时代是否真的到来。
首先普及一下3D音响。
什么是3D音频？简单来说，3D音频是对声音最逼真的模拟技术，可以将观众完全还原到一个与场景相似的声场中。类似的名字还有全景声方案和沉浸式音频。你能听到的声音是真实的，不是真实的。
目前世界上最成熟的太空音频制作公司之一、VisiSonics的创始人之一有一句话:“当你听到的声音极其真实时，耳机就消失了。”
人耳有自己的声音信号分析系统来分析和定位声音。从空间任意一点传到耳朵(耳膜前方)的信号都可以用滤波系统来描述，声源+滤波器(传递函数)得到的信号就是声音到达双耳耳膜之前的信号。
我们不必关心声音是如何到达我们的耳朵的，只需要知道声音到达我们耳朵之前，声源和信号是不同的；我们的左耳和右耳听到不同的声音。这可能是由于我们的进化。视觉在黑暗中无法定位，但耳朵可以通过左右耳不同的声音进行定位和防御。
这个滤波器(传递函数)被称为HRTF(头部相关传递函数)。如果我们有从空间所有方向到双耳的滤波器组，我们可以得到一个滤波器矩阵，从而从整个空间方向恢复声音信号。
HRTF非常有个性。每个人长大后都会形成一套自己对倾听的认知。而且我们每个人的头部大小和耳朵间距都不一样，耳朵的轮廓和螺旋形状也不一样。除此之外，我们在成长的过程中也养成了自己独特的聆听习惯。可以说，大家听到的同一个物体发出的声音，其实是略有不同的。
如何还原人真正听到的声音？科学家对此的探索在今天并不新鲜。近一个世纪前，1933，at & amp；贝尔实验室将这项技术带到了芝加哥世博会。这家公司的声乐研究部门做了一个机械化的人头——他们把这个假人命名为“奥斯卡”。奥斯卡，耳朵上带着两个麦克风，坐在展览室里，拾取周围的声音。奥斯卡可以录下他听到的任何东西。
美国电话电报公司。T贝尔实验室提供的解决方案叫做双耳音频。
双耳录音技术模拟了人类真实头部的形状，左右耳的距离，可以录制接近真实人类听觉的声音。这是一个有效的“笨方法”，从物理上恢复HRTF。沿着这条道路，德国麦克风公司Neumann在双耳录音技术上取得了各种突破，从1973到1992——更好的无线电设备，将麦克风放在假人耳朵的耳膜上等等。
由于没有强大的产业需求，双耳录音技术在本世纪一直发展缓慢。直到这波VR热潮到来，它才重返舞台。由于Oculus Rift、索尼Morpheus和三星Gear带来的VR的普及，3D音频技术迎来了它的“复兴”——因此也被称为VR音频。
3D音频技术的难点在哪里？
VR需要3D音频来创造更真实的沉浸感。Jaunt首席音频工程师亚当·萨默斯(Adam Somers)在接受THE VERGE采访时是这样描述的:“就沉浸感而言，听觉占50%，视觉占剩下的50%。”
Jaunt是美国著名的VR制作公司。去年，上海华人文化产业基金和迪士尼投资了6500万美元。
但是双耳录音技术本身不支持边听边转头。玩家在玩VR游戏的时候，如果背后有声音传来，人的本能反应是转头向后看。这时候如果声音继续在眼前，会大大降低沉浸感。
另一种还原真实声场的技术，听的时候不支持转头，这种技术叫环绕声。环绕立体声使用多个物理扬声器来创建360度声场，来自不同方向的声音通过不同的扬声器/音箱播放。这项技术最著名的公司是DTS和杜比。
例如，环绕声电影院会在观众周围放置许多扬声器。如果画面左侧发生爆炸，左侧的扬声器会发出声音，右侧不会。因为播放器的位置是固定的，所以观众只能在一个固定点听到最真实的声场。
如何解决这个问题？计算已经成为重中之重。
双耳录音技术获得声音后，还原HRTF，再通过计算还原各个方向的HRTF，从而合成一套随头部和位置移动而自然变化的空间音频。
在这三个环节中——广播和录音；处理，渲染(处理)；回放——最强的技术壁垒在于计算环节。
核心算法是测试各个空间音响公司的能力指数。两个大耳朵的公司口号说明了一切:“我们做数学，所以你可以专注于变得很棒。”(我们做数学，你们做很酷的事情。)这家爱尔兰公司目前在太空音频技术方面处于领先地位。
有的团队用一些笨办法来减少计算量。比如3dio，他们创造了无线电设备，可以尽可能同时记录各个方向的HRTF。
通常可以用三个指标来判断一个公司3D音频核心算法的技术水平:
1，本地化:指声音的本地化。环绕立体声对于360度的声平面有很好的模拟效果，但是对于上下360度的模拟比较困难。VR音响的难点还在于上下做360度声音模拟。如果能做到上下逼真，技术更先进。
2.传播:声音在封闭的空间里不是只传播一次，而是有无数次的反弹，我们可以用回声来理解。传播是用来描述用户是否能感觉到自己确实在一个真实的空间，真实感越强越好。
3.遮挡:在声音传播的过程中，如果中间有障碍物，这个障碍物就会对声音的传播产生影响。如果一个VR音频技术能很好的模拟障碍物对声音的影响，那就是做的很好的VR音频。
除了以上三点，空间音频最先进的解决方案是Ambisonic技术。所以能不能做Ambisonic也是判断一个公司技术水平的指标。
Ambisonic也是一种声场模拟方法，但是考验团队物理、数学、计算机的综合能力。如果我们把空间中接收声音的某个位置想象成一个膨胀的气球，那么来自空间各处的声波都会对气球表面产生作用力。
利用这个简单的道理，Ambisonic在空间里放了一堆扬声器，在相应的真实情况下模拟声波对这个气球的作用，然后计算还原HRTF。
通过Ambisonic获得的音频数据是最全面的数据，可以退化为任何其他音频格式。举个例子，如果一个图像中的Ambisonic是jpg，那么杜比7.0、杜比5.1等音频格式就相当于像素。
如何评价3D音频技术的行业地位？
3D音频技术必将改变所有的应用场景。整个空间音频行业有两个机会:
第一个机会是做音频引擎，其核心在于HRTF函数、传播等技术，即如何在游戏中尽可能逼真地还原立体声。目前比较简单的方式就是在VR游戏中放入不同的虚拟音箱，配合Oculus Audio SDK(实现HRTF等效果，包括倒影等。)来实现空间音频。
有很多方法并不简单，需要团队有很强的计算能力。两个大耳朵，2013成立于爱丁堡，是其中的佼佼者。他们做的插件可能是目前业界最好的插件之一。
第二个机会是实现3D音频在现实生活中的应用，即如何配合全动作视频，多角度录制VR音频。这样，如果用户在观看全动作视频时转头，声音就会被动态调整。就应用场景而言，3D音频技术对于虚拟音乐会尤为重要。
考虑到目前的全球市场，由于自身的技术难度，还没有一家公司或团队为3D音频提供完美的解决方案。大牌音响公司DTS做的技术接近，但最终版本没有公开，面临价格极高的可能。
七个最受关注的3D音频技术团队
1、视觉效果
VisiSonic最先起步，团队来自美国马里兰大学的实验室，2015和10与Oculus达成合作。Oculus为Oculus Audio SDK购买了他们名为RealSpace3D的技术。他们设计了一种同步记录3D音频和视频的设备，它由一个圆柱形和顶部球形的设备组成，带有64个麦克风。硬件层面，技术顶尖，保持世界领先。
两个大耳朵
苏格兰爱丁堡的团队最近被脸书收购了。他们的核心技术是做一个3D音频引擎，名字叫3Dception。就外挂水平而言，这个团队是目前世界上最好的。在被脸书收购之前，据说这个团队用于HTCVive音频的计算和渲染。
3、3声音
该公司是目前市场上太空音频无线电记录领域的最佳公司。他们生产了一台八耳收音机。
4、兴旺音频
这家公司和Tilt Brush一起被谷歌收购，是谷歌VR战略布局的一部分。该团队来自爱尔兰都柏林三一学院。他们声称已经申请了两项专利。
5、MintMuse
之前在美国圣地亚哥，最近搬到上海的一个团队。创意团队来自高通。他们主要围绕渲染质量、算法优化、时延等领域，设计制作空间音频后期制作、编码、软件插件工具，目前不涉及硬件制作。这个小组旨在解决录音的问题。他们正在开发一款专业的VR全景声软件，可以让调音师在编辑全景声的过程中实时监控成品效果，简化整个工作流程。
6、海浪
这是一家位于以色列的太空音频技术公司。以前是专业的录音室工具，比如插件，音效。它是许多著名工作室的合作伙伴，如阿比路。
7、脉冲式
美国北卡罗来纳大学计算机系孵化出一个团队。主要为VR游戏和应用开发3D音频，产品名为Phonon。成立于2012。创始人anish Chandak博士说，他的想法在开始时非常简单:“帮助游戏设计师和开发者更容易地制作高质量的空间音频。”大部分收入来自声子的许可收入。他们去年获得了美国国家科学基金会的投资，这项研究也被应用到一些政府项目中。
大部分做VR游戏的工作室还没有开始大规模使用3D音频技术——主要原因是“穷”。既然“寒冬”来了，就更穷了。其实这些没有好内容的游戏工作室还是用环绕声技术；只有少数极客风格的工作室开始应用一些空间音频技术。3D音频技术还是一个很前沿的东西。
但是，3D音频对于整个VR行业来说，是一个基础的技术板块。
有了核心技术，才能等待应用层面的下一个突破点。DJI (DJI)的无人机就是一个例子。早在无人机成为商业模型之前，DJI的创意团队就已经在飞行控制的技术点上进行了长期的研究和努力。
如果VR值得每一个用户花一天的时间去使用，那么它必然已经足够成熟，可以在技术的各个方面进行“沉浸式体验”。
要拯救VR，先从3D音频开始。
资料片:虚拟现实简介
所谓虚拟现实，顾名思义，就是虚拟与现实的结合。理论上，虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机模拟系统。它利用计算机生成一个模拟环境，让用户沉浸在环境中。虚拟现实技术是利用现实生活中的数据，计算机技术产生的电子信号，结合各种输出设备，使之成为人们可以感受到的现象。这些现象可以是现实中的实物，也可以是我们肉眼看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接能看到的，而是用计算机技术模拟的现实世界，所以叫虚拟现实。
虚拟现实技术已经被越来越多的人所认可，用户可以在虚拟现实世界中体验到最真实的感受。其模拟环境的真实性与真实世界难以区分，让人有身临其境的感觉。同时，虚拟现实具有人类所有的感知功能，如听觉、视觉、触觉、味觉、嗅觉等感觉系统；最后，它拥有超级仿真系统，真正实现了人机交互，让人可以随意操作，在操作过程中得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特点使其受到很多人的喜爱。
；