找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

查看: 340|回复: 9

谷歌说明 了狗为什么歪脑壳 ,我们则实践了两款全景声工作站 ...

[复制链接]

该用户从未签到

1

主题

9

帖子

11

积分

LV.1

Rank: 1

积分
11
QQ
发表于 2016-6-5 21:16:07 | 显示全部楼层 |阅读模式
本文作者并非专业的音频技巧专家,调研和行文中不免会有不专业之处,接待批驳斧正。
Google一贯擅长科普,从CARdboard到Daydream,制订尺度者然也。
在此前的Google I/O 2016年夜会上,Google也专门开拓了一次“课程”来先容全景声的道理和Google的解决方式。并简略演示了代码实现的方式。
从道理上讲,全景声是经由过程模仿人在真实情况中接受声音旌旗灯号的方法实现的。真实情况中,声音是如许从一个声源传到人的耳中。

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

在这个进程中,人脑经由过程分辨声音达到两个耳朵时的强度差别,来分辨声源的地位。这个强度差别在音频技巧界的专业术语叫做“双耳声强差”。
在耳朵分辨“双耳声强差”的进程中,人或其他动物可能会经由过程摆动头部来增年夜“声强差”,以获取声源的正确地位。这就是为什么你可能经常看到狗狗做出这种动作

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

同时,人及其他动物的耳廓结构,也使得分辨双耳声强差的才能很是强。声音在进中听朵前,会由于耳廓的不规矩结构,使得来自分歧标的目的的声音发生更显明的声强差,从而使年夜脑进一步进步对声源定位的精准度
由此可见,真实情况中的声音现实上是阅历了“重重患难”才进进人耳,为我们所听到。这一进程尽管可以简略到用波的道理来一笔带过,但也使得人耳对于声音真实性的辨认变得极其刻薄。
在传统的音频解决计划中,我们曾阅历了单声道、双声道到多声道的成长过程,对应这一进程所发生的硬件则是2.1音箱、N.1音箱。PC时期早期,2.1声道音箱是每小我的小我台式机“标配丫头”。

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

在音箱时期和耳机时期,除非你进进影院,不然一般情形下可以或许经由过程音响装备听到的声音最多只能发生摆布前后的地位感,再加上一些场景模仿技巧,可以让你感到是在分歧的情况下听到了声音,好比会堂、下水道、洗手间等等这些常见的音效处置计划。
而VR范畴的全景声,无论是天生仍是播放,则完整不是多声道体系可以或许支持的。假如持续用声道来描写全景声,那么实现所需的“更多声道”是如许的——

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

传统音频技巧对于声音的处置完整无法应对VR内容的须要,3D音效技巧无法知足全景声的需求,是以催生了全景声的算法。
Google工程师们为这种算法设定了一个基本逻辑:假定“你”身边有一系列缭绕着“你”的“音响”,平均散布在“你”的四周,那么所谓的全景声,现实上可以经由过程设定声源与这些“音响”的地位,来盘算声音从对应地位达到“你”身边的时光,从而经由过程声音达到每个“音响”的时光差,来让“音响”在声音经由过程它们的时光点依次发声,从而模仿出“你”听到全景声的错觉。

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

当然了,这还仅仅是基础道理。Google工程师在这类算法原型上,又增添了对更多庞杂的模仿场景供给的解决计划,好比声音在传布进程中碰到墙还会反射等。

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

当然了,这种完整复制实际情形的反响算法,也会带来必定的困扰,好比酿成噪音。而实际情形中,你的耳朵实在没那么敏感,是以只须要保存在衰减阈之上的声音,往失落那些理论上已经衰减到无的“反响”。
Google工程师展现了Google在这方面算法的基础流程:

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

传统音频的工作流程
依据场景须要,经由过程拟音合成等手腕制造原素材,在传统影视中,画面是单一的,音频的工作只是镜头这一面场景所须要的声音,再依据场景中声音的地位,间隔和情况,来插进适合的后果器,做到画面与声音的和谐,年夜部门声音并不须要做出标的目的感。而对于画外声,基础都是靠想象,依据情节的须要,在画面还为浮现时,提进步行声音暗示,而这种设计的公道性,也是直接跟制造者的程度相干。
VR音频的工作流程
画面不再是单一的,而是全景,每一个角落和地位的画面都要用声音来浮现它,固然和传统音频合成一样,都须要先做出来素材,可是在VR影视中,这些素材都要进行标的目的的判定,每一个声音都要有他应当存在地位,如许的声音加倍真实,只要旁观者往动弹头部,都能寻找到每一个声音的起源。与传统影视比拟,声音在VR中变得加倍主要了,声音不再是集中在一路的“疙瘩”,由于听觉的真实性,也是晋升沉醉感的重要方法。
全景声效技巧在VR影视产业中的利用和在VR APP开辟中的利用,有什么差别?
VR影视中,全景声的特色:

  • 影视内容自己是线性播放的,在旁观一部片子或视频内容时,画面和声音内容跟着时光流逝都是线性输出的。即便你要回退重播,成果也仍然是线性的。
  • 在影视内容中,用户所处的具体地位并不由自身决议,而是由摄像机决议,影视内容中的全景声,只有角度的差别。因为今朝的VR影视内容还没有交互的存在,是以在某一个时光节点上的影视内容对应的声效都是断定的。
VR App(年夜多为游戏)中,全景声的特色:

  • 用户与App之间十分可能存在大批的交互。好比游戏剧情中,人物的走动,尽管受到游戏设计的一些限制,但在具体场景中,随机性很强。当人物在走动时,这个情况中假如自己存在多个音源,那么音源和人物所处地位之间就不仅只有角度的关系,还有间隔的关系,当人物接近音源时,声音还须要可以或许主动调年夜。
所以尽管全景声所表现出来的声效无论在哪种内容情势中,都具有

  • 接近真实场景
  • 音源角度随主视角变更而变更
的特色,但因为交互方法的存在,VR App中的全景声效须要相对庞杂的衬着技巧。
全景声音效技巧免费背后的逻辑
就在本文写作时代,产生了另一件事,就是Facebook完成了对Two Big Ears的收购。显然各至公司内部不乏交换,在Google I/O 2016之前,FB必定已经知道Google收购Thrive Audio之后都做了些什么。面临Google不要钱一样的免费给人用花钱买来的技巧,FB显然也坐不住了。Two Big Ears高调公布参加FB的同时,也声明将来的音效工作站(现实是一套软件)将免费应用。
音效技巧,从来就不是一套纯真的算法技巧,它不像开辟App那样,用分歧代码和分歧算法就能写出一样的成果。看看杜比就知道了,杜比经由过程向原始装备制作商( “OEM” )授权专利技巧天生年夜大都收进。OEM厂商重要包含花费娱乐( “CE” )产物出产商和软件供给商, 部门收进也来自向娱乐内容制造者, 分销商及展现商发卖产物和办事。
TBE所供给的制造全景声音效的产业流程是什么样的?

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

TBE所供给的3Dception Spatial Workstation实在是一套基于DAW(Digital Audio Workstation)的软件体系,而DAW是此前传统片子产业中常用的数字化音频处置软件。TBE供给的二者联合的解决计划,可以用于将分歧音源的音轨合玉成景声,并使之可以或许与全景视频画面适配。适配后的结果,可以直接将包括了音效的全景视频直接输出到用户终真个360°视频播放器中,也可以将合成的音效经由过程TBE专用的衬着技巧,输出给分歧平台的开辟东西。VR App顶用到的音效是动态合成的,而不像VR视频内容,直接与画面做了同步,是以在输出给App的进程中,须要针对App自己运行的须要进行特别的衬着。
世界范畴内的全景声技巧解决计划
今朝世界范畴内专注于全景声音效技巧的企业并未几。除了被Google收购的Thrive Audio和Facebook收购的Two Big Ears之外,就只剩下国内的时期拓灵。
此前我们做过期代拓灵的专访,不外那仅限于专访,并未深刻懂得全景声技巧的细节。
在Two Big Ears被收购的新闻传出后,我们突发奇想,想将这三家的技巧真刀真枪的拿出来对照一下。然而惋惜的是,我们并未找到今朝Google声称已经可以供给开辟的Spatial Sound SDK的下载,于是只能拿Two Big Ears和时期拓灵对照。
在专业人士的领导下,我们测验考试了基本的全景声天生。借助郝云的这首《在世》(不会告我侵权吧?),我们基于Two Big Ears的SDK和时期拓灵的SDK做了简略的测试,并录制了重要的测试进程。
在现实进程中,基于包括SDK的音频工作站对既有的声音(单音轨)做一个全景处置,进程并不算太庞杂,且两套软件都有各自的相位变更可视化后果。现实成果,各有好坏势,我们不做过多评价,可以参考录制的视频(留意,假如用手机播放,须要带耳机,即使是Hi-Fi手机的扬声器也并不支撑多声道音效)。
视频自己所录制出来的音效,并不是全景声,只是经由过程操纵工作站的相位选项,来演示全景声在与全景视频合成时分歧相位的把持发生的后果(在游戏中则是依据活动动态把持)
盼望这个简略而具体的实践,可以直不雅的让读者简略感触感染到全景声在VR场景或画面中,可能发生的全然分歧的后果。
现实上,现阶段全部行业对全景声的懂得和存眷度,还远远未到达传统影视行业中片子对音效的存眷高度。现阶段VR行业存眷的仍然起首是“画面”毕竟若何,而不是声音毕竟若何。就连Google都说,Spatial Sound是“VR’s Second Sense”(第二感知)。那么,在那些“寻求最佳体验”如许的目的下,看到的是VR画面,而听到简直实传统3D立体声,当我从面向吉他手转向钢琴师时,耳畔传来的吉他乐声却仍然像是吉他手就站在我眼前,那会是极致的体验吗?
或许当有一天用户心坎埋怨说“这个声音怎么这么假”的时辰,我们也没有机遇听到真正的称颂了吧。

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

谷歌解释了狗为什么歪脑袋,我们则实践了两款全景声工作站

本文系AR村原创文章,转载请注明出处。
—————————————————————————————
从VR到AR,行业资讯、产物测评、利用体验、深度点评,
让「AR村」告知你什么才是将来!
接待存眷微信大众,号极「AR村」(arcun.cn)。配合见证将来的到来!

该用户从未签到

0

主题

21

帖子

0

积分

LV.1

Rank: 1

积分
0
QQ
发表于 2016-10-12 22:29:20 | 显示全部楼层
增强现实希望发展越来越好

该用户从未签到

4

主题

29

帖子

36

积分

LV.1

Rank: 1

积分
36
QQ
发表于 2016-10-12 22:51:32 | 显示全部楼层
看帖怎么能不会呢??

该用户从未签到

0

主题

8

帖子

7

积分

LV.1

Rank: 1

积分
7
QQ
发表于 2016-10-18 18:59:10 | 显示全部楼层
嗯,很不错的样子!!

该用户从未签到

0

主题

56

帖子

48

积分

LV.1

Rank: 1

积分
48
QQ
发表于 2017-3-6 22:41:44 | 显示全部楼层
楼主辛苦了,帮楼主顶起来

该用户从未签到

0

主题

18

帖子

17

积分

LV.1

Rank: 1

积分
17
QQ
发表于 2017-3-18 22:07:38 | 显示全部楼层
增强现实,增强现实,增强现实。重要的事情说三遍

该用户从未签到

0

主题

24

帖子

0

积分

LV.1

Rank: 1

积分
0
发表于 2017-4-20 07:08:51 | 显示全部楼层
想了解下AR增强现实的相关内容来看看

该用户从未签到

3

主题

24

帖子

27

积分

LV.1

Rank: 1

积分
27
QQ
发表于 2017-10-14 13:49:04 | 显示全部楼层
楼主写的很不错,关于AR的知识受教了

该用户从未签到

0

主题

14

帖子

12

积分

LV.1

Rank: 1

积分
12
QQ
发表于 2017-10-14 17:54:09 | 显示全部楼层
竟然还有零回复,给我消失

该用户从未签到

1

主题

21

帖子

20

积分

LV.1

Rank: 1

积分
20
发表于 2018-11-14 02:05:24 | 显示全部楼层
楼主辛苦了。。回帖是一种美德
您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表