VR 音頻混音入門：什么是空間音頻、3D 音頻和全景聲？
發布日期：2019-07-16 瀏覽量：1571次
隨著虛擬現實不斷增長，360 視頻正在占領傳統媒體的分發渠道，而對于擬真音頻的需求也比以往任何時候都更加強烈。空間音頻的概念也許聽起來非常直觀，但任何擁有音頻背景的人在聽到這個詞的時候都會自然的停下來好好的思考一番。
接下來就是一來連串的網絡搜索，但大都會面臨大量的專業術語、物理原理、研究材料和軟件的選項。不過幸運的是，已經有很多人已經在 360 音頻領域開始了辛勤的耕耘，他們的工作方式更加容易理解并且能夠基于我們當前的制作環境就能夠完成。
3D 音頻里其實還分為很多方向，本教程主要針對后期制作當中的音頻處理，而非錄音。教程的制作環境基于 Pro Tools，本教程不會涵蓋 Unity 和 Unreal。事實上很多宿主軟件也開始重視 3D 音頻領域，所以你可以將本教程的概念用于其他宿主或者 Unity 和 Unreal 。
突破立體聲的概念
我被新手問到最多的問題，就是空間音頻和環繞聲有什么區別？在某種程度上說，空間音頻更像是對聲音進行“定位”—— 當你的眼鏡正視一個物體時，你的腦海中同時也能夠模擬出聲音的特定方向和位置。
近幾年來，混音工程師試圖用傳統立體聲和環繞聲的技術來達到空間音頻的深度?；旧蟻碚f，這可以通過通道振幅聲像來實現。在 5.1 環繞聲系統中，聽者可以對前方和近場水平方向的聲音進行定位。雖然這提供了比立體聲更多的信息量，但這并沒有提供重要的聲音垂直高度信息，同時聽者也會有很多不可控的局限性。
首先并不是所有人都會有環繞聲的行頭，就算是立體聲配置也是很難得的，也許很多人甚至連“甜蜜點”的體驗都沒有過。大聲場編排的概念也許會解決這些問題，到最后 VR 用戶也不需要這些復雜的前期準備了。
現在已經有一些技術針對媒體音箱進行 3D 音頻的應用，甚至藍牙立體聲音箱就能夠實現。雖然這項技術更多是應用在家庭影院而非 VR 用途，不過接下來一定會有更激動人心的技術出現。
在現實世界中，我們通過兩只耳朵來獲取聲音，也就是傳說中的雙聲道。3D 音頻的真實意義就是引導我們的雙耳通過一個單一的雙聲道聲源（或者可以說是耳機）來接收聲音的定位信息，包括所有的方向和距離。
對于 VR 來說，當驗收最后成品時，空間音頻必須是要能夠互動的 —— 聲源的位置隨著用戶的動作產生變化。這是通過渲染引擎實現，它在將聲源信息通過雙聲道的形式傳遞給耳機的同時，也在收集用戶的位置信息。
耳機不僅更適合用于 VR 應用場景，同時對于那些想要提升聽覺體驗的用戶也擁有巨大的優勢 —— 很多人手上都有一副耳機，無需再專門投入專用的設備。
通過一個復雜的“頭部相關傳輸函數”算法，即 HRTF，就可以通過立體聲源模擬出人耳接收聲音時的心理聲學現象。HRTF 包含了物體形狀、人耳及頭部的尺寸、聲音到達人耳的不同時間，還有人的耳廓、耳道、人的頭蓋骨、肩部等對聲波的折射、繞射和衍射。在現實世界中，我們就是這樣對聲音進行定位的。
目標聲源（Object）在聲像當中的移動
如果說出了電腦和宿主軟件意外，我們需要的東西就是一副耳機，那么我們要如何在音樂制作環境下創造出這種神似感官的超酷體驗？我們假設有個客戶提供了一個 360 相機拍攝的影像，他們需要你將聲音“空間化”。我們再假設你會得到錄音師的所有聲音素材，包括通過領夾式麥克風和 Ambisonic 全景麥克風錄制的素材。
即使你沒有聽過全景聲，很快你也會在現實中接觸到它。Ambisonic 全景聲可以追溯到 70 年代，這是一種多通道的空間音頻格式，可以說是專門用來模擬原始三維聲場效果的聲音系統。它與普通環繞聲最大的區別在于，除了水平環繞聲，Ambisonic 還增加了“高度”信息，也就是拾音位置或者聽眾上下的聲源。理解 Ambisonic 最直觀的方式就是了解心形麥克列陣的原理 —— 全景聲麥克風與立體聲麥克風技術有很多相似之處，只不過全景聲麥克風把雙面振膜列陣變成了四面體的心形陣列形式，增加了另外的高度和深度通道。
既然我們都有了如此牛逼的 3D 全景聲錄音技術，為什么我們還需要領夾式麥克風呢？出了一般混音工程的考量，將近場麥克風聲源與遠距離的麥克風聲源相結合能夠創造出更豐富的頻率內容。
就聲音空間化來說，全景麥克風已經可以做到很多事情，但要創造細致的空間信息還是不夠的。想象一下如果你把一個聲源放置在靠近麥克風的位置，比如麥克風的盲點，就會產生很大的頻率反饋變化，導致聲像不明確。而在現實世界中，物體的移動并不會人耳產生頻率變化。這明顯會影響到我們接受聲音位置的準確性，尤其是麥克風接受的信號增多，或是突然有其他聲源的加入。
任何直接信號和單聲道錄音都可以在 360 視頻和沉浸式媒體當中代表一個虛擬組件，它們可以按照屏幕中影像的位置進行放置。這些聲音并不一定要真實錄制，可以來自音色庫或者是你為影視內容專門設計的聲音素材。
基于 Object 的聲像處理基于空間音頻的聲像處理之上，只不過 Object 是在空間范圍內進行移動的，實際上它是通過聲源在雙聲道中進行實時渲染來實現，同時不會對音質造成任何影響。
接下來就是一來連串的網絡搜索，但大都會面臨大量的專業術語、物理原理、研究材料和軟件的選項。不過幸運的是，已經有很多人已經在 360 音頻領域開始了辛勤的耕耘，他們的工作方式更加容易理解并且能夠基于我們當前的制作環境就能夠完成。
3D 音頻里其實還分為很多方向，本教程主要針對后期制作當中的音頻處理，而非錄音。教程的制作環境基于 Pro Tools，本教程不會涵蓋 Unity 和 Unreal。事實上很多宿主軟件也開始重視 3D 音頻領域，所以你可以將本教程的概念用于其他宿主或者 Unity 和 Unreal 。
突破立體聲的概念
我被新手問到最多的問題，就是空間音頻和環繞聲有什么區別？在某種程度上說，空間音頻更像是對聲音進行“定位”—— 當你的眼鏡正視一個物體時，你的腦海中同時也能夠模擬出聲音的特定方向和位置。
近幾年來，混音工程師試圖用傳統立體聲和環繞聲的技術來達到空間音頻的深度?；旧蟻碚f，這可以通過通道振幅聲像來實現。在 5.1 環繞聲系統中，聽者可以對前方和近場水平方向的聲音進行定位。雖然這提供了比立體聲更多的信息量，但這并沒有提供重要的聲音垂直高度信息，同時聽者也會有很多不可控的局限性。
首先并不是所有人都會有環繞聲的行頭，就算是立體聲配置也是很難得的，也許很多人甚至連“甜蜜點”的體驗都沒有過。大聲場編排的概念也許會解決這些問題，到最后 VR 用戶也不需要這些復雜的前期準備了。
現在已經有一些技術針對媒體音箱進行 3D 音頻的應用，甚至藍牙立體聲音箱就能夠實現。雖然這項技術更多是應用在家庭影院而非 VR 用途，不過接下來一定會有更激動人心的技術出現。
在現實世界中，我們通過兩只耳朵來獲取聲音，也就是傳說中的雙聲道。3D 音頻的真實意義就是引導我們的雙耳通過一個單一的雙聲道聲源（或者可以說是耳機）來接收聲音的定位信息，包括所有的方向和距離。
對于 VR 來說，當驗收最后成品時，空間音頻必須是要能夠互動的 —— 聲源的位置隨著用戶的動作產生變化。這是通過渲染引擎實現，它在將聲源信息通過雙聲道的形式傳遞給耳機的同時，也在收集用戶的位置信息。
耳機不僅更適合用于 VR 應用場景，同時對于那些想要提升聽覺體驗的用戶也擁有巨大的優勢 —— 很多人手上都有一副耳機，無需再專門投入專用的設備。
通過一個復雜的“頭部相關傳輸函數”算法，即 HRTF，就可以通過立體聲源模擬出人耳接收聲音時的心理聲學現象。HRTF 包含了物體形狀、人耳及頭部的尺寸、聲音到達人耳的不同時間，還有人的耳廓、耳道、人的頭蓋骨、肩部等對聲波的折射、繞射和衍射。在現實世界中，我們就是這樣對聲音進行定位的。
目標聲源（Object）在聲像當中的移動
如果說出了電腦和宿主軟件意外，我們需要的東西就是一副耳機，那么我們要如何在音樂制作環境下創造出這種神似感官的超酷體驗？我們假設有個客戶提供了一個 360 相機拍攝的影像，他們需要你將聲音“空間化”。我們再假設你會得到錄音師的所有聲音素材，包括通過領夾式麥克風和 Ambisonic 全景麥克風錄制的素材。
即使你沒有聽過全景聲，很快你也會在現實中接觸到它。Ambisonic 全景聲可以追溯到 70 年代，這是一種多通道的空間音頻格式，可以說是專門用來模擬原始三維聲場效果的聲音系統。它與普通環繞聲最大的區別在于，除了水平環繞聲，Ambisonic 還增加了“高度”信息，也就是拾音位置或者聽眾上下的聲源。理解 Ambisonic 最直觀的方式就是了解心形麥克列陣的原理 —— 全景聲麥克風與立體聲麥克風技術有很多相似之處，只不過全景聲麥克風把雙面振膜列陣變成了四面體的心形陣列形式，增加了另外的高度和深度通道。
既然我們都有了如此牛逼的 3D 全景聲錄音技術，為什么我們還需要領夾式麥克風呢？出了一般混音工程的考量，將近場麥克風聲源與遠距離的麥克風聲源相結合能夠創造出更豐富的頻率內容。
就聲音空間化來說，全景麥克風已經可以做到很多事情，但要創造細致的空間信息還是不夠的。想象一下如果你把一個聲源放置在靠近麥克風的位置，比如麥克風的盲點，就會產生很大的頻率反饋變化，導致聲像不明確。而在現實世界中，物體的移動并不會人耳產生頻率變化。這明顯會影響到我們接受聲音位置的準確性，尤其是麥克風接受的信號增多，或是突然有其他聲源的加入。
任何直接信號和單聲道錄音都可以在 360 視頻和沉浸式媒體當中代表一個虛擬組件，它們可以按照屏幕中影像的位置進行放置。這些聲音并不一定要真實錄制，可以來自音色庫或者是你為影視內容專門設計的聲音素材。
基于 Object 的聲像處理基于空間音頻的聲像處理之上，只不過 Object 是在空間范圍內進行移動的，實際上它是通過聲源在雙聲道中進行實時渲染來實現，同時不會對音質造成任何影響。
掃描二維碼分享到微信
下載二維碼