從360度視頻到Oculus，通過Facebook 360音頻編碼與渲染都可實(shí)現(xiàn)身臨其境的感受，并且使用的聲道更少，小于0.5毫秒的渲染延遲。Facebook技術(shù)團(tuán)隊(duì)撰文對此進(jìn)行了解讀，LiveVideoStack對文章進(jìn)行了編譯。

文 / Hans Fugal, Varun Nair

譯 / 郭俊翔

審校 / 包研

? 全新的360度空間音頻編碼和渲染技術(shù)，使得空間化的音頻在從編輯者到用戶的整個(gè)處理過程中，都能保持高質(zhì)量。這一技術(shù)有望首次實(shí)現(xiàn)大規(guī)模商用。

?我們支持一種被稱為“hybrid higher-order ambisonics（混合高階立體聲高保真混響）”的技術(shù)，使得空間化的聲音在整個(gè)處理過程中依舊能保持很高的質(zhì)量。這是一個(gè)具有渲染與優(yōu)化功能的8聲道音頻處理系統(tǒng)，可借助更少的聲道實(shí)現(xiàn)更高的立體聲質(zhì)量，最終達(dá)到節(jié)省帶寬的目的。

? 我們的音頻系統(tǒng)同時(shí)支持空間化音頻和頭部定向音頻。在空間化音頻中，當(dāng)聽到來自某種場景的聲音時(shí)，系統(tǒng)會根據(jù)用戶在360度全景視頻的體驗(yàn)中，頭部會轉(zhuǎn)向不同的方向作出不同反應(yīng)。通過頭部定向音頻，人物對白和背景音樂等音頻在方位上會保持靜止。這是我們在業(yè)界第一次實(shí)現(xiàn)同時(shí)渲染混合高階立體聲和頭部定向音頻。

? 空間音頻渲染系統(tǒng)能夠?yàn)殚_發(fā)者帶來延遲小于半毫秒的實(shí)時(shí)渲染體驗(yàn)。

? FB360編碼器工具可以將處理后的音頻傳輸至多個(gè)平臺。用于音頻渲染的SDK可集成在Facebook和Oculus Video之中，保證了從制作到發(fā)布的體驗(yàn)統(tǒng)一性。這樣可以節(jié)省工作時(shí)間，并確保開發(fā)者在制作中聽到的內(nèi)容和最終發(fā)布的內(nèi)容一致。

Facebook上的360度全景視頻體驗(yàn)令人驚嘆，給人帶來身臨其境的非凡體驗(yàn)。但如果想獲得更加完美的視聽體驗(yàn)，也可能需要360度空間音頻。當(dāng)用戶使用360度空間音頻時(shí)，每種聲音聽起來像是從空間中對應(yīng)的方位發(fā)出，就像我們在現(xiàn)實(shí)生活環(huán)境中感知聲音一樣。在攝像機(jī)上方飛行的直升機(jī)轟鳴聽起來就像是在用戶的上方，在攝像機(jī)前方的演員對白聽起來就像是在用戶的前面。當(dāng)用戶環(huán)視整個(gè)視頻畫面時(shí)，系統(tǒng)需要根據(jù)用戶頭部方向的變化作出反應(yīng)并將每種聲音重新定位到畫面上的相應(yīng)位置。無論是通過手機(jī)，瀏覽器還是VR頭戴顯示器，當(dāng)用戶每次觀看360度全景視頻時(shí)，音頻都需要被重新計(jì)算并更新方位以完美還原用戶真實(shí)的空間感受。

簡而言之，為了實(shí)現(xiàn)這種效果，我們必須開發(fā)一種即使不依賴放置了揚(yáng)聲器的大房間也能為用戶帶來超越影院沉浸感的音頻處理系統(tǒng)。在等待我們解決的一系列問題中，首要的是必須架構(gòu)能夠反映真實(shí)世界環(huán)境的音頻環(huán)境，并通過耳機(jī)以更高的聲音解析度呈現(xiàn)給用戶，同時(shí)不斷追蹤用戶的視覺方位。通過頭戴式耳機(jī)聽到的常規(guī)立體聲可能會幫助用戶了解聲音是在自己的左耳還是右耳播放，但它不會幫助用戶感知環(huán)境中聲音的深度或高度，也無法準(zhǔn)確感知聲音是源于自己的前方還是在后方。

創(chuàng)造這種空間化聽覺體驗(yàn)并將其大規(guī)模商用化需要許多新技術(shù)。盡管空間音頻研究正在學(xué)術(shù)領(lǐng)域如火如荼地進(jìn)行，但到目前為止，還沒有出現(xiàn)可靠的端到端的傳輸方式能將這種技術(shù)大規(guī)模地推向消費(fèi)市場。最近我們推出了新的用戶工具和渲染方法，這使得我們首次有機(jī)會為大規(guī)模的消費(fèi)市場提供高質(zhì)量的空間音頻技術(shù)。這些渲染技術(shù)被應(yīng)用于一個(gè)名為“空間音頻工作站”的新型強(qiáng)大工作平臺，使創(chuàng)作者能夠在360度全景視頻中添加空間化音頻。該渲染系統(tǒng)也適用于Facebook應(yīng)用程序，這樣用戶便可以通過Facebook聽到創(chuàng)作者上傳的同樣生動(dòng)的全景音頻。

這兩項(xiàng)改進(jìn)都能幫助視頻制作人在多種設(shè)備與平臺上重塑現(xiàn)實(shí)。我們在這篇文章中，將探討我們已經(jīng)探索到的一些技術(shù)細(xì)節(jié)。不過先讓我們了解一下空間音頻的發(fā)展歷史與背景。

初識空間音頻

由于頭相關(guān)傳輸函數(shù)（HRTFs）的存在，通過耳機(jī)使用戶聽到具有逼真空間感的聲音是有可能實(shí)現(xiàn)的。 HRTFs幫助開發(fā)者構(gòu)建可應(yīng)用于音頻流的音頻濾波器，使得聲音聽起來像是位于其特定的正確位置 ——在聽者之上、之后或旁邊等等。 HRTFs通常適用于具有人類主體模型或人體頭部和軀干模型的消聲室中，但通過其他方法也可以達(dá)到這種效果。

如果想讓用戶在觀看全景視頻時(shí)也聽到全景聲，開發(fā)者必須將聲音放在正確的位置。換句話說，他們必須設(shè)計(jì)并傳輸空間音頻。有很多方法可以實(shí)現(xiàn)這一點(diǎn)。其中一種方法是基于對象的空間音頻，場景中的每個(gè)對象（例如，直升機(jī)或演員）單獨(dú)發(fā)出的聲音會被保存為具有位置元數(shù)據(jù)的離散流。大多數(shù)游戲的聲音環(huán)境架構(gòu)使用的便是這種基于對象的空間音頻渲染系統(tǒng)，因?yàn)槊總€(gè)音頻流的位置可根據(jù)玩家移動(dòng)的位置而隨時(shí)變化 。

?

Ambisonics技術(shù)是另一種能夠展現(xiàn)整個(gè)聲場的空間音頻方法。我們可以將其視為音頻的全景照片。多聲道音頻流可輕松用于展現(xiàn)整個(gè)聲場，這使得與基于對象的空間音頻處理技術(shù)相比具有更容易進(jìn)行轉(zhuǎn)碼和流式傳輸。一個(gè) Ambisonic的流可以通過各種方案來呈現(xiàn)。這些方案最大的區(qū)別在于the order of the ambisonic sound field。一階聲場會產(chǎn)生四個(gè)聲道數(shù)據(jù)，而三階聲場則會產(chǎn)生16個(gè)聲道數(shù)據(jù)。通常，較高的聲階意味著更好的音質(zhì)和更準(zhǔn)確的空間定位。我們可以將低階的ambisonic sound field理解為模糊的全景照片。

工作流程與工具

Spatial Workstation空間音頻工作站是我們開發(fā)的一套音頻處理工具，可幫助專業(yè)音效設(shè)計(jì)師設(shè)計(jì)能夠用于360度全景視頻和線性VR體驗(yàn)的空間音頻。該工作站與現(xiàn)有音頻工作站相比具有更強(qiáng)大的音頻處理能力，開發(fā)者借此可以根據(jù)360度全景視頻在三維空間中定位聲音，同時(shí)通過VR耳機(jī)上的聲音輸出端對空間音頻進(jìn)行預(yù)聽。這開創(chuàng)了一套貫穿內(nèi)容創(chuàng)建到發(fā)布整個(gè)過程的高質(zhì)量“端到端”工作流程。

?

傳統(tǒng)的立體聲音頻只包括兩個(gè)音頻通道。我們使用Spatial Workstation開發(fā)的系統(tǒng)可實(shí)現(xiàn)八個(gè)音頻通道的輸出。因?yàn)槁晥鲆驯粌?yōu)化調(diào)整以適應(yīng)VR和360全景視頻，我們將此稱為混合高階ambisonic系統(tǒng)。這套系統(tǒng)被整合（tuned）到我們的空間音頻渲染器中，這樣能最大限度地提高聲音的質(zhì)量和位置精度，同時(shí)把對性能的要求和延遲時(shí)間降至最低。此外，Spatial Workstation還可以輸出兩個(gè)頭部定向音頻聲道。此時(shí)輸出的，是一個(gè)不會對頭部進(jìn)行追蹤并以旋轉(zhuǎn)來作出響應(yīng)的立體聲流，此時(shí)聲音將保持被“鎖定”到頭部周圍某個(gè)方位的狀態(tài)。大多數(shù)360度全景體驗(yàn)使用的是混合的空間化音頻和頭部定向音頻，空間化音頻可用于在360度全景內(nèi)進(jìn)行的動(dòng)作，而頭部定向音頻可用于旁白或背景音樂。

SPATIALIZED / HEAD-LOCKED

非凡的渲染效果

我們的空間音頻渲染器凝萃了我們這幾年開發(fā)的一系列技術(shù)，可以將空間音頻輕松擴(kuò)展到廣大不同類型和配置的設(shè)備中，同時(shí)保持最佳質(zhì)量。渲染器使用參數(shù)化和表示HRTFs的方式，可以衡量HRTFs的各個(gè)組成部分來決定在渲染時(shí)是側(cè)重速度還是質(zhì)量，或在兩者之中找到一個(gè)最佳的均衡點(diǎn)。除此之外，我們的渲染器音頻延遲小于半毫秒，比大多數(shù)渲染器低一個(gè)數(shù)量級，這使得它非常適合用于優(yōu)化全景音視頻的實(shí)時(shí)體驗(yàn)，例如帶頭部追蹤的全景視頻。

?

這種靈活性有利于全景音視頻在一系列臺式計(jì)算機(jī)，移動(dòng)設(shè)備和瀏覽器等載體上的傳播。我們的渲染器被調(diào)整優(yōu)化，能為不同平臺的用戶帶來協(xié)調(diào)統(tǒng)一的工作體驗(yàn)，并且在這些不同的平臺上都能很好地工作。對于創(chuàng)建高質(zhì)量的空間音頻而言，這種一致性非常重要。由于對運(yùn)行性能有不同的要求，音頻可能在不同平臺或設(shè)備上呈現(xiàn)出不同的效果，這樣對于整個(gè)生態(tài)而言顯然是不利的。我們希望在如Facebook這樣的平臺的大規(guī)模使用下確保全景音視頻在各種常用設(shè)備和生態(tài)中都能一致保持優(yōu)秀的質(zhì)量。

跨平臺高效工作

渲染器是Audio360音頻引擎的一部分，它可以將混合高階ambisonic和頭部定向音頻流空間化。音頻引擎是用C ++編寫的，這為每個(gè)平臺提供了優(yōu)化的矢量指令。它非常輕量，可通過多線程和Lock-Free system進(jìn)行列隊(duì)（queueing）與空間化（spatialization）工作并混合（mixing）。它還能直接與每個(gè)平臺上的音頻系統(tǒng)（Android上的openSL，iOS / macOS上的CoreAudio，Windows上的WASAPI）進(jìn)行交流協(xié)作，以最大限度地減少輸出延遲并盡可能地提高處理效率。這種輕量化設(shè)計(jì)不僅可以讓開發(fā)者時(shí)刻保持高效工作，還能通過保持二進(jìn)制大小（binary size small）來減少應(yīng)用程序的臃腫。音頻引擎中二進(jìn)制文件會被編譯為大約100千字節(jié)。

?

對于Web，音頻引擎使用Emscripten編譯為asm.js。這有助于我們在所有平臺上進(jìn)行維護(hù)、優(yōu)化并使用相同的代碼庫。該代碼只需很少修改就能在瀏覽器中正常工作。渲染器的靈活性和高速性使我們能夠在各種瀏覽器中使用相同的技術(shù)來保證音頻質(zhì)量。這種情況下的音頻引擎被用作WebAudio中的定制處理器節(jié)點(diǎn)，其中的音頻流會從Facebook視頻播放器排列至音頻引擎中，同時(shí)來自音頻引擎的空間化音頻被傳遞到WebAudio并通過瀏覽器回放。與原生C ++實(shí)現(xiàn)相比，JS版本只能在2倍慢速或4倍慢速下運(yùn)行，這對于實(shí)時(shí)處理而言還是足夠的。

?

隨著電子設(shè)備和瀏覽器的處理速度一年年變得更快，各種設(shè)備和瀏覽器的瀏覽速度都會大幅進(jìn)化，渲染器和音頻引擎的靈活性和跨平臺特性使我們能夠隨之不斷提升聲音的質(zhì)量。

從編碼到客戶端

空間音頻編碼和其文件格式的世界正處于迅速發(fā)展不斷變革的狀態(tài)。我們希望盡可能方便地將使用Spatial Workstation制作的內(nèi)容編碼并上傳到Facebook，以便在人們能在所用的所有設(shè)備上觀看和收聽。Spatial Workstation編碼器能準(zhǔn)備好8聲道空間音頻和立體聲頭部定向音頻，與360度全景視頻一起打包至一個(gè)文件并上傳到Facebook。

編碼器的選取優(yōu)化

在尋找可行的文件格式方面我們遇到了一些挑戰(zhàn)。主要面臨幾個(gè)約束條件，其中的一些可以先放一放，但迫切需要解決的是盡早提供一種合適的編碼器。主要的限制因素是將視頻轉(zhuǎn)碼成Facebook的原生視頻格式：H.264編碼的MP4格式視頻時(shí)盡可能地減少整個(gè)過程中聲音質(zhì)量的損失，這意味著存在以下實(shí)際限制：

?

?MP4中的AAC支持8個(gè)頻道，但不支持10個(gè)頻道。

?AAC編碼器將8聲道音頻看作是7.1環(huán)繞聲格式，它采用積極的低通濾波器和其他技術(shù)來壓縮LFE聲道。這不符合我們致力于呈現(xiàn)的空間音頻。

?MP4元數(shù)據(jù)，是可擴(kuò)展的，但會繁瑣地利用工具，如ffmpeg或MP4Box工作。

?

我們選擇使用MP4文件中包含三條音軌的頻道進(jìn)行配置。前兩個(gè)是沒有LFE的四聲道音軌，共有八個(gè)非LFE聲道。第三首曲目是立體聲頭部定向音頻。我們以高比特率進(jìn)行編碼，以最大限度地減少從WAV轉(zhuǎn)換到AAC時(shí)的質(zhì)量損失，因?yàn)檫@些音軌將在服務(wù)器上再次進(jìn)行轉(zhuǎn)碼以準(zhǔn)備通過客戶端傳送。

?

在Facebook，我們擁有核心工程價(jià)值（core engineering valve）以實(shí)現(xiàn)快速的技術(shù)革新。我們認(rèn)為，隨著用來編輯音頻的工具和相應(yīng)功能的不斷更新，我們沒能及時(shí)考慮清楚可能需要傳達(dá)的所有信息。出于這個(gè)原因，我們需要一個(gè)前向擴(kuò)展（forward-extensible）且易于使用的元數(shù)據(jù)解決方案。定義我們自己的MP4盒子類型感覺很脆弱，所以我們決定將元數(shù)據(jù)放入一個(gè)位于元框中的xml框中。 XML可以遵循一種能按照開發(fā)者的需求快速進(jìn)化的模式。 MP4Box工具可用于從MP4文件中讀取和寫入此元數(shù)據(jù)。我們?yōu)槊總€(gè)音軌（在trak框下）存儲元數(shù)據(jù)，為該音軌定義聲道布局。然后，我們還在文件級（在moov框下）編寫全局元數(shù)據(jù)。

?

空間工作站編碼器也會將視頻作為輸入的部分。該視頻被整合到生成的文件中，無需轉(zhuǎn)碼，并將寫入適當(dāng)?shù)囊曨l空間元數(shù)據(jù)，以便在上傳到Facebook時(shí)服務(wù)器將其作為360度全景視頻進(jìn)行處理。

?

YouTube目前需要四個(gè)頻道來支持一階立體聲效果。我們同樣支持這種格式的視頻。

高效便捷的轉(zhuǎn)碼操作

一旦開發(fā)者上傳了具有360度全景視野和360度空間聲音的視頻，這些視頻就已經(jīng)準(zhǔn)備好推送至各種設(shè)備的客戶端。音頻以多種格式進(jìn)行類似的處理。我們提取音頻元數(shù)據(jù)（無論是YouTube ambiX還是Facebook 360格式）以確定音軌和頻道一一映射，然后將其轉(zhuǎn)制為各種需要的格式。與其他的所有視頻一樣，有時(shí)為了便于比較，我們會使用多個(gè)編碼器設(shè)置進(jìn)行轉(zhuǎn)碼，來獲得最佳的完整體驗(yàn)；我們還準(zhǔn)備了與所有傳統(tǒng)客戶端兼容的立體聲雙耳渲染技術(shù)，并在出現(xiàn)任何問題時(shí)將其作為備選方案。

?

音頻與視頻可以分開處理，并通過使用自適應(yīng)流媒體協(xié)議合并傳送給客戶端。

向客戶交付作品

不同的客戶端具有不同的功能并支持不同的視頻容器/編解碼器格式。我們不能強(qiáng)制所有設(shè)備都同時(shí)支持一種格式，因此我們?yōu)閕OS，Android和網(wǎng)絡(luò)瀏覽器準(zhǔn)備了不同的格式。這令用戶可以跨平臺地在這些設(shè)備上控制視頻播放器，根據(jù)不同需求實(shí)現(xiàn)特殊行為，但我們更喜歡經(jīng)過充分測試并且不需要花費(fèi)額外時(shí)間去執(zhí)行的現(xiàn)有代碼。出于這個(gè)原因，在iOS上我們更喜歡把MP4格式文件作為視頻載體，在Android和Web瀏覽器上我們更喜歡使用WebM。在iOS和Android上，與單聲道或立體聲音軌不同，解碼10聲道AAC音頻不直接受本機(jī)支持或單純依賴硬件加速。上述這些有關(guān)AAC以及8聲道或10聲道音頻的問題，使我們發(fā)現(xiàn)了特別的編解碼器——Opus正在被其他人用于空間音頻，利用Opus編解碼器可實(shí)現(xiàn)更好的壓縮。它是一款先進(jìn)的開源編解碼器，它的軟件解碼速度比AAC更快。這使Opus自然而然成為我們的最佳選擇，特別是對于WebM這種視頻格式。大多數(shù)編碼器或解碼器目前不支持MP4下的Opus。但是，這里有一份實(shí)現(xiàn)MP4下的Opus的擬定草案，并且我們正在進(jìn)行一項(xiàng)工作來支持ffmpeg。

當(dāng)我們將上傳的文件（“4 + 4 + 2”）中的三音軌格式轉(zhuǎn)換為單個(gè)10聲道Opus音軌時(shí)遇到了一些挑戰(zhàn)。與AAC一樣，允許的信道映射和LFE信道也是一個(gè)問題。然而，Opus允許未定義的頻道映射族（255族），意味著這些頻道并不是已知的布局。這項(xiàng)工作已經(jīng)足夠完善了，因?yàn)槲覀兛刂屏司幋a和解碼，并且我們可以確保兩端的布局具有相同的理解相同。我們在流動(dòng)的清單文件中傳輸通道布局信息。未來，隨著Opus中的空間音頻技術(shù)的成熟，可能會出現(xiàn)一些特定的能實(shí)現(xiàn)在大幅減小文件體積的同時(shí)顯著提升音頻質(zhì)量的通道映射和增強(qiáng)編碼技術(shù)。這樣，我們的客戶將能以最小或無需更改的方式對空間音頻其進(jìn)行解碼。

未來的發(fā)展方向

我們處于一個(gè)不斷拓展和進(jìn)化的空間音頻先進(jìn)領(lǐng)域 ——正在改進(jìn)優(yōu)化非空間視頻和音頻所采用的格式。我們所做的一切，開創(chuàng)了全新的視聽體驗(yàn)并將其變成現(xiàn)實(shí)。但還有很多的事情需要去做：上下堆疊組件、 從工作站到視頻文件格式等方面都需要進(jìn)行改進(jìn)。目前，我們正在研發(fā)可以將所有音頻存儲在一個(gè)音軌中進(jìn)行上載的文件格式，并有可能實(shí)現(xiàn)無損編碼。同時(shí)我們也對Opus中改善空間音頻壓縮的項(xiàng)目十分感興趣。我們期望探索自適應(yīng)比特率和自適應(yīng)信道布局技術(shù)，以改善那些受帶寬所限的用戶、或是擁有足夠多的帶寬并期待獲得更高質(zhì)量內(nèi)容的用戶的使用體驗(yàn)。這是一個(gè)令人興奮的領(lǐng)域，我們期待為整個(gè)音視頻生態(tài)作出更多卓越貢獻(xiàn)。

LiveVideoStack Meet | 上海

多媒體開發(fā)新趨勢

2018年初的視音頻技術(shù)生態(tài)并不平靜，Codec的爭奪進(jìn)入群雄逐鹿的時(shí)代; WebRTC 1.0版定稿在瀏覽器中，移動(dòng)端乃至IoT上的多媒體通信; AI，區(qū)塊鏈技術(shù)的發(fā)展，正在與多媒體開發(fā)發(fā)生在化學(xué)反應(yīng)，將成為推動(dòng)生態(tài)發(fā)展的新力量。

2018年，LiveVideoStack將通過“LiveVideoStack Meet：多媒體開發(fā)新趨勢”系列沙龍，展現(xiàn)新技術(shù)在音視頻領(lǐng)域的探索與實(shí)踐，以及新興應(yīng)用場景和傳統(tǒng)行業(yè)的最新最佳實(shí)踐。

講師與話題：

?吳威麒：觸寶科技音頻技術(shù)專家 ?

《實(shí)時(shí)語音通信的音頻后處理技術(shù)》

?曾小偉：蘇寧云商IT總部技術(shù)副總監(jiān) ?

《如何使用機(jī)器學(xué)習(xí)算法優(yōu)化分發(fā)鏈路》

?沈軻軼：騰訊天天P圖iOS開發(fā)組長 ?

《iOS實(shí)時(shí)相機(jī)的GPU實(shí)踐》

?盛驍杰：優(yōu)酷VR技術(shù)專家 ?

《超高清VR直播技術(shù)的演進(jìn)與挑戰(zhàn)》

?崔文秀：北京三體云聯(lián)科技有限公司總監(jiān)

《實(shí)時(shí)音視頻技術(shù)賦能傳統(tǒng)行業(yè)》

?蔡銳濤：相芯科技圖形引擎負(fù)責(zé)人 ?

《Animoji動(dòng)態(tài)表情的技術(shù)實(shí)現(xiàn)》

點(diǎn)擊 [閱讀原文] 了解相關(guān)活動(dòng)信息，快來報(bào)名吧!

總結(jié)

以上是生活随笔為你收集整理的Facebook 360度音频编码与渲染的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。