我們都知道，理想的VR體驗不只需要沉浸、清晰的視覺效果，還需要模擬逼真的體感環境，而具有空間感的3D音訊也同樣重要。在VR中常用到兩種音訊，即Object Based Audio和Ambisonic。
其中，Ambisonic可應用於3DoF全景VR影片。指的是一種高保真的立體聲像複製技術，特點是將聲源貼在360°全景影片上，又稱為full-sphere環繞音訊。而Object-based音訊則是一種將聲源與位置資訊結合的技術，原理是在空間中特定位置，放置支援實時渲染的聲源，為體驗者提供具有空間感的聲音效果。
索尼表示：隨著音訊技術發展，多聲道音訊格式已經在電影、遊戲、音樂等領域普遍使用。而在近年來，通常用於影視、動畫後期的Object-based音訊技術也開始應用於6DoF AR/VR應用。
近年來，索尼不斷在探索360°沉浸式音訊技術，比如在CES 2019年展示的360 Reality Audio系統，特點是可為高畫質音樂加入空間維度資訊，營造“演唱會級”臨場感。而近期，索尼公佈了最新的空間音訊研究：360 VME，進一步向大家介紹這項技術的更多細節。
據青亭網瞭解，VME全稱為虛擬混音環境，其特點是可以在耳機中，精準重現混音工作室的聲音環境。而360 VME是一種空間聲音技術，可模擬300人規模混音工作室的聲音環境，其準確性足夠高，可滿足一些專業場景的需求。作為空間音訊方案，360 VME的關鍵在於結合了個性化的HRTF演算法，因此可還原體驗感足夠逼真的3D聲場。
空間音訊技術再現混音環境
在此基礎上，空間音訊技術可以重現完整的聲場，索尼認為，未來市場對精準空間音訊技術的需求將增長。因為，空間音訊不僅有助於提升沉浸感，還能為聲音內容創作者提供全新的創作環境。
作為空間音訊技術，360 VME是一種聲音再現技術，目前索尼影視娛樂公司（SPE）已經在電影製作中，將該技術投入實際使用。據瞭解，此前SPE一直受到混音工作室數量少的限制，因此希望找到一種不受地理位置限制的，高質量混音工作室模擬方案。使用混音工作室模擬方案，電影后期可以隨時隨地播放和製作電影音效。
後來，SPE瞭解到索尼研發中心正在開發一種空間音訊技術，於是便開始合作，探索空間音訊在專業領域的應用。索尼表示：用360 VME技術渲染的空間音訊質量足以滿足專業音訊創作的需求，未來還可以應用於電影之外的場景，最佳化各種音訊內容創作的流程。
HRTF演算法個性化
通常，耳機中渲染的3D聲場是透過分別計算左右耳音訊來實現的。相比之下，在耳機中執行360 VME技術同樣需要分別處理雙耳音訊，區別在於，360 VME將每個音訊體驗者的HRTF（Head-Related Transfer Function）資訊與聲源結合。
據瞭解，HRTF是一種與頭部位置相關的傳輸函式，也是一種聲學模型，涉及空間引數（與體驗者頭部為中心的球形相對座標系）、聲音訊率、人體學引數等等。理論上講，使用基於個人的全空間HRTF資料，將可以渲染出完整的聲場，包括人移動到任何位置的聲音效果，與真實的聲音足夠接近。
我們知道，人眼透過視差變化來測量物體的距離，而人耳則是透過聲音入耳的時間和音量差異來定位聲源。有趣的是，即使不同的人聆聽同一聲源，他們的實際感受也會受到耳朵形狀等因素影響。與此同時，HRTF可以記錄聲音從聲源到雙耳的變化特性，並利用這些資料來還原逼真的聲場，在虛擬空間中固定位置相關的聲源。於是，你便可以在耳機中感受媲美混音室的3D音效。
為了給使用者制定個性化的HRTF函式，索尼還開發了HRTF資料測量、訊號處理、耳機音訊渲染等完整的音訊處理流程。
渲染空間音訊的挑戰
體驗過3D音訊的人可能深有體會，當模擬聲源在你左右兩側時，你更容易分辨它們的位置和距離。而如果聲源放在你的前方，則難以分辨距離和位置。這是因為聲源在左右兩側移動時，聲音進入人耳的時間和音量將產生明顯差異。而聲源在你前方移動時，聲音差別不大，而你耳朵形狀對聲音的影響反而更大。
因此，為了進一步提升聲場還原的準確性，索尼決定在處理雙耳音訊時，針對不同的使用者來個性化HRTF資訊。
此外，為了在實際應用場景實現個性化的HRTF演算法，索尼與SPE合作研發了各種可能影響360 VME效能的技術和裝置，包括麥克風、測量工具、訊號處理技術（將測量資料轉化為可回放的訊號）。
此外，還與索尼的耳機設計工程師合作定製了空間音訊耳機，特點是可以穩定渲染雙耳音訊。為了提升左右耳音訊的穩定性，這款耳機採用了一種機械結構，來固定耳機的位置。而耳機的驅動單元（發出聲音的位置）也需要設計特殊的角度和位置。
同時，SPE還向聲音創作者收集了對於360 VME的反饋，以滿足其需求（比如根據創作流程來調整混響的體驗感，或是改變模擬空間的大小，以滿足大規模、複雜電影音效開發的需求），網上空間音訊技術在實際創作中的使用效果。
關鍵應用場景
索尼表示：有了360 VME技術，即使不在專業混音室也能營造具有空間感的劇場音訊，這項技術受到了電影專業人士認可，認為它有望改變一些行業的傳統工作流程。在疫情之前，SPE就已經使用360 VME來製作一些電影的音效，而疫情開始後，360 VME為遠端混音工作帶來可能。現在，SPE已經開始推廣360 VME技術在電影製作場景的應用。
索尼表示：未來計劃將360 VME部署至更多聲音創作應用，為創作者們提供更多新功能，除了電影音效外，還可以用來開發遊戲、音樂等等。可以想象，AR/VR也將成為360 VME的潛在應用場景。
當然，遊戲和音樂創作者的需求與電影創作者可能並不相同，因此使用360 VME的方式可能也與電影不同。透過與創作者交流，索尼將有望最佳化技術的實際應用效果，同時也會根據應用場景來提升空間音訊重現的準確性。參考：索尼
