經(jīng)過三個月的測試工作，Apple 在 9 月正式為 Apple Vision Pro 推出了 visionOS 26 系統(tǒng)更新。

除了大家耳熟能詳?shù)男〗M件、新版自影像以外，還有一項特性也獲得了不少人的關(guān)注，那就是對于來自 Insta360、GoPro 和佳能設(shè)備拍攝的 180 度、360 度和寬視場內(nèi)容原生播放的支持。剛好我手里有一臺 Insta360 X5，便研究了一下在 visionOS 26 播放第三方沉浸式視頻的相關(guān)細節(jié)，在此作一個簡單分享。

▍visionOS 中的視頻類型

在開始之前，先簡單介紹一下 visionOS 目前支持播放的幾種視頻類型。

2D 和 3D 視頻

顧名思義，2D 視頻與我們使用 iPhone、Mac 等平面設(shè)備觀看的視頻并無二致，內(nèi)容通過窗口播放，可以內(nèi)嵌在網(wǎng)頁或者獨立的 app 中。

當(dāng)我們在平面設(shè)備上觀看 2D 內(nèi)容時，可以點擊最大化按鈕，讓視頻以全屏形式占滿整個屏幕播放；在 Apple Vision Pro 中 2D 平面視頻內(nèi)容雖然無法「全屏」播放，但也有相應(yīng)的「最大化」按鈕，Apple 將其稱為「擴展式播放」。

擴展式播放的 2D 視頻內(nèi)容會以獨立窗口的形式，在 Apple Vision Pro 的環(huán)境中占滿整個窗口播放；如果開發(fā)者為自己的 app 使用了 Apple 官方提供的 Reality Composer Pro 或 AVKit 開發(fā)工具，擴展式播放窗口還可以切換至「懸停狀態(tài)」?？吭?visionOS 空間中的指定位置，此時窗口位置、大小不可調(diào)整，環(huán)境會根據(jù)窗口播放內(nèi)容實時模擬呈現(xiàn)窗口屏幕在環(huán)境中的動態(tài)光線反射效果，類似虛擬影院的感覺。

懸停播放

3D 視頻的播放與 2D 視頻類似，但可以提供類似在電影院觀看的窗口 3D 視頻效果。為了達到這一效果，Apple 為開發(fā)者提供了多視圖編碼 (MV-HEVC) 格式，與傳統(tǒng) VR 內(nèi)容的左右或上下幀合并形式不同，多視圖編碼在視頻工程文件的同一軌道里存儲了多個獨立視圖層，使左右眼幀的畫面具有相同分辨率并共享時間軸，這樣也能保證最終視頻文件能夠向下兼容普通 HEVC 格式播放。

對于開發(fā)者而言，視頻片源需要分別提供時長和幀率完全一致的左右眼文件，且使用高位深格式和 HDR 色彩空間重新將文件編碼為 MV-HEVC，MV-HEVC 軌道會通過 vexu 擴展 (Video Extended Usage) 標(biāo)明該軌道的左右眼視圖和默認(rèn)視圖，以便播放器確定如何將每個視圖映射到用戶的左眼或右眼。

目前在 Apple Vision Pro 中，我們主要可以通過視頻 app (外區(qū)) 或 Disney+ app 觀看眾多 3D 版本的熱門影視內(nèi)容，獲得影院級的 3D 觀影體驗。

空間視頻

空間視頻是 Apple 在 visionOS 中提出的新概念，視頻內(nèi)容可以按照真實尺寸呈現(xiàn)在視野中，同時窗口邊緣會以淡出的形式與周圍環(huán)境形成自然過渡的效果。這種處理方式能夠讓畫面與環(huán)境之間不致于突然產(chǎn)生強烈的深度錯覺，同時提供身臨其境的觀看感受 ?。同樣地，空間視頻也做到了向下兼容，能夠在 Apple Vision Pro 或 iPhone 等設(shè)備中以傳統(tǒng) 2D 畫面的形式播放。

空間視頻

從技術(shù)角度來看，空間視頻同樣采用了 MV?HEVC 編碼格式，將左眼與右眼視圖分別存儲在多視圖圖層軌道中，并通過 QuickTime 容器的 vexu 擴展加入了描述左右視圖、默認(rèn)視圖、視差等關(guān)鍵信息 ?。此外，空間視頻還含有額外的元數(shù)據(jù)，如實際拍攝距離等，這些數(shù)據(jù)會影響窗口深度和視角的呈現(xiàn)。

180°、360° 和寬視場視頻

在 visionOS 26 中，Apple 將傳統(tǒng)的 180°、360° 和寬視場視頻統(tǒng)稱為「沉浸式視頻」，與前述的 2D、3D 和空間視頻采用直線投影 (Rectilinear projection) 不同，在 Apple Vision Pro 這樣的空間計算設(shè)備中，渲染空間并不僅局限于我們觀看前方的平面區(qū)域，開發(fā)者也可以在虛擬環(huán)境中的觀看者周圍鋪滿像素，并且需要考慮鏡頭曲率或彎曲變換，因此需要采用非直線投影 (Nonrectilinear projection) 方式渲染視頻內(nèi)容。

直線投影

180° 視頻通過「半等距柱狀投影」將正方形的畫面映射到半球區(qū)域中 ?，內(nèi)容會填滿觀看者前方的半球區(qū)域視野。360° 視頻則采用「等距柱狀投影」，畫面為寬高比為 2:1 的矩形畫面，這樣可以使畫面在投射時水平軸能夠覆蓋 ?180° 至 +180° 的區(qū)域，垂直軸能夠覆蓋 ?90° 至 +90° 的區(qū)域，將觀看者完全包圍在沉浸空間中，也是 VR 行業(yè)通用的投影方式。

半等距柱狀投影

等距柱狀投影

寬視場視頻是 visionOS 26 中新支持的非直線投影視頻類型，采用「參數(shù)化投影」方式。寬視場視頻會根據(jù)每個廣角或魚眼鏡頭的內(nèi)部參數(shù)和畸變模型生成投影函數(shù)，再通過 visionOS 26 引入的 APMP 格式文件存儲的鏡頭焦距、光學(xué)中心、畸變矩陣等參數(shù)，由播放器矯正彎曲曲線后映射畫面，可在曲線上復(fù)原真實視角，同時消除畫面中的畸變和魚眼效果，讓直線看起來不再彎曲。

這三種非直線投影類型的 3D 視頻同樣采用了 MV-HEVC 視頻編碼技術(shù)，作為高效視頻編碼技術(shù) HEVC 的「立體」版本，MV-HEVC 能夠?qū)⒆笥已鄣漠嬅嫦袼胤謩e編寫到不同的緩沖區(qū)中，并根據(jù)雙眼畫面的相似性僅編碼不一致的部分，這樣不僅能夠有效降低立體視頻文件的體積大小，也有利于提高視頻編碼渲染的效率。

Apple Project Media Profile

上述提到 visionOS 26 引入了新的 APMP 元數(shù)據(jù)規(guī)范，全稱為 Apple Projected Media Profile，包含 Projection Box、Lens Collection Box 和 View Packing Box，分別記錄投影類型、鏡頭內(nèi)參 / 畸變模型以及視圖排列方式 。APMP 只負(fù)責(zé)描述「如何投影」以及「鏡頭參數(shù)是什么」，并不規(guī)定視頻編碼。現(xiàn)有的 180° / 360° 視頻可通過工具注入 APMP 元數(shù)據(jù)后，在 visionOS 26 中獲得原生播放體驗。

APMP 文件通過 vexu 擴展存儲的元數(shù)據(jù)信號指明視頻所采用的投影方式，以便播放器在渲染時正確還原視頻效果，同時提供向下兼容性。可以說，APMP 為非直線投影視頻提供了統(tǒng)一的描述和兼容層，使其既向下兼容已有的 180° / 360° 內(nèi)容，也能向上支持新一代寬視場和雙眼立體拍攝視頻內(nèi)容。

也正是得益于此，用戶得以憑借手中的消費級設(shè)備，就能在 visionOS 26 中原生播放自己拍攝的 180 度、360 度和寬視場內(nèi)容。

在 Apple Vision Pro 中播放 Insta360 全景視頻

在 visionOS 26 正式推出之后，我也嘗試用手里的 Insta360 X5 全景相機拍攝了一些視頻內(nèi)容，并將他們導(dǎo)入至 Apple Vision Pro 中播放。Insta360 X5 配備了雙 1/1.28 英寸像素傳感器，支持 8K 30 fps、5.7K 30 fps、5.7K 60 fps 以及 4K 60 fps 的高規(guī)格視頻拍攝，接下來我們先看看用它怎么拍、再看看它拍得怎么樣。

以 Insta360 X5 的普通錄像模式為例，這個模式下拍攝的單個視頻會在存儲卡中分別生成后綴格式為 .insv 和 .lrv 的文件，其中前者為 Insta360 的專有文件格式，用于存儲高比特率的兩路魚眼視頻數(shù)據(jù)以及陀螺儀 / 加速度計數(shù)據(jù)、曝光值、時間戳等各類傳感器信息，是拍攝得到的主要文件內(nèi)容；后者是 Insta360 相機為拍攝內(nèi)容自動生成的低分辨率代理文件 (Low-Resolution Video)，用于快速查看或在剪輯工具中預(yù)覽調(diào)用，以減少硬件負(fù)載和渲染壓力。

可想而知，Insta360 X5 拍攝得到的 .insv 視頻文件并不能直接在 Apple Vision Pro 中預(yù)覽和播放，這時候就要用到 Insta360 Studio 這款軟件對文件進行導(dǎo)出處理 (其它支持品牌的相機也需要經(jīng)過類似操作)。

對于 Insta360 Studio 的其它功能，這里不作展開介紹，直接看導(dǎo)出菜單。打開 Insta360 Studio 選中相應(yīng)視頻并選擇導(dǎo)出后，我們需要在導(dǎo)出菜單中選擇「全景視頻」，并勾選下方的「APMP」選項，勾選導(dǎo)出時 Insta360 Studio 會將成片按 APMP 投影媒體規(guī)范封裝與標(biāo)記，讓其在 Apple Vision Pro 中能被識別成可原生播放的沉浸式視頻，同時在不支持的設(shè)備上能夠回退為普通 2D 視頻形式播放。

體驗與感受

如上所述，Insta360 X5 是一臺支持 8K 30 fps、5.7K 30 fps、5.7K 60 fps 以及 4K 60 fps 等高規(guī)格視頻拍攝的全景相機，用它拍攝能夠在 Apple Vision Pro 中沉浸式播放的視頻，想想就很美好。

但結(jié)果卻不盡如人意。最開始我用 Insta360 X 拍攝完 5.7K 60 fps 和 4K 60 fps 的視頻之后，不論是在 iPhone、Mac 還是 Apple Vision Pro 中播放平面視頻時都沒有任何問題：畫面清晰度高，幀率表現(xiàn)也相當(dāng)順滑。但在通過 Insta360 Studio 導(dǎo)出成符合 APMP 標(biāo)準(zhǔn)的視頻文件之后，Apple Vision Pro 確實可以直接以沉浸式觀看形式播放了，但清晰度卻低得看不清任何細節(jié)。

我轉(zhuǎn)而用 Insta360 X5 拍了一些 8K 30 fps 的素材再次測試，此時 Apple Vision Pro 中的沉浸式畫面清晰度依然很低，但勉強到了將就能看的程度。

動圖經(jīng)過壓縮

經(jīng)過一番研究之后，我發(fā)現(xiàn)「問題」并不出在 Insta360 身上，而是出在顯示端即 Apple Vision Pro 上。如上所述，當(dāng)我們在 Apple Vision Pro 觀看 360° 的沉浸式視頻時，顯示區(qū)域?qū)嶋H上為一個球狀表面，即使通過 8K 的規(guī)格 (7680x3840，總像素約 3000 萬) 拍攝視頻，這些像素會被分布在這個完整的球面上。

這與我們觀看平面視頻不同，當(dāng)在 iPhone 或 Mac 這樣的屏幕上觀看平面視頻時，視頻的所有像素均完整呈現(xiàn)在屏幕中，這時從傳統(tǒng)意義上看即使是更低清晰度的 2K 甚至是 1080P 視頻，實際觀感也不至于太差。但在 Apple Vision Pro 這樣的 VR 設(shè)備中觀看沉浸式視頻時，所有畫面像素會被投影在「包裹」觀看者的整個球狀平面上，而作為觀看者的我們實際上只能看到視場角以內(nèi)的部分像素，這就導(dǎo)致了同一個視頻分別在 VR 設(shè)備以沉浸式播放與在平面設(shè)備上播放時，視野內(nèi)的有效像素密度有很大的差異。

根據(jù)網(wǎng)絡(luò)上已有的測試結(jié)果來看，Apple Vision Pro 的水平視場角約為 100°、垂直視場角約為 90°，經(jīng)過不準(zhǔn)確的大致計算：(100/360)x(90/180)=0.139=1/7.2，實際上在 Apple Vision Pro 中觀看由 Insta360 X5 拍攝的 8K 規(guī)格視頻時，我們僅能看到整個球面約 1/7 的區(qū)域，實際可見區(qū)域的有效分辨率密度會大幅降低，因此導(dǎo)致了畫面清晰度不足的問題發(fā)生。

但是話說回來，即使是在畫面清晰度不足的情況下觀看，通過 Apple Vision Pro 看到過去某一時刻的情景重現(xiàn)，依然會有一種奇妙的感受，要比觀看空間視頻的體驗更加有意思。

對了，還有一點需要注意的是，從 visionOS 中已有的官方沉浸式內(nèi)容里不難看出，Apple 為了提供更好的觀看體驗也是下足了功夫：這些視頻大部分都在畫面部分盡量避免機位的長時間大幅度運動，鏡頭移動也使用了專業(yè)的云臺、機械臂等設(shè)備以確保畫面平滑展開，能夠更大程度上降低觀看 VR 內(nèi)容可能導(dǎo)致的暈眩等問題。

但是，我們自行拍攝的視頻一般都是隨意的日常記錄，沒有事先準(zhǔn)備好的分鏡策劃、也沒有專業(yè)的器材輔助，畫面抖動等情況在所難免，我在觀看這些自己拍攝的視頻內(nèi)容時，很快就產(chǎn)生了頭暈的癥狀，在看官方內(nèi)容時則沒有這個問題。

結(jié)語

像是 Insta360、GoPro 這樣的消費級設(shè)備能與 visionOS 26 聯(lián)動，讓這些曾經(jīng)的回憶在虛擬現(xiàn)實中重現(xiàn)，這是一個令人期待的開始，很高興 Apple 與這些品牌們一起先邁出了第一步，即使它們的效果目前還沒有那么好。說不定日后通過 AI 技術(shù)還原或者更強大的硬件設(shè)備，我們真的能夠在像 Apple Vision Pro 這樣的設(shè)備中，完全真實地還原彼時彼刻的此情此景也不一定。

話說回來，通過 Insta360 X5 這樣的全景相機，我們已經(jīng)能夠?qū)㈦y忘的時刻以全景記錄的形式留存下來，并通過 iPhone 或 Mac 這樣的設(shè)備高清回看，這已然是一份足夠珍貴的數(shù)字存檔。當(dāng)然也期待日后能有在 Insta360、GoPro 和佳能之外，更多品牌能夠給我們帶來更為多樣與生動的回憶呈現(xiàn)方式。

https://sspai.com/post/102896?utm_source=wechat&utm_medium=social

作者：waychane