平面螢幕迫使每個視窗共用同一個平面、同一個距離。像 Apple Vision Pro 這樣的頭戴裝置,則讓每個視窗都有自己的深度。對遠端桌面這個整個任務就是把另一台機器的螢幕搬到你面前的產品來說,這不是一項功能,而是下一個舞台。
平面螢幕是我們不再質疑的一種妥協
想想你現在是怎麼使用電腦的。你有一個螢幕 — 運氣好的話有兩個 — 固定在桌上或放在腿上。你盯著一個平面的光之矩形,你所有的工作都發生在那個矩形裡面。
四十年來一直是這樣的約定。更多的像素、更薄的邊框、更好的色彩 — 但永遠是一個矩形。永遠是固定大小的螢幕空間。永遠是一個占據實體空間、在固定距離上的實體物件。
空間運算徹底打破了這個約定。你的螢幕不再是物件,而是想法,被擺在它們該在的深度:工具在伸手可及處,編輯器在桌面距離,參考文件飄在更遠的地方,環境小工具則在牆邊。
對大多數 app 來說,這只是錦上添花。但對遠端桌面這個整個任務就是把另一台機器的螢幕搬到你面前的產品來說,這是一次典範轉移。
深度如何重新整理工作空間
空間運算最被低估的地方,不是視窗的大小,而是深度。人類每天本來就會依距離來分層注意力 — 手裡的筆記本、桌上的筆電、辦公室另一頭的會議室。平面螢幕卻把這一切塞進同一個平面。
以下是當你不再假裝深度不存在時,遠端桌面工作空間的樣子。
| 區域 | 距離 | 放什麼 |
|---|---|---|
| 伸手可及 | ~30 公分 | 工具、調色盤、便條筆記。檢查器面板、顏色挑選器、為下一個點子準備的便利貼。觸手可及,時時瞥見,但從不是專注的中心。 |
| 桌面距離 | ~60 公分 | 編輯器、終端機、專注的工作區。遠端 Mac 的桌面,大小如同舒適的 32 吋螢幕。你的眼睛一天有九成時間待在這個單一的表面上。 |
| 最遠的空間 | ~2 公尺 | 參考文件、視訊通話、監控。一個視窗放 API 文件,另一個放 Zoom 畫面,還有一個每隔幾分鐘看一眼的儀表板。看得見卻不喧賓奪主,可以忽略而不必關閉。 |
| 環境 | ~4 公尺以上 | 音樂播放器、行事曆、緩慢更新的小工具。該存在但絕不搶走你目光的東西。工作日的背景儀器,放在不會擠壓重要事物的地方。 |
| 無限 | 更遠 | 房間、天空、天空盒本身。工作周遭的環境。Apple 的胡德山、安靜的咖啡店、一片漆黑的虛空。決定你覺得平靜還是被困住的背景。 |
平面螢幕是我們不再質疑的一種妥協。空間運算終於問了對的問題 — 每個視窗屬於什麼深度?
— Remio 團隊,談螢幕離開桌面後會改變什麼
為什麼遠端桌面在空間中會更好
遠端桌面一直受限於用戶端裝置的螢幕。你存取的是一台強大的 Mac 或電腦,卻透過你手上剛好拿著的任何螢幕來看它 — 13 吋筆電、10 吋 iPad、6 吋手機。你是透過鑰匙孔在看自己的桌面。
空間運算拿掉了鑰匙孔。主機的解析度沒變,解碼器也相同。改變的是呈現的表面:不再是受邊框限制的矩形,串流會落在感覺對的任何大小、位置和深度。
macOS 已經在 Vision Pro 上支援 Mac 虛擬顯示器 — 你可以把 Mac 的螢幕延伸進 visionOS,成為一個或多個額外的螢幕。像 Immersed 這樣的 app 已經展示了多螢幕的虛擬工作空間。各個零件都在了。缺少的是一種專為這個表面設計的遠端桌面體驗,而不是硬貼在 iPad app 上面。
目前的情況
今天,如果你想在空間運算中使用你的遠端電腦,選擇有限:
- macOS Mac 虛擬顯示器 — Apple 的內建功能。運作得很漂亮,但只有在你的 Mac 位於同一個區域網路時才行。它是本地的解決方案,不是遠端的。
- Immersed — VR 工作空間的先驅。專注於本機的虛擬螢幕,遠端能力有限。
- 傳統的遠端桌面 app — 大多數根本沒有針對 visionOS 更新。少數能執行的,也只是以相容性視窗中的平面 iPad app 形式運作。沒有空間感知、沒有手部追蹤、沒有多視窗感知。
缺口很明顯:沒有人打造過把空間運算視為一等平台,而非事後補上的遠端桌面 app。
為什麼原生 app 有優勢
這裡就是多年前做的架構決策開始帶來意外回報的地方。
visionOS 是為原生 Apple app 打造的。視窗管理、手勢系統、空間版面引擎、眼動追蹤互動模型 — 全都是原生的。原生 app 自然而然地採用 visionOS 的功能。用其他框架寫的 app 則必須與平台對抗。
Remio 在 Apple 平台上是 100% 原生。這不是考慮到 Vision Pro 而做的決定 — 我們開始開發時,Vision Pro 還只是個傳聞。我們選擇原生,是因為這是打造 iOS 與 macOS app 的正確方式。但結果意義重大:把 Remio 移植到 visionOS,會成為現有程式碼的自然延伸,而不是重寫。
我們的串流流程使用 Apple 的 VideoToolbox 進行硬體加速的影片解碼。VideoToolbox 可在 visionOS 上執行。我們的輸入處理建立在 Apple 的手勢辨識系統上,而它延伸到手部追蹤。我們的 UI 元件使用 Apple 的原生版面系統,而它本來就懂空間視窗與體積。這些都不是理論 — 是同一份程式碼,重新編譯而已。
和以 Electron 為基礎的遠端桌面 app 比較一下。要在 visionOS 上推出,它們要嘛以平面的相容性視窗執行 — 失去讓這個平台有趣的一切 — 要嘛為一個在系統層沒有網頁瀏覽器引擎的平台,重建整個繪製流程。原生之路是唯一通往有趣之處的路。
空間遠端桌面可能的樣子
我們今天還沒有推出 visionOS app。但這是我們正朝著設計的體驗:
- 懸浮的桌面視窗 — 把你遠端 Mac 的螢幕放在實體空間的任何位置。用雙手抓住邊緣來調整大小。
- 憑空出現的多個螢幕 — 你的 Mac 只有一個實體螢幕,但空間運算可以呈現多個虛擬螢幕 — 每一個都在上述工作空間堆疊中自己的深度上。
- 注視加捏合的互動 — 看著目標,捏合就是點擊。傳送到主機的原生輸入維持不變 — 改變的是你眼前的表面。
- 依情境擺放 — 在桌前工作?遠端桌面就出現在桌面的高度。在沙發上?它會飄在舒適的角度。環境會自行調整。
- 隱私即設計 — 沒有人看得到你的螢幕。沒有人偷看。在咖啡店處理敏感工作,就只是工作。
最難的部分不是繪製 — 而是讓互動感覺自然。一個要你去想延遲的遠端桌面,在空間運算中就不值得使用。從手部追蹤到游標的流程,必須像觸碰玻璃一樣即時。這正是 Remio 的串流流程多年來在平面螢幕上一直在解決的問題。
我們沒有為空間運算做過規劃。但因為採用原生開發,我們無意間打造了一個已經為它做好準備的基礎。
Remio 的前進之路
我們不會倉促地把 visionOS app 推向市場。裝置的普及量仍然很小,互動模式仍在演進,而 Apple 每年都會推出有意義的 visionOS 更新。開發工具也隨著每次發布大幅進步。
我們正在做的,是考慮 visionOS 相容性來開發。我們為 iOS 與 macOS 做的每個架構決策,都會以這個問題來檢驗:這在空間情境中行得通嗎?我們的檢視、我們的 Metal 繪製流程、我們的手勢處理 — 全都以時機成熟時能乾淨移植的方式來打造。
當硬體到達臨界點、互動模式趨於穩定時,Remio 將準備就緒。不是以相容模式中的平面 app,而是以充分運用 visionOS 完整深度的空間原生體驗。
平面螢幕向來是一種妥協。我們為接下來的世界而打造。