遊戲界已經想通了怎麼少繪製一點、多看到一點。我們要把同樣的技巧帶進遠端桌面 — 在你的裝置上放一個小模型，從只有一半大小的串流重建出 4K 畫面。
沒人談論的頻寬問題
遠端桌面有個不可告人的祕密：它非常耗頻寬。
以 60 fps 串流桌面，使用新式編解碼器時，1080p 大約需要 3 到 8 Mbps，4K 則需要 8 到 15 Mbps。在光纖上沒問題，在良好的家用 Wi-Fi 上也沒問題。但一踏進飯店 Wi-Fi、用手機網路共享，或試著在繁忙城市的咖啡店工作 — 一切就崩潰了。
目前的解法簡單得令人沮喪：頻寬下降時，就降低畫質。降低解析度、降低影格率，接受模糊的文字和斷斷續續的影片，直到情況好轉。每個遠端桌面 app 都這樣做。二十年來，這是唯一的選擇。
如果有更好的方法呢？
如果不是傳送清晰的 1080p 串流、再在狀況變差時降低畫質，而是隨時都傳送小型的 1080p 串流 — 並讓它在另一端看起來像 4K 呢？
這就是 AI 超解析度。它不是科幻小說。遊戲界已經做了好幾年了。
超解析度串流流程
從遊戲轉換到遠端桌面，出奇地乾淨俐落。在遊戲中，你以低解析度繪製再升頻。在串流中，你以低解析度編碼再升頻。四個階段，由左至右，端到端。
| 階段 | 輸出 | 指標 |
|---|---|---|
| 01 · 擷取 | 原生解析度畫面 | 3840×2160 → 壓縮前 1920×1080 |
| 02 · 編碼 | 1080p H.265 串流 | 編解碼器：HEVC · CBR 3 Mbps |
| 03 · 傳輸 | 廣域網路上約 3 Mbps | 頻寬：3 Mbps · 延遲約 20 ms |
| 04 · 升頻與繪製 | 4K Metal / Vulkan 輸出 | 模型：280 KB · 增加延遲 <3 ms |
相同的感知銳利度，大約只要四分之一的頻寬。而且因為主機編碼的是較小的影像，它的工作量也更少 — CPU 使用率更低、發熱更少、筆電更省電。
| 做法 | 所需頻寬 |
|---|---|
| 現在 · 原生 4K 串流 | ~12 Mbps |
| 現在 · 1080p 串流 | ~5 Mbps |
| 使用超解析度 · 升頻 4K | ~3 Mbps |
遊戲產業早就解決了這件事
2018 年，NVIDIA 推出了 DLSS — 深度學習超取樣。這個概念好得幾乎令人難以置信：以較低的解析度繪製遊戲，再用神經網路升頻，讓它看起來像原生解析度。GPU 工作量更少，畫質相同。
玩家一開始半信半疑。AI 產生的影像，怎麼可能看起來和原生繪製的像素一樣好？但成果自己會說話。到了 2026 年，DLSS 4.5 使用 Transformer 模型，產生許多玩家實際上更喜歡於原生繪製的影像 — 邊緣更銳利、時間穩定性更好、瑕疵更少。
AMD 跟進推出 FSR。Apple 推出 MetalFX。Intel 推出 XeSS。整個產業匯聚到同一個洞見：
最聰明的像素，就是你根本不用繪製的那一個。
遊戲產業花了大約五年，從「這是噱頭」走到「這是必備」。遠端桌面連起步都還沒有。
裝置上的 AI，以隱私為設計
接下來才真正有趣 — 也是我們和你可能預期的 AI 運作方式不同的地方。
超解析度模型完全在你的裝置上執行。不在雲端，不在某台伺服器上，而是在你手上的手機或筆電。
新式裝置對於裝置上的 AI 強大得離譜。M 系列晶片上的 Apple Neural Engine 每秒能處理 15.8 兆次運算。近期 Snapdragon 晶片上的 Qualcomm Hexagon NPU 也在同一個級別。這些專用的 AI 處理器大部分時間都閒置著。我們要讓它們工作。
推論會在繪製流程中執行，介於解碼與顯示之間。模型看到的是 1080p 畫面，輸出的是 4K 畫面。延遲預算在 3 毫秒以內 — 撐不住這個預算的原型就不會推出。
而且因為一切都在本機執行：
- 沒有資料離開你的裝置 — 你的螢幕內容保持私密
- AI 不需要網際網路 — 模型離線也能運作
- AI 功能不需訂閱 — 它內建於 app
- 沒有伺服器成本 — 可無限擴展，因為每位使用者都自備運算資源
這與 Remio 隱私優先的理念一致。我們不想要你的資料。我們甚至不想看到你的螢幕內容。裝置上的 AI 讓我們能提供尖端的功能，同時對你在做什麼一無所知。
為什麼這只有原生 app 才做得到
這是把一切串連起來的部分 — 也是我們寫了整整一篇談原生開發的文章的原因。
要在繪製流程中執行神經網路，又不增加可察覺的延遲，你需要：
- 存取 Neural Engine 或 NPU 的能力。這需要原生 API — Apple 上的 CoreML、Android 上的 NNAPI。Neural Engine 沒有網頁 API。Electron app 碰不到它。
- GPU 流程整合。升頻後的畫面必須直接送到螢幕，不經額外的複製。Metal 與 Vulkan 讓你做得到這一點。WebGL 沒有給你這種等級的控制。
- 3 毫秒以內的時序。在即時串流流程中，每多一毫秒都很重要。光是 JavaScript 的垃圾回收就可能造成不可預測的停頓。原生程式碼則能提供確定性的時序。
Electron app 需要在 Chromium 的媒體流程中解碼影片、把畫面取到 JavaScript、設法呼叫 Neural Engine（沒有原生繫結就辦不到）、把升頻後的畫面取回來，再透過 Chromium 的合成器顯示。每一步都增加延遲與複雜度。總開銷很可能達到 15 到 25 毫秒 — 對即時使用來說太慢了。
串流流程中的超解析度不只是 AI 問題，而是系統工程問題。而系統工程需要原生程式碼。
這就是為什麼在 Remio 開發兩年後，沒有任何以 Electron 為基礎的遠端桌面推出過 AI 升頻。不是他們不想。是架構不讓他們做。
技術挑戰，以及我們如何解決
我們不會假裝這很容易。這裡有真正的挑戰。
模型延遲。在 60 fps 下，模型每張畫面必須在 3 毫秒內執行完畢。這讓肥大的架構毫無空間。我們使用經過最佳化的卷積模型 — 不是 Transformer，它們對每張畫面的推論來說太慢 — 專門針對 Neural Engine 的執行單元調校。
內容多樣性。遠端桌面的內容和遊戲內容截然不同。文字、試算表、程式碼編輯器、影片播放、設計工具 — 模型都得能處理。我們以專門包含桌面介面元素的資料集進行訓練，而不只是自然影像。
時間穩定性。逐張畫面的升頻可能造成閃爍。遊戲界以時間累積解決了這個問題 — 重複使用前幾張畫面的資訊。我們正在探索類似的技術，把影片編解碼器的動態向量餵給升頻模型。
能源效率。在手機上每秒執行神經網路 60 次，聽起來很耗電。但 Neural Engine 正是為此而設計 — 在矩陣運算上比 GPU 更省電。早期的實驗室原型顯示，耗電成本只有個位數的小幅百分比。
誠實的挑戰：為什麼這比遊戲更難
我們把 DLSS 與遊戲超解析度當作靈感來談 — 它們確實是。但知識上的誠實，要求我們說明為什麼遠端桌面升頻本質上是更難的問題。
遊戲 DLSS 有不公平的優勢。遊戲引擎提供給 AI 豐富的資料，而這些在我們的世界裡並不存在：
- 動態向量。引擎確切知道每個物件在畫面之間移動到哪裡。我們得到的是沒有場景層級動態資料的壓縮影片。
- 深度緩衝。DLSS 知道哪些像素近、哪些遠。我們看到的是平面的 2D 影像。
- 時間歷程。DLSS 利用引擎資料，跨多張畫面累積細節。我們處理的是各自壓縮的畫面，每一張可能帶有不同的瑕疵。
- 專用硬體。NVIDIA 的 Tensor Core 提供 384 以上 TOPS，專門針對這個工作負載最佳化。行動裝置的 Neural Engine 雖然強大，但用途不同。
換句話說，遊戲超解析度是有豐富輔助資料的引導式重建。遠端桌面升頻則是從失真的壓縮影片進行的盲超解析度 — 起點難得多。
這不代表這個方法是錯的。即使畫質在較低位元率下只有小幅提升，也能帶來實質的頻寬節省。但我們想坦白說明：盲升頻的畫質上限，低於 DLSS 在完整引擎整合下所能達到的。我們打造的是真正有用的東西，而不是宣稱與另一種技術比肩。
這對你意味著什麼
當 AI 超解析度在 Remio 中推出時，你不需要去想它。沒有開關、沒有設定、沒有「AI 模式」。app 會自動：
- 偵測你可用的頻寬
- 選擇最佳的編碼解析度
- 在裝置上升頻，以符合你的螢幕
- 隨狀況變化即時調整
在快速連線上，它可能根本不需要升頻。在慢速連線上，它將是「無法使用」與「感覺像坐在自己電腦前」之間的差別。
這就是目標。不是你得去思考的 AI，而是讓一切運作得更好、悄悄地、私密地、在你已有的裝置上的 AI。
我們現在正在探索它 — 不承諾日期 — 並同時探索AI 可能把遠端桌面帶往何方的其他想法。只有在它比它所取代的串流能讓文字更銳利時，才會推出。
少傳一點，看到更多。這就是未來。
