游戏行业早已想明白了如何少渲染、多看见。我们要把同样的技巧带到远程桌面——在你的设备上运行一个小模型，用只有一半大小的串流重建出 4K 画面。
没人谈论的带宽问题
远程桌面有个不可告人的秘密：它是个带宽大户。
以 60 fps 串流桌面，使用现代编解码器，1080p 大约需要 3 到 8 Mbps，4K 则需要 8 到 15 Mbps。在光纤上没问题。在稳定的家庭 Wi-Fi 上也没问题。但一旦踏进酒店 Wi-Fi、用手机共享网络，或者试图在繁忙城市的咖啡馆里工作——一切就都垮了。
目前的解决办法简单得令人沮丧：带宽下降时，降低画质。降低分辨率。降低帧率。接受模糊的文字和卡顿的视频，直到状况好转。每一款远程桌面应用都是这么做的。二十年来这是唯一的选择。
如果有更好的办法呢？
如果与其发送清晰的 1080p 串流、在状况变差时再降低画质，不如始终发送一路小小的 1080p 串流——并让它在另一端看起来像 4K，会怎样？
这就是 AI 超分辨率。而且它不是科幻。游戏行业已经用了好几年。
超分辨率串流管线
从游戏到远程桌面的转换出人意料地干净利落。在游戏里，你以低分辨率渲染再放大。在串流中，你以低分辨率编码再放大。四个阶段，从左到右，端到端。
| 阶段 | 输出 | 指标 |
|---|---|---|
| 01 · 捕获 | 原生分辨率的帧 | 3840×2160 → 压缩前缩为 1920×1080 |
| 02 · 编码 | 1080p H.265 串流 | 编解码器：HEVC · CBR 3 Mbps |
| 03 · 传输 | 广域网上约 3 Mbps | 带宽：3 Mbps · 延迟 ~20 ms |
| 04 · 放大 & 渲染 | 4K Metal / Vulkan 输出 | 模型：280 KB · 增加延迟 <3 ms |
同样的主观清晰度。带宽大约只有四分之一。而且因为主机编码的是较小的图像，它的负担也更小——CPU 占用更低，发热更少，笔记本更省电。
| 方式 | 所需带宽 |
|---|---|
| 现状 · 原生 4K 串流 | ~12 Mbps |
| 现状 · 1080p 串流 | ~5 Mbps |
| 使用超分辨率 · 放大后的 4K | ~3 Mbps |
游戏行业已经解决了这个问题
2018 年，NVIDIA 推出了 DLSS——深度学习超级采样。这个概念好得几乎让人难以置信：以较低分辨率渲染游戏，然后用神经网络放大，使其看起来像原生分辨率。GPU 的工作更少，画质却相同。
玩家们起初持怀疑态度。AI 生成的图像怎么可能看起来和原生渲染的像素一样好？但结果胜于雄辩。到 2026 年，DLSS 4.5 使用 Transformer 模型生成的图像，许多玩家实际上更喜欢它胜过原生渲染——边缘更锐利，时间稳定性更好，伪影更少。
AMD 随之推出了 FSR。Apple 推出了 MetalFX。Intel 发布了 XeSS。整个行业汇聚到了同一个洞见上：
最聪明的像素，是你根本不需要渲染的那一个。
游戏行业用了大约五年，就从“这是个噱头”走到了“这是必备”。远程桌面还没有开始呢。
设备端 AI，从设计上保护隐私
接下来才真正有意思——也是我们与你可能预想的 AI 运作方式不同的地方。
超分辨率模型完全在你的设备上运行。不在云端。不在某台服务器上。就在你手中的手机或笔记本上。
现代设备用于设备端 AI 的算力强大得离谱。Apple M 系列芯片上的神经网络引擎每秒可处理 15.8 万亿次运算。高通近期骁龙芯片上的 Hexagon NPU 也处于同一量级。这些专用的 AI 处理器大部分时间都闲置着。我们要让它们派上用场。
推理会在渲染管线中运行，位于解码与显示之间。模型接收一帧 1080p 的画面，输出一帧 4K 的画面。延迟预算在 3 毫秒以内——做不到这一点的原型不会发布。
而且因为一切都在本地运行：
- 没有数据离开你的设备——你的屏幕内容保持私密
- AI 不需要联网——模型可离线运行
- AI 功能无需订阅——它内置于应用之中
- 没有服务器成本——可无限扩展，因为每位用户都自带算力
这与 Remio 隐私优先的理念一致。我们不想要你的数据。我们甚至不想看到你的屏幕内容。设备端 AI 让我们在提供前沿功能的同时，对你在做什么一无所知。
为什么这只有原生应用才能做到
这是把一切串联起来的部分——也是我们为什么写了一整篇关于转向原生的文章。
要在渲染管线中运行神经网络而不增加可见的延迟，你需要：
- 访问神经网络引擎或 NPU 的能力。这需要原生 API——Apple 上是 CoreML，Android 上是 NNAPI。神经网络引擎没有对应的 Web API。Electron 应用够不着它。
- GPU 管线集成。放大后的帧必须不经额外拷贝直接送到显示器。Metal 和 Vulkan 能做到这一点。WebGL 不提供这种程度的控制。
- 3 ms 以内的时序。在实时串流管线中，每多一毫秒都很要紧。仅 JavaScript 的垃圾回收器就可能引入不可预测的停顿。原生代码提供确定性的时序。
一个 Electron 应用需要在 Chromium 的媒体管线中解码视频，把帧提取到 JavaScript 中，设法调用神经网络引擎（没有原生绑定是不可能的），把放大后的帧取回来，再通过 Chromium 的合成器显示出来。每一步都会增加延迟和复杂度。总开销大概会达到 15 到 25 ms——对实时使用来说太慢了。
串流管线中的超分辨率不只是一个 AI 问题。它是一个系统工程问题。而系统工程需要原生代码。
这就是为什么在构建 Remio 的两年里，没有任何基于 Electron 的远程桌面发布过 AI 放大功能。不是他们不想。是架构不允许。
技术挑战，以及我们如何解决
我们不会假装这很容易。确实有真正的挑战。
模型延迟。在 60 fps 下，模型必须在每帧 3 ms 以内完成运行。这给臃肿的架构留不出任何余地。我们使用经过优化的卷积模型——不是 Transformer，它们对逐帧推理来说太慢——并专门针对神经网络引擎的执行单元进行了调优。
内容多样性。远程桌面的内容与游戏内容截然不同。文字、电子表格、代码编辑器、视频播放、设计工具——模型都需要应对。我们使用专门包含桌面 UI 元素的数据集来训练，而不仅仅是自然图像。
时间稳定性。逐帧放大可能导致闪烁。游戏行业用时间累积解决了这一点——复用之前帧的信息。我们正在探索类似的技术，把视频编解码器的运动矢量输入到放大模型中。
能效。在手机上每秒运行 60 次神经网络，听起来代价很高。但神经网络引擎正是为此设计的——在矩阵运算上它比 GPU 更省电。早期的实验室原型显示，耗电只有个位数百分比的小幅增加。
坦率的挑战：为什么这比游戏更难
我们谈到 DLSS 和游戏超分辨率时，把它们当作灵感来源——确实如此。但出于对事实的诚实，我们必须解释为什么远程桌面放大从根本上是一个更难的问题。
游戏中的 DLSS 有不公平的优势。游戏引擎为 AI 提供了我们这个世界里不存在的丰富数据：
- 运动矢量。引擎确切地知道每个物体在帧与帧之间移动到了哪里。我们得到的是压缩视频，没有场景层面的运动数据。
- 深度缓冲。DLSS 知道哪些像素在近处、哪些在远处。我们看到的是一张平面的 2D 图像。
- 时间历史。DLSS 利用引擎数据跨多帧累积细节。我们面对的是逐帧单独压缩的画面，每次带有的伪影可能都不同。
- 专用硬件。NVIDIA 的 Tensor Core 提供 384+ TOPS，专门针对这类工作负载优化。移动端的神经网络引擎强大，但用途不同。
换句话说，游戏超分辨率是带有丰富辅助数据的有引导的重建。远程桌面放大则是从有损压缩视频中进行的盲超分辨率——起点难得多。
这并不意味着这种方法是错的。即使在较低码率下画质只有小幅提升，也能带来实实在在的带宽节省。但我们想坦诚说明：盲放大的画质上限，低于 DLSS 在深度集成引擎后能达到的水平。我们在构建的是真正有用的东西，而不是声称与另一种技术平起平坐。
这对你意味着什么
当 AI 超分辨率在 Remio 中发布时，你不需要去想它。没有开关，没有设置，没有“AI 模式”。应用会自动：
- 检测你的可用带宽
- 选择最优的编码分辨率
- 在设备端放大以匹配你的屏幕
- 随状况变化实时适应
在高速连接上，它也许根本不需要放大。在慢速连接上，它将是“无法使用”与“感觉就像坐在自己的电脑前”之间的区别。
这就是目标。不是需要你去想的 AI。而是默默地、私密地、在你已经拥有的设备上，让一切运转得更好的 AI。
我们现在正在探索它——不承诺发布日期——同时也在探索 AI 能把远程桌面带向何方的其他想法。只有当它能让文字比它所取代的串流更清晰时，才会发布。
少传输，多看见。这就是未来。
