平面显示器迫使每个窗口共用同一个平面、同一个距离。像 Apple Vision Pro 这样的头戴设备,则让每个窗口都有自己的深度。对远程桌面这个全部使命就是把另一台电脑的屏幕搬到你面前的产品来说,这不是一个功能,而是下一块屏幕。
平面显示器是一种我们不再质疑的妥协
想想你现在是怎么用电脑的。你有一块屏幕——运气好的话有两块——固定在桌上,或者放在腿上。你盯着一个平面的发光矩形,所有工作都发生在这个矩形里面。
四十年来一直是这个约定。更多像素,更窄的边框,更好的色彩——但永远是一个矩形。永远是固定大小的屏幕空间。永远是一个占据实际空间、位于固定距离的实体物件。
空间计算彻底打破了这个约定。你的屏幕不再是物件。它们是被放置在各自该在的深度上的想法:工具触手可及,编辑器在桌面的距离,参考文档漂浮在更远处,环境小组件挂在墙上。
对大多数应用来说,这只是锦上添花。但对远程桌面——一个全部使命就是把另一台电脑的屏幕搬到你面前的产品——这是一次范式转变。
深度如何重新组织工作空间
空间计算最被低估的地方,不是窗口的大小,而是深度。人类每天都在按距离来分层安排注意力——手里的笔记本,桌上的笔记本电脑,办公室对面的会议室。平面显示器把这一切都压进了同一个平面。
当你不再假装深度不存在时,远程桌面的工作空间是这样的。
| 区域 | 距离 | 放在这里的东西 |
|---|---|---|
| 触手可及 | ~30 cm | 工具、调色板、草稿便签。检查器面板、取色器、记录下一个想法的便利贴。近在手边,随时瞥一眼,却从不是注意力的中心。 |
| 桌面距离 | ~60 cm | 编辑器、终端、聚焦的工作区。远程 Mac 的桌面,大小相当于一台舒适的 32 英寸显示器。你一天中有九成时间盯着的那一块屏幕。 |
| 外围空间 | ~2 m | 参考文档、视频通话、监控。一个窗口里是 API 文档,另一个里是 Zoom 画面,还有一个每隔几分钟看一眼的仪表盘。看得见但不喧宾夺主,可以忽略而无需关闭。 |
| 环境 | ~4 m+ | 音乐播放器、日历、变化缓慢的小组件。应该存在、却从不抢眼的东西。一个工作日里的背景仪表,待在不会挤占重要内容的地方。 |
| 无穷远 | 更远 | 房间、天空、天空盒本身。工作周围的环境。Apple 的胡德山、安静的咖啡馆、一片漆黑的虚空。这个背景决定了你是感到平静,还是被困住了。 |
平面显示器是一种我们不再质疑的妥协。空间计算终于问出了正确的问题——每个窗口属于哪个深度?
——Remio 团队,谈当屏幕离开书桌时会发生什么变化
为什么远程桌面在空间里会更好
远程桌面一直受制于客户端设备的屏幕。你访问的是一台强大的 Mac 或电脑,却要透过你碰巧拿在手里的那块显示器来看它——13 英寸的笔记本,10 英寸的 iPad,6 英寸的手机。你是透过锁孔在看你的桌面。
空间计算拿掉了锁孔。主机的分辨率没有变。解码器也是同一个。变的是承载画面的表面:不再是受边框限制的矩形,串流会落在你觉得合适的任意大小、位置和深度上。
macOS 已经在 Vision Pro 上支持 Mac 虚拟显示器——你可以把 Mac 的显示器延伸到 visionOS 中,成为一块或多块额外的显示器。像 Immersed 这样的应用已经展示了多屏虚拟工作空间。各个部件都已就位。缺的是一种专为这块新表面设计的远程桌面体验,而不是硬套在 iPad 应用之上。
当前的格局
今天,如果你想在空间计算中使用远程电脑,选择有限:
- macOS Mac 虚拟显示器——Apple 的内置功能。效果出色,但只在 Mac 与你处于同一局域网时可用。它是本地方案,而不是远程方案。
- Immersed——VR 工作空间的先驱。专注于本地电脑的虚拟显示器,远程能力有限。
- 传统的远程桌面应用——大多数根本没有为 visionOS 更新。少数能运行的,也只是在兼容性窗口里作为平面的 iPad 应用运行。没有空间感知,没有手部追踪,也不了解多窗口。
缺口很明显:还没有人构建出把空间计算当作一等平台、而不是事后补充的远程桌面应用。
为什么原生应用占优势
这正是多年前做出的架构决策开始带来意外红利的地方。
visionOS 是为原生 Apple 应用打造的。窗口管理、手势系统、空间布局引擎、眼动追踪交互模型——全部是原生的。原生应用自然地采用 visionOS 的功能。用其他框架编写的应用,则必须和平台对着干。
Remio 在 Apple 平台上是 100% 原生的。这并不是出于 Vision Pro 才做的决定——我们开始构建时,Vision Pro 还只是个传闻。我们选择原生,是因为这是构建 iOS 和 macOS 应用的正确方式。但其后果意义重大:把 Remio 移植到 visionOS,会成为现有代码库的自然延伸,而不是重写。
我们的串流管线使用 Apple 的 VideoToolbox 进行硬件加速视频解码。VideoToolbox 可以在 visionOS 上运行。我们的输入处理建立在 Apple 的手势识别系统之上,而它可延伸到手部追踪。我们的 UI 组件使用 Apple 的原生布局系统,它已经能理解空间窗口和体积。这些都不是纸上谈兵——是同一份代码,重新编译而已。
对比一下基于 Electron 的远程桌面应用。要在 visionOS 上发布,它们要么作为平面的兼容窗口运行——失去让这个平台有趣的一切——要么为一个在系统层没有网页浏览器引擎的平台重建整个渲染管线。原生是唯一通向有趣之处的道路。
空间远程桌面可能是什么样子
我们今天并没有发布 visionOS 应用。但这是我们正在朝着设计的体验:
- 悬浮的桌面窗口——把远程 Mac 的显示器放在你实际空间中的任何位置。用手抓住边缘来调整大小。
- 凌空的多块屏幕——你的 Mac 只有一块实体显示器,但空间计算可以呈现多块虚拟显示器——每一块都位于上文所述工作空间层次中各自的深度。
- 注视加捏合的交互——看向目标,捏合即点击。送到主机的原生输入保持不变——变的是你眼前的那块表面。
- 感知情境的摆放——在书桌前工作?远程桌面出现在桌面高度。在沙发上?它悬浮在舒适的角度。环境会自适应。
- 隐私设计——没人能看到你的屏幕。不会被偷窥。在咖啡馆里处理敏感工作,就只是工作而已。
最难的部分不是渲染——而是让交互感觉自然。一个需要你去想延迟的远程桌面,在空间计算中不值得使用。从手部追踪到光标的管线,必须像触摸玻璃一样即时。这正是 Remio 的串流管线多年来在平面屏幕上一直在解决的问题。
我们并没有为空间计算做过规划。但因为我们选择了原生,无意间打下了一个为它做好准备的基础。
Remio 的前进之路
我们不会仓促把 visionOS 应用推向市场。用户基数仍然很小,交互模式仍在演变,而 Apple 每年都会发布有分量的 visionOS 更新。开发者工具随着每次发布都在大幅改进。
我们正在做的,是以兼容 visionOS 为目标来构建。我们为 iOS 和 macOS 做的每一个架构决策,都要对照这个问题来评估:这在空间情境下行得通吗?我们的视图、Metal 渲染管线、手势处理——全都以便于在时机成熟时顺利移植的方式在构建。
当硬件达到临界点、交互模式趋于稳定时,Remio 会准备好。不是作为一个在兼容模式下运行的平面应用,而是作为一种充分利用 visionOS 全部深度的空间原生体验。
平面显示器始终是一种妥协。我们在为它之后的世界而构建。