我们打造 Remio，并不是为了 AI 智能体。但我们越是研究智能体需要什么——能看到真实屏幕的眼睛，能敲击真实键盘的手，以及它们之间一条安全的隧道——就越觉得，远程桌面恰恰是一直以来缺失的那个界面。
AI 使用电脑的时代
过去一年里，AI 世界发生了一件根本性的变化。语言模型不再只是文本生成器。它们开始使用电脑了。
Anthropic 推出了 Claude Computer Use。OpenAI 的智能体可以浏览网页。Google 的 Gemini 能与 Android 交互。趋势再明显不过：AI 智能体越来越需要查看屏幕、点击按钮，并在真实的应用里输入内容。
但这里有个没人谈论的问题：AI 智能体究竟要怎样才能接触到一台电脑？
智能体需要屏幕的地方
在谈基础设施之前，先看看工作本身。人们让智能体做的大多数事情，并不是一次整洁的 API 调用。而是一整屏的状态，一张带有条件字段的表单，一个不通过 HTTP 暴露你所需内容的应用。智能体需要一双眼睛。如今，在大多数技术栈里，它是在黑暗中摸索。
01报税
智能体需要看到多页表单的第 12 行，为申报身份选对下拉选项，并在提交前核对合计是否已更新。底层的税务软件没有公开的 API——图形界面就是接口。
远程桌面展示实时的表单。智能体读取各个字段、填写，并在点击提交之前，看着运行中的合计数更新。
02预订复杂的行程
多个网站，不同的布局，取决于库存的日期，一个在这个网站会自动填写、在那个网站却不会的会员号。API 能覆盖其中一部分——但永远覆盖不全。
远程桌面让智能体用上人类会用的同一个浏览器。它跨标签页比较结果，并在付款前在屏幕上确认最终价格。
03审阅合同
PDF 存放在一个带有修订追踪、红线标注和批注的桌面应用里。智能体需要读取页边空白、跟进行内批注，并提出律师可以接受或拒绝的修改。
远程桌面把文档按律师看到的样子串流出来。智能体做批注，律师签字确认，全都在同一个视图里完成。
04调试浏览器里的编辑器
一个 bug 只有在 Figma 里画布处于某个缩放比例、并且运行了某个特定插件之后才会出现。没有任何无头工具能复现它。智能体必须看到工程师看到的东西。
远程桌面把实时的编辑器交给智能体。它复现步骤，捕获出问题的那一帧，并为团队提交一份干净的复现报告。
现有的做法，以及它们为什么不够好
目前，需要与图形界面交互的 AI 智能体，选择有限：
- 浏览器自动化——Playwright 和 Selenium 这类工具可以驱动网页应用。但它们无法使用 Photoshop、Xcode 或任何原生应用。网页只是人们实际在电脑上做的事情的一小部分。
- 虚拟机——启动一台无头虚拟机，把智能体指向它。这行得通，但又慢又贵，而且这台虚拟机是一个孤立的沙盒——不是你真正的、有你的文件、你的应用、你的上下文的电脑。
- 本地 SDK——直接在机器上运行智能体。这需要在本地安装智能体软件，并在隔离极少的情况下授予深层系统权限。
每种做法都有同一个根本局限：它们不是为此而设计的。浏览器自动化只在浏览器里有用。虚拟机是昂贵的沙盒。本地 SDK 引发安全担忧。
如果有一套早已建成的基础设施，专门用来让一个主体安全地、实时地、通过任何网络去查看和控制另一台电脑，会怎样？
远程桌面，就藏在眼前
想想远程桌面实际做了什么：
- 捕获主机电脑的屏幕截图
- 实时把它们串流给远程客户端
- 接受输入指令（鼠标点击、键盘、滚动）
- 把这些输入原生地注入主机操作系统
- 把一切端到端加密
再想想 AI 智能体使用电脑需要什么：
- 看到屏幕上有什么（截图）
- 决定做什么（这是智能体的工作）
- 点击、输入、滚动（输入注入）
- 看到结果（下一张截图）
- 保证一切安全
这是同一个循环。远程桌面的本质，恰恰就是 AI 智能体所需要的界面层。
智能体需要一双眼睛。如今，在大多数技术栈里，它是在黑暗中摸索——而远程桌面，就是让它终于能看见的那一层。
为什么 Remio 的架构格外合适
并非每个远程桌面都为此做好了同样的准备。大多数远程桌面是为盯着屏幕的人类打造的，而不是为以毫秒级间隔发出命令的、由 API 驱动的智能体。Remio 恰好已经具备了合适的部件。
原生输入注入
Remio 不会通过辅助功能的取巧办法或虚拟键盘来模拟输入。它使用操作系统自己的输入管线，进行精确的、原生级别的鼠标和键盘注入。操作系统分不出人类和 Remio 之间的差别。AI 智能体继承了这同一项能力。
屏幕截图捕获
Remio 主机已经能捕获屏幕，最高 6K 120 FPS，并且能按需交付单独的帧。AI 智能体不需要完整的帧率——它每个动作只需要一张干净的截图，而且要送得快。当捕获管线本来就在运行时，这轻而易举。
为速度而设计的协议
客户端和主机之间的每一条命令，都通过一种零拷贝的二进制格式传输，解析耗时不到一毫秒。当 AI 智能体发出“在 (500, 300) 处点击”时，这条命令的解析和执行开销可以忽略不计。没有 JSON 解析，没有 XML。
直接的加密连接
一切都在两台设备之间端到端加密——默认点对点直连，只有在你的网络需要时才使用加密中继。智能体的命令和屏幕数据从不会以可读的形式经过我们的服务器；就连中继看到的也只是密文。当智能体在与你真正的工作电脑、你的文件、你的应用交互时，这一点非常重要。
启动应用
Remio 已经能为已连接的客户端在主机上启动应用。一旦有了面向智能体的 API，智能体就可以说“打开终端”，让 Remio 来完成——而不必重新发明早已建好的应用启动管道。
它可能是什么样子
想象这样一个工作流：
你对 Claude 说：“去我的 Mac 上，用 Excel 打开财务报告，用这些数据更新第四季度的数字，导出为 PDF，然后用邮件发给团队。”
Claude 通过 Remio 的 API 连接到你的 Mac。它看到你的桌面。它打开 Excel。它找到正确的文件。它更新单元格。它导出。它打开邮件。它发出邮件。每一步都看得见、可审计，并且端到端加密。
没有虚拟机。没有只限浏览器的局限。你真正的电脑，你真正的应用，你真正的文件——由 AI 通过一条早已存在的安全隧道来控制。
最难的部分已经完成
打造一个可靠的远程桌面，需要数年的工作。屏幕捕获管线。视频编码。能应对每一种操作系统怪癖的输入注入。穿过家用路由器和防火墙的点对点直连。加密。延迟优化。
这一切在 Remio 里都已经存在。面向智能体的平台并不需要是从零开始打造的新产品——它会是对已有基础设施的一个新界面。不再是人在看屏幕，而是 AI 智能体来处理这些画面。不再是人在移动鼠标，而是由一次 API 调用发送坐标。
还需要打造的，是 API 层本身：一个干净的、带身份验证的接口，让 AI 智能体可以连接、请求截图、发送命令并接收结果。这一层目前还不存在。这是有分量的工程，但相比底层基础设施的复杂度，它只是一小部分。
一份坦诚的评估
我们在这方面还处于早期研究阶段。确实存在一些挑战：
- 安全模型——如何安全地授予 AI 智能体访问你电脑的权限？它能得到哪些权限？如何撤销访问？这需要仔细设计。
- 截图速率——AI 模型处理图像的速度比人类处理视频要慢。交互模式不同：发送截图，等待智能体做决定，执行，再重复。优化这个循环很重要。
- 错误恢复——当 AI 智能体点错了按钮，它如何恢复？这更多是 AI 的问题而不是 Remio 的问题，但平台需要能从容地支持它。
我们并不假装这些问题已经解决。但基础设施的根基——那个困难的部分——已经在那儿了。
无意中成形的平台
我们打造 Remio，并不是为了 AI 智能体。但回头看我们已经做出来的东西——原生输入注入、实时屏幕捕获、直接的端到端加密连接、为速度调校的二进制协议——很难想象还有比这更适合 AI 使用电脑的基础。
有时候，最好的产品来自意想不到的交汇。远程桌面技术和 AI 智能体，表面上并不显得应该走到一起。但你越是看清双方各自需要什么，这种结合就越显得是必然。
AI 智能体需要屏幕。Remio 提供屏幕——安全、原生、实时、通过任何网络。缺失的那一块一直都在。我们只是不知道它缺的是用来干什么的。
我们正在积极探索这个领域。如果你正在打造需要与真实电脑交互的 AI 智能体，我们很乐意听到你的想法。未来也许会比我们任何人预料的都来得更快。
