我們打造 Remio 時，並不是為了 AI 代理。但我們越是思考代理需要什麼 — 能看見真實螢幕的眼睛、能操作真實鍵盤的雙手，以及兩者之間的安全通道 — 就越覺得，遠端桌面正是一直以來缺少的那個介面。
AI 操作電腦的時代
過去一年，AI 世界發生了根本性的轉變。語言模型不再只是文字產生器，它們開始使用電腦了。
Anthropic 推出了 Claude Computer Use。OpenAI 的代理可以瀏覽網頁。Google 的 Gemini 能與 Android 互動。趨勢再明顯不過：AI 代理越來越需要看見螢幕、點按按鈕，並在真實的 App 中輸入內容。
但有個沒人談論的問題：AI 代理究竟要怎麼連上一台電腦？
代理需要螢幕的情境
在談基礎架構之前，先看看工作本身。人們請代理處理的事，大多不是一個乾淨俐落的 API 呼叫，而是一整個充滿狀態的畫面、一份有條件欄位的表單，或是一個不透過 HTTP 提供所需資料的 App。代理需要一雙眼睛。如今在大多數架構裡，它只能在黑暗中摸索。
01申報稅務
代理需要看到多頁表單的第 12 行，為申報身分選擇正確的下拉選項，並在送出前確認總額已更新。這套報稅軟體沒有公開的 API — 圖形介面就是介面。
遠端桌面會顯示即時的表單。代理讀取欄位、填入資料，並在按下送出前看著累計金額更新。
02預訂複雜的行程
多個網站、不同的版面、取決於空位的日期，還有一個在某個網站會自動填入、在另一個網站卻不會的會員編號。API 能涵蓋其中一部分 — 但絕不是全部。
遠端桌面讓代理使用與人類相同的瀏覽器。它會在各個分頁之間比較結果，並在付款前於螢幕上確認最終價格。
03審閱合約
PDF 存放在桌面 App 中，有追蹤修訂、紅線標記與註解。代理需要閱讀頁邊、跟著行內註記，並提出讓律師能接受或拒絕的修改建議。
遠端桌面會把文件以律師看到的樣子串流出來。代理加上註解，律師簽核，全都在同一個畫面中完成。
04除錯瀏覽器內的編輯器
有個錯誤只會在 Figma 的畫布縮放到特定比例、且執行過某個外掛程式之後才會出現。沒有任何無頭工具能重現它。代理必須看到工程師所看到的畫面。
遠端桌面讓代理取得即時的編輯器。它重現操作步驟、擷取出問題的畫格，並為團隊提交一份清楚的重現報告。
目前的做法，以及它們的不足
目前，需要與圖形介面互動的 AI 代理，選擇相當有限：
- 瀏覽器自動化 — Playwright 和 Selenium 這類工具可以操控網頁 App，但無法使用 Photoshop、Xcode 或任何原生應用程式。網頁只是人們在電腦上實際工作的一小部分。
- 虛擬機器 — 啟動一台無頭虛擬機器，讓代理去操作它。這行得通，但速度慢、成本高，而且虛擬機器是隔離的沙箱 — 並不是你的真實電腦，沒有你的檔案、你的 App 和你的工作脈絡。
- 本機 SDK — 直接在機器上執行代理。這需要在本機安裝代理軟體，並在幾乎沒有隔離的情況下授予深入的系統存取權限。
每種做法都有同樣的根本限制：它們並不是為此而設計的。瀏覽器自動化只能在瀏覽器中運作。虛擬機器是昂貴的沙箱。本機 SDK 則引發安全疑慮。
如果有一套早已建好的基礎架構，能讓一方安全、即時地透過任何網路查看並控制另一台電腦，那會怎麼樣？
遠端桌面，就藏在眼前
想想遠端桌面實際上做了什麼：
- 擷取主機電腦的螢幕畫面
- 即時將畫面串流到遠端的用戶端
- 接收輸入指令（滑鼠點按、鍵盤、捲動）
- 將這些輸入以原生方式注入主機作業系統
- 全程端對端加密
再想想 AI 代理使用電腦需要什麼：
- 看見螢幕上的內容（螢幕截圖）
- 決定要做什麼（代理的工作）
- 點按、輸入、捲動（輸入注入）
- 看見結果（下一張螢幕截圖）
- 確保一切安全
這是同一個循環。遠端桌面的本質，正是 AI 代理所需要的介面層。
代理需要一雙眼睛。如今在大多數架構裡，它只能在黑暗中摸索 — 而遠端桌面正是讓它終於能看見的那一層。
為什麼 Remio 的架構特別適合
並非每個遠端桌面都同樣準備好迎接這件事。多數遠端桌面是為盯著螢幕的人類打造，而不是為以毫秒間隔發送指令的 API 代理而設計。Remio 恰好已經具備了正確的元件。
原生輸入注入
Remio 不是透過輔助使用的取巧方式或虛擬鍵盤來模擬輸入。它使用作業系統自己的輸入管線，進行精準、原生層級的滑鼠與鍵盤注入。作業系統分辨不出是人類還是 Remio。AI 代理同樣繼承了這項能力。
螢幕截圖擷取
Remio 主機本來就會擷取螢幕，最高可達 6K、120 FPS，並能依需求提供單一畫格。AI 代理不需要完整的畫面更新率 — 它每個動作只需要一張乾淨的螢幕截圖，而且要快速送達。當擷取管線已經在運作時，這件事輕而易舉。
為速度而設計的通訊協定
用戶端與主機之間的每個指令，都透過零複製的二進位格式傳遞，解析時間不到一毫秒。當 AI 代理送出「在 (500, 300) 點按」時，這個指令的解析與執行幾乎沒有額外負擔。沒有 JSON 解析，也沒有 XML。
直接的加密連線
兩台裝置之間的一切都經過端對端加密 — 預設為直接點對點，只有在網路需要時才使用加密的中繼。代理的指令與螢幕資料絕不會以可讀的形式經過我們的伺服器；即使是中繼，看到的也只有密文。當代理正在與你真正的工作電腦、你的檔案、你的應用程式互動時，這一點至關重要。
啟動 App
Remio 已經能為已連線的用戶端，在主機上啟動應用程式。一旦有了面向代理的 API，代理只要說「打開終端機」，Remio 就能辦到 — 不必重新發明已經做好的 App 啟動機制。
這可能是什麼樣子
想像這樣的工作流程：
你告訴 Claude：「到我的 Mac 上，用 Excel 打開財務報表，用這份資料更新第四季數字，匯出成 PDF，再寄給團隊。」
Claude 透過 Remio 的 API 連上你的 Mac。它看見你的桌面，打開 Excel，找到正確的檔案，更新儲存格，匯出，打開郵件，寄出電子郵件。每個步驟都看得見、可稽核，並且端對端加密。
沒有虛擬機器，沒有僅限瀏覽器的限制。你真正的電腦、真正的 App、真正的檔案 — 由 AI 透過一條已經存在的安全通道來操控。
困難的部分早已完成
打造可靠的遠端桌面需要多年的功夫：螢幕擷取管線、影像編碼、能應付各種作業系統怪癖的輸入注入、穿越家用路由器與防火牆的直接點對點連線、加密，以及延遲最佳化。
這一切在 Remio 中都已經存在。面向代理的平台不需要是從零開始打造的新產品 — 它會是通往既有基礎架構的一個新介面。由 AI 代理來處理畫格，而不是由人類盯著螢幕；由 API 呼叫送出座標，而不是由人類移動滑鼠。
剩下要做的，是 API 層本身：一個乾淨、經過驗證的介面，讓 AI 代理能連線、請求螢幕截圖、送出指令並接收結果。這目前還不存在。這是有份量的工程，但相較於底層基礎架構的複雜度，只是其中一小部分。
誠實的評估
我們在這方面仍處於早期研究階段，確實存在一些挑戰：
- 安全模型 — 如何安全地授予 AI 代理存取你電腦的權限？它能取得哪些權限？如何撤銷存取？這需要審慎的設計。
- 螢幕截圖的頻率 — AI 模型處理圖片的速度比人類處理影片慢。互動模式也不同：送出螢幕截圖、等待代理做出決定、執行，然後重複。最佳化這個循環很重要。
- 錯誤復原 — 當 AI 代理點錯按鈕時，要如何復原？這比較偏向 AI 的問題，而不是 Remio 的問題，但平台需要能從容地支援。
我們不會假裝這些問題都已解決。但基礎架構的根基 — 困難的部分 — 已經就位。
意外誕生的平台
我們打造 Remio 並不是為了 AI 代理。但看看我們已經做出的成果 — 原生輸入注入、即時螢幕擷取、直接的端對端加密連線、為速度調校的二進位通訊協定 — 很難想像還有比這更適合 AI 操作電腦的基礎。
有時最好的產品誕生於意想不到的交會點。遠端桌面技術與 AI 代理，乍看之下並不顯然該湊在一起。但越是了解雙方的需求，這個組合就越顯得無可避免。
AI 代理需要螢幕。Remio 提供螢幕 — 安全、原生、即時，並且適用於任何網路。缺少的那一塊拼圖一直都在。我們只是不知道它原來是為了什麼而缺。
我們正積極探索這個領域。如果你正在打造需要與真實電腦互動的 AI 代理，歡迎與我們聯絡。未來可能比我們任何人預期的來得更快。
