私たちは、AIエージェントのためにRemioをつくったわけではありません。けれど、エージェントに必要なもの、つまり本物の画面に向けた目、本物のキーボードに置いた手、その間をつなぐ安全なトンネルを見れば見るほど、リモートデスクトップこそが、ずっと欠けていたインターフェイスだったように思えてきます。
AIがコンピューターを使う時代
この1年で、AIの世界で根本的なことが変わりました。言語モデルは、もはや単なるテキストの生成器ではなくなったのです。コンピューターを使い始めました。
AnthropicはClaude Computer Useを公開しました。OpenAIのエージェントは、ブラウザーを操作できます。GoogleのGeminiは、Androidを操作します。その流れは明らかです。AIエージェントには、画面を見て、ボタンをクリックし、本物のアプリケーションに入力することが、ますます求められています。
しかし、誰も話していない問題があります。AIエージェントは、実際にどうやってコンピューターにたどり着くのでしょうか。
エージェントが画面を必要とする場面
インフラの話をする前に、仕事そのものを見てみましょう。人がエージェントに頼むことの多くは、きれいに整ったAPI呼び出しではありません。状態に満ちた画面、条件によって項目が変わるフォーム、必要なものをHTTPで公開しないアプリです。エージェントには、目が必要です。今日のほとんどの構成では、暗闇で指先だけを動かしている状態です。
01確定申告をする
エージェントは、複数ページにわたるフォームの12行目を見て、申告区分のために正しいドロップダウンを選び、送信する前に合計が更新されたことを確認する必要があります。その税務ソフトには、公開されたAPIがありません。GUIそのものが、インターフェイスなのです。
リモートデスクトップなら、ライブのフォームが見えます。エージェントは、項目を読み、入力し、送信をクリックする前に、合計がリアルタイムに更新されるのを確認します。
02複雑な旅行を予約する
複数のサイト、異なるレイアウト、空き状況に左右される日付、あるサイトでは自動入力されるのに別のサイトでは入力されない会員番号。APIが対応するのは、その一部で、すべてではありません。
リモートデスクトップなら、エージェントに、人が使うのと同じブラウザーを渡せます。複数のタブをまたいで結果を比べ、支払う前に、画面で最終的な価格を確認します。
03契約書をレビューする
PDFは、変更履歴、赤字、コメントのあるデスクトップアプリの中にあります。エージェントは、余白を読み、インラインのメモをたどり、弁護士が承諾も却下もできる修正案を提案する必要があります。
リモートデスクトップなら、文書が、弁護士に見えているとおりにストリーミングされます。エージェントが注釈を付け、弁護士が承認する。すべてがひとつの画面で完結します。
04ブラウザー内のエディターをデバッグする
あるバグは、Figmaでキャンバスが特定のズームのとき、特定のプラグインが実行されたあとにだけ現れます。ヘッドレスのツールでは、再現できません。エージェントは、エンジニアに見えているものを、見なければなりません。
リモートデスクトップなら、エージェントにライブのエディターを渡せます。手順を再現し、壊れたフレームを捉え、チームのための、きれいな再現手順を報告できます。
現在のアプローチと、その不足点
いま、GUIを操作する必要があるAIエージェントには、限られた選択肢しかありません。
- ブラウザーの自動化：PlaywrightやSeleniumのようなツールは、Webアプリを動かせます。しかし、Photoshop、Xcode、あらゆるネイティブアプリケーションは使えません。Webは、人がコンピューターで実際にしていることの、ほんの一部です。
- 仮想マシン：ヘッドレスのVMを立ち上げて、エージェントをそこに向けます。動きますが、遅く、高価で、VMは隔離されたサンドボックスです。ファイル、アプリ、文脈を備えたあなたの本物のコンピューターではありません。
- ローカルのSDK：エージェントをマシン上で直接動かします。エージェントのソフトウェアをローカルにインストールする必要があり、最小限の隔離で、システムへの深いアクセスを許すことになります。
どのアプローチにも、根本的な同じ限界があります。そのために設計されたものではないのです。ブラウザーの自動化は、ブラウザーでしか動きません。VMは、高価なサンドボックスです。ローカルのSDKは、セキュリティ上の懸念を生みます。
ひとつの存在が、別のコンピューターを、安全に、リアルタイムに、どんなネットワーク越しにも見て、操作できるようにするインフラが、すでに存在していたとしたらどうでしょう。
リモートデスクトップは、すぐそばに隠れていた
リモートデスクトップが、実際に何をしているのかを考えてみましょう。
- ホストのコンピューターのスクリーンショットを取得する
- それを、リモートのクライアントにリアルタイムでストリーミングする
- 入力のコマンド（マウスのクリック、キーボード、スクロール）を受け取る
- それらの入力を、ホストのOSにネイティブに注入する
- すべてを、エンドツーエンドで暗号化する
次に、AIエージェントがコンピューターを使うために必要なことを考えてみましょう。
- 画面に何があるかを見る（スクリーンショット）
- 何をするかを決める（エージェントの仕事）
- クリック、入力、スクロールをする（入力の注入）
- 結果を見る（次のスクリーンショット）
- すべてを安全に保つ
同じループです。リモートデスクトップは、本質的に、まさにAIエージェントが必要とするインターフェイスの層なのです。
エージェントには、目が必要です。今日のほとんどの構成では、暗闇で指先だけを動かしている状態で、リモートデスクトップは、ついに見えるようにする層です。
Remioのアーキテクチャが、ひときわ適している理由
すべてのリモートデスクトップが、同じようにこれに備えているわけではありません。ほとんどは、画面を見つめる人間のためにつくられていて、ミリ秒の間隔でコマンドを発射する、API駆動のエージェントのためではありません。Remioには、たまたま、すでに適切な部品がそろっています。
ネイティブの入力注入
Remioは、アクセシビリティの小細工や仮想キーボードで入力を模倣しません。OS自身の入力パイプラインを使い、精密でネイティブなレベルのマウスとキーボードの入力注入を行います。OSは、人間とRemioの違いを区別できません。AIエージェントは、この同じ能力を引き継ぎます。
スクリーンショットの取得
Remioのホストは、すでに最大6K・120 FPSで画面をキャプチャしており、個々のフレームを必要に応じて渡せます。AIエージェントに、フルのフレームレートは要りません。必要なのは、操作ごとに、きれいなスクリーンショットを1枚、すばやく届けることです。キャプチャのパイプラインがすでに動いているなら、それはごく簡単なことです。
速度のために設計されたプロトコル
クライアントとホストの間のすべてのコマンドは、ゼロコピーのバイナリ形式で運ばれ、1ミリ秒未満で解析されます。AIエージェントが「(500, 300)でクリック」と送れば、そのコマンドは、ごくわずかなオーバーヘッドで解析され、実行されます。JSONの解析も、XMLもありません。
直接の暗号化された接続
すべては、2台のデバイスの間で、エンドツーエンドで暗号化されます。デフォルトで直接のピアツーピアで、ネットワークが求めるときにだけ、暗号化されたリレーを使います。エージェントのコマンドと画面のデータが、読める形で当社のサーバーに触れることはなく、リレーにも暗号文しか見えません。エージェントが、実際の仕事用のコンピューター、ファイル、アプリケーションを操作するときに、これは非常に重要です。
アプリの起動
Remioは、すでに、接続したクライアントのために、ホストのマシンでアプリケーションを起動できます。エージェント向けのAPIができれば、エージェントが「ターミナルを開いて」と言うだけで、Remioがそれを実現できるようになります。すでに作ってあるアプリ起動の配管を、作り直す必要はありません。
どんな形になるか
こんなワークフローを想像してみてください。
あなたがClaudeに伝えます。「私のMacに行って、Excelで財務レポートを開いて、この数字で第4四半期を更新して、PDFで書き出して、チームにメールして。」
Claudeは、RemioのAPIを通じてMacに接続します。デスクトップが見えます。Excelを開きます。正しいファイルを探します。セルを更新します。書き出します。メールを開きます。メールを送ります。すべてのステップが見え、監査でき、エンドツーエンドで暗号化されています。
仮想マシンも、ブラウザーだけという制約もありません。あなたの本物のコンピューター、本物のアプリ、本物のファイルを、すでに存在する安全なトンネルを通して、AIが操作します。
難しい部分は、すでにできている
信頼できるリモートデスクトップをつくるには、何年もの作業が必要です。画面キャプチャのパイプライン。映像のエンコード。あらゆるOSの癖に対応する入力の注入。家庭用のルーターやファイアウォールを越える直接のピアツーピア接続。暗号化。遅延の最適化。
そのすべては、すでにRemioにあります。エージェント向けのプラットフォームは、ゼロから作る新しい製品である必要はありません。すでにあるインフラへの、新しいインターフェイスになるのです。画面を見る人間のかわりに、AIエージェントがフレームを処理します。マウスを動かす人間のかわりに、API呼び出しが座標を送ります。
これから作る必要があるのは、API層そのものです。AIエージェントが接続し、スクリーンショットを要求し、コマンドを送り、結果を受け取れる、きれいで、認証されたインターフェイス。それは、まだ存在しません。意味のあるエンジニアリングですが、土台のインフラの複雑さに比べれば、ほんの一部です。
率直な評価
この分野は、まだ調査の初期段階です。本物の課題があります。
- セキュリティモデル：AIエージェントに、コンピューターへのアクセスを、どうすれば安全に許可できるのか。どんな権限を与えるのか。アクセスをどう取り消すのか。慎重な設計が必要です。
- スクリーンショットの頻度：AIモデルが画像を処理する速度は、人間が映像を処理する速度より遅いのです。やり取りのパターンが違います。スクリーンショットを送り、エージェントの判断を待ち、実行して、繰り返す。このループを最適化することが重要です。
- エラーからの復旧：AIエージェントが間違ったボタンをクリックしたとき、どう復旧するのか。これはRemioの問題というよりAIの問題ですが、プラットフォームは、それを円滑にサポートする必要があります。
これらが解決済みのようなふりはしません。けれど、インフラの土台、つまり難しい部分は、すでにそこにあります。
たまたまできた、プラットフォーム
私たちは、AIエージェントのためにRemioをつくったわけではありません。しかし、私たちがつくってきたもの、つまりネイティブの入力注入、リアルタイムの画面キャプチャ、直接のエンドツーエンドで暗号化された接続、速度のために調整されたバイナリプロトコルを見ると、AIによるコンピューター操作のための、これ以上の土台は想像しにくいほどです。
最良の製品は、ときに、思いがけない交点から生まれます。リモートデスクトップの技術とAIエージェントは、一見すると組み合わさるべきものではありません。しかし、それぞれが必要とするものを見れば見るほど、その組み合わせは必然に思えてきます。
AIエージェントには、画面が必要です。Remioは、画面を、安全に、ネイティブに、リアルタイムに、どんなネットワーク越しにも提供します。欠けていたピースは、ずっとそこにありました。ただ、それが何のために欠けていたのかを、私たちが知らなかっただけです。
私たちは、この領域を積極的に探っています。本物のコンピューターを操作する必要のあるAIエージェントを開発しているなら、ぜひお話をお聞かせください。未来は、私たちの誰もが思うより早く訪れるかもしれません。
