AIがリモートデスクトップを変えられる場所（私たちが探っているアイデア）

リモートデスクトップは、この20年、本当の意味での飛躍がありませんでした。AIなら、それを変えられると私たちは考えています。これは、それがどこなのか、そして私たちが探っているアイデアについてのエッセイです。いまのRemioに、AIの機能はなく、いつ提供するかの約束もしていません。

20年間の停滞

2026年のリモートデスクトップアプリを、どれか開いてみてください。次に、2006年のものを開きます。少し目を細めれば、基本的に同じものです。

アイコンは、平らになりました。接続は、少し速くなったかもしれません。ダークモードも加わったかもしれません。けれど根本的な体験、つまりマシンAからピクセルをストリーミングし、マシンBに表示して、入力を送り返すという流れは、20年のあいだ、意味のある変化がありません。

コーデックは良くなりました。H.264がJPEGに取って代わり、そこにH.265が現れました。帯域は安くなり、接続は速くなりました。けれど、中核のアーキテクチャ、つまりこれらのアプリがストリーミングをどう考えるかは、時が止まったままです。

ほとんどのリモートデスクトップアプリは、同じ方式を使っています。フレームをエンコードし、送り、デコードし、表示して、繰り返す。設定はほぼ固定です。品質は手動のことが多いです。そしてネットワークが落ち込むと、どこかでスライダーを動かすまで、映像がぐちゃぐちゃになることがあります。Remioは、ネットワークに合わせて、ビットレートと解像度を自分で適応させます。それは単なるエンジニアリングであって、AIではありませんが、その土台にある方式は同じです。

それは、技術の問題ではありません。想像力の問題です。

AIの登場：何が変わりうるか

私たちをわくわくさせ、いい意味で眠れなくさせているものが、これです。AIは、リモートデスクトップを改良するだけではないかもしれません。リモートデスクトップの可能性を、描き直すかもしれないのです。

設定パネルにチャットボットをくっつける、という話ではありません。ストリーミングのパイプラインの、いくつかの層に、知能を持ち込んで考え直すという話です。はっきりさせておくと、以下はすべて、アイデアであって、製品ではありません。

適応型の品質を、さらに先へ

多くのリモートデスクトップアプリには、品質のスライダーや、いくつかのプリセットから選ぶ「自動」モードがあります。Remioは、すでに、ネットワークに合わせてビットレートと解像度を自分で調整しています。私たちが面白いと思う問いは、それをどこまで進められるかです。

そこで、リアルタイムですべてを見ているAIを想像してみてください。ネットワークの帯域、遅延のジッター、パケットロスのパターン、画面に実際に何があるか、ドキュメントを読んでいるのか動画を見ているのか。そして、何十ものパラメーターを、同時に、継続的に最適化します。

画面に文字がある？ シャープさを上げて、フレームレートを下げる。動画を再生している？ 高いフレームレートに切り替えて、圧縮が強くなるのを受け入れる。3秒間、画面が動いていない？ 帯域をほぼゼロに落とす。素早くスクロールしている？ 一時的に品質を下げ、止まった瞬間に、クリスタルのように鮮明に戻す。

人間には、これはできません。単純なアルゴリズムでは、うまくできないかもしれません。デバイス上で動く、学習済みのモデルなら、できるかもしれません。それを確かめることが、探る意味です。

超解像：少なく送って、多く見る

私たちが説明すると、いちばん反応が大きいアイデアが、これです。

AIによるアップスケーリングの先駆けは、ゲームです。NVIDIAのDLSSは、ゲームを低い解像度でレンダリングし、深度バッファー、モーションベクトル、専用のTensorコアにアクセスできるニューラルネットワークで、見事な映像を再構築します。ゲームエンジンが、AIが活用できる豊富なデータを提供するため、見事に機能するのです。

リモートデスクトップのアップスケーリングは、この発想から着想を得ていますが、根本的に異なる課題に直面します。私たちが扱うのは、シーンのジオメトリやエンジンレベルのデータにアクセスできない、圧縮されたビデオフレームです。これは「ブラインド」な超解像で、より難しいものの、強力になりうるものです。アイデアは、ストリームを720pでエンコードし、デバイス上のAIで、1080pや1440pの品質に向けて再構築することです。うまくいけば、ゲームとは方式が違っても、帯域の節約は大きなものになりえます。

設計の意図：すべてがお使いのデバイス上で行われます。クラウドでの処理も、マシンの外に出るデータもありません。Apple Neural EngineやQualcommのNPUが、重い処理を担います。

入力予測：物理よりも速く感じられるか？

目立たないけれど、大きな違いを生むものが、これです。どのリモートデスクトップにも、固有の遅延があります。マウスを動かしてから、それが画面で動くのを見るまでの時間です。物理が下限を決めます。光が米国を横断するのに、約20 msかかります。

しかし、クライアントが、カーソルの行き先を予測できたらどうでしょう。マウスの動きは、でたらめではありません。加速のカーブ、ターゲットの大きさ、方向の意図といった、パターンに従います。軽量なモデルなら、カーソルの位置を、数十ミリ秒先まで予測できるかもしれません。

うまくいけば、リモートデスクトップは、光の速さが許すよりも速く感じられるでしょう。物理を破ったからではなく、物理を待つのをやめたからです。

なぜ難しいのか

ストリーミングのパイプラインにAIを入れるのは、聞こえるよりも難しいことです。私たちが何度もぶつかる問題は、次のとおりです。

• 遅延の予算：パイプラインの中のどんなモデルも、数ミリ秒に収まらなければなりません。さもないと、体験は良くなるどころか、悪くなります。
• ネイティブのハードウェアへのアクセス：Neural Engine、NPU、GPUに届くには、Webラッパーではなく、ネイティブコードが必要です。
• 画面のコンテンツは別物：写真やゲームで学習したモデルは、文字やインターフェイスの縁には、そのままでは通用しません。
• プライバシー：画面を見るものは、お使いのデバイスか、ホストで動くべきで、誰かのクラウドで動いてはいけません。
• 率直な評価：デモで見栄えのする機能も、実際のネットワークと、実際のハードウェアの上で生き残らなければなりません。

ピクセルをうまくストリーミングすることは、最低限の土台です。遅延を増やさずに、知能がそれを上回れるかどうかが、未解決の問いです。

だから私たちは、これらすべてを、ロードマップではなく研究として扱っています。アイデアは面白いけれど、証拠は、まだありません。

ストリーミングのパイプラインの中でAIを動かすのは、難しいことです。ハードウェアアクセラレーターにアクセスするには、（Electronではなく）ネイティブコードが必要です。遅延を増やさずに、AIの処理を挟み込むには、独自の描画パイプラインが必要です。機械学習の推論とリアルタイムの映像の、両方を理解している必要があります。それはまれな組み合わせで、私たちは、それをうまくできるかどうかを探っています。

ネイティブアプリが、これを試すのに向いている理由

ここで、完全にネイティブにするという私たちの判断が、思いもよらなかった形で報われるかもしれません。

Remioは、すべてのプラットフォームでネイティブアプリなので、各プラットフォームのハードウェアアクセラレーターに、直接アクセスできます。

• Apple Neural Engine：CoreMLを通じて使え、デバイス上のモデルの、自然な居場所です。
• Qualcomm Hexagon NPU：多くのAndroidのチップに搭載されています。GPUに触れずに、デバイス上でAIを動かせます。
• MetalとVulkan：ネイティブアプリが直接届くGPUの計算です。そこで推論を動かすのは、自然な延長になります。

Webラッパーでは、これは難しいことです。Neural Engineと対話するにはネイティブであること、映像のデコードと表示の間に機械学習の推論をスケジュールするにもネイティブであること、そしてAIのステップを、後付けでかぶせたものではなく、描画パイプラインの第一級の一部にするにも、ネイティブであることが必要です。

私たちのアーキテクチャは、AIのために作られたわけではありませんが、ネイティブで作ったことで、扉は開いたままです。それが、物事を、あえて難しい方法でつくることの強みです。

私たちが探っているアイデア

約束した日付も、宣伝用のロードマップもありません。いま実現していることと、まだアイデアでしかないことの、率直な一覧です。

いま：Remioは、ホスト上で、設定いらずで、ネットワークに合わせて、ビットレートと解像度をリアルタイムに適応させます。これはエンジニアリングであって、AIではありません。

検討中：デバイス上のニューラルアップスケーリングで、見た目の品質を保ちながら、ストリームに必要な帯域を減らすこと。このアイデアについて、詳しい記事を書きました。

こちらも検討中：予測的な入力、コンテンツを認識するエンコード、本物のデスクトップを操作できるエージェント、そして、まだお話しする準備ができていくつかのアイデア。ここにあるものは、いま提供しているものではなく、いつ提供するかの約束もしていません。

もしどれかを提供するなら、Remioの他の部分と同じルールに従います。お使いのデバイスかホストで動き、Remioのサーバーを通ることはなく、学習のために画面のデータを収集することもありません。

この先にあるもの

数年後、人々は、いまのリモートデスクトップアプリを、私たちがダイヤルアップのインターネットを振り返るように、振り返るかもしれません。「生のピクセルを送って、あとは祈るだけ？ それだけだったの？」

私たちの予感では、リモートデスクトップの未来は、より速いコーデックや太い回線よりも、何をしているのかを理解して、それに適応するアプリ、つまり、目に見えず、プライベートに、あなた自身のデバイス上で動くものに近いのではないかと思います。それは予感であって、ロードマップではありません。

私たちは、慎重に探ってみるだけの好奇心を持っています。何かが本当になったときには、はっきりそうお伝えします。