リモートデスクトップが空間コンピューティングと出会うとき

平面のモニターは、すべてのウインドウに、ひとつの距離の、ひとつの平面を分け合わせます。Apple Vision Proのようなヘッドセットは、すべてのウインドウに、それぞれの奥行きを与えます。別のマシンの画面を自分の手元に移すことが仕事のすべてであるリモートデスクトップにとって、それは機能ではなく、次の舞台です。

平面のモニターは、疑うのをやめてしまった妥協

今、コンピューターをどう使っているか、思い浮かべてください。画面がひとつ、運がよければふたつ、デスクに据えられているか、膝の上でバランスを取っています。あなたは、光の平らな長方形を見つめていて、作業のすべてが、その長方形の中で起きています。

それが、40年間の取り決めでした。より多くのピクセル、より細いベゼル、より良い色。けれど、常に長方形で、常に決まった広さの画面で、常にひとつの決まった距離にある、物理的な空間を占める物理的な物体です。

空間コンピューティングは、その契約を完全に壊します。画面は、もはや物体ではありません。それが属する奥行きに置かれたアイデアです。手の届く距離に道具、机の距離にエディター、さらに奥に参照用のドキュメント、壁にはアンビエントなウィジェット。

ほとんどのアプリにとって、それは、あればうれしいものです。別のマシンの画面を自分の手元に移すことが仕事のすべてであるリモートデスクトップにとっては、パラダイムシフトです。

奥行きが、ワークスペースをどう組み替えるか

空間コンピューティングで最も過小評価されているのは、ウインドウの大きさではなく、奥行きです。人は、すでに毎日、距離によって注意を重ねています。手の中のノート、机の上のノートPC、オフィスの向こうの会議室。平面のモニターは、そのすべてをひとつの平面に押し込めます。

奥行きが存在しないふりをやめたとき、リモートデスクトップのワークスペースがどう見えるかをご紹介します。

平面のモニターは、疑うのをやめてしまった妥協です。空間コンピューティングは、ようやく正しい問いを投げかけます。それぞれのウインドウは、どの奥行きに属するのか。

— Remioチーム。画面がデスクを離れるとき、何が変わるのかについて

リモートデスクトップが、空間でより良くなる理由

リモートデスクトップは、これまでずっと、クライアントのデバイスの画面に制約されてきました。強力なMacやPCにアクセスしているのに、たまたま手にしているディスプレイ、つまり13インチのノートPC、10インチのiPad、6インチのスマートフォンを通して見ています。鍵穴越しに、デスクトップを見ているのです。

空間コンピューティングは、その鍵穴を取り払います。ホストの解像度は変わりません。デコーダーも同じです。変わるのは面です。ベゼルに縁取られた長方形の代わりに、ストリームは、ふさわしいと感じられるどんな大きさ、位置、奥行きにも着地します。

macOSは、すでにVision ProでMac Virtual Displayに対応しています。Macのディスプレイを、visionOSに、1つまたは複数の追加のモニターとして広げられます。Immersedのようなアプリは、複数画面の仮想ワークスペースを実証してきました。部品はそろっています。足りないのは、iPadアプリの上に後付けしたものではなく、この面のために設計されたリモートデスクトップの体験です。

現在の状況

今日、リモートのコンピューターを空間コンピューティングで使いたいなら、選択肢は限られています。

• macOSのMac Virtual Display — Appleの組み込みの機能。見事に動作しますが、Macが同じローカルネットワークにあるときだけです。ローカルの解決策であって、リモートではありません。
• Immersed — VRのワークスペースの先駆者。ローカルのマシン向けの仮想モニターに焦点を当てていて、リモートの能力は限られています。
• 従来のリモートデスクトップアプリ — ほとんどは、visionOS向けにまったく更新されていません。動くわずかなものも、互換ウインドウの中の、平面のiPadアプリとして動いているだけです。空間の認識も、ハンドトラッキングも、複数ウインドウの認識もありません。

ギャップは明らかです。空間コンピューティングを、あと付けではなく、第一級のプラットフォームとして扱うリモートデスクトップアプリを、誰も作っていません。

ネイティブアプリが有利な理由

ここで、何年も前に下したアーキテクチャの判断が、思いがけない配当を生み始めます。

visionOSは、ネイティブのAppleアプリのために作られています。ウインドウの管理、ジェスチャーのしくみ、空間レイアウトのエンジン、視線追跡の操作モデル。そのすべてがネイティブです。ネイティブアプリは、visionOSの機能を自然に取り込みます。ほかのフレームワークで書かれたアプリは、プラットフォームと戦わなければなりません。

Remioは、Appleのプラットフォームで100%ネイティブです。それは、Vision Proを念頭に置いた判断ではありません。開発を始めたとき、Vision Proは、まだ噂でした。ネイティブを選んだのは、iOSとmacOSのアプリを作る正しい方法だからです。けれど、その結果は大きなものです。RemioをvisionOSに移植することは、書き直しではなく、既存のコードベースの自然な延長になります。

私たちのストリーミングのパイプラインは、ハードウェアアクセラレーションによる映像のデコードに、AppleのVideoToolboxを使っています。VideoToolboxは、visionOSで動作します。入力の処理は、Appleのジェスチャー認識のしくみの上に作られていて、それはハンドトラッキングにまで広がります。UIのコンポーネントは、Appleのネイティブなレイアウトのしくみを使い、それはすでに空間のウインドウとボリュームを理解しています。どれも理論上の話ではありません。同じコードを、再コンパイルするだけです。

Electronベースのリモートデスクトップアプリと比べてみてください。visionOSで提供するには、プラットフォームを面白くするすべてを失う、平面の互換ウインドウで動かすか、システム層にWebブラウザのエンジンがないプラットフォームのために、描画のパイプライン全体を作り直すしかありません。ネイティブの道は、面白いところにたどり着く、唯一の道です。

空間のリモートデスクトップは、どんなものになりうるか

今日、visionOSのアプリを提供しているわけではありません。ただ、私たちが目指して設計している体験は、こうです。

• 宙に浮かぶデスクトップのウインドウ — リモートのMacのディスプレイを、現実の空間のどこにでも置けます。手で縁をつかんで、大きさを変えられます。
• 何もない空間に、複数の画面 — Macの物理的なモニターは1台でも、空間コンピューティングなら、複数の仮想ディスプレイを、それぞれ上のワークスペースのスタックの、それぞれの奥行きに提示できます。
• 視線とピンチによる操作 — 対象を見て、ピンチしてクリック。ホストに届くネイティブの入力は変わらず、目の前の面が変わります。
• 状況に合わせた配置 — 机で作業しているなら、リモートデスクトップは机の高さに現れます。ソファなら、心地よい角度で浮かびます。環境に適応します。
• 設計によるプライバシー — 誰も、画面を見ることができません。のぞき見はありません。カフェでの機密の作業も、ただの作業です。

最もむずかしいのは、描画ではありません。操作を自然に感じさせることです。遅延を意識しなければならないリモートデスクトップは、空間コンピューティングで使う価値のあるリモートデスクトップではありません。ハンドトラッキングからカーソルまでのパイプラインは、ガラスに触れるのと同じくらい即座に感じられなければなりません。それこそ、Remioのストリーミングのパイプラインが、何年も平面の画面で解いてきた問題です。

空間コンピューティングを、計画していたわけではありません。けれど、ネイティブで作ることで、偶然にも、そのための準備ができた土台を築いていました。

Remioのこれから

visionOSのアプリを、急いで市場に出すつもりはありません。利用者の基盤はまだ小さく、操作のパターンはまだ進化していて、Appleは毎年、意味のあるvisionOSのアップデートを提供します。開発ツールは、リリースのたびに、大きく良くなっています。

私たちがしていることは、visionOSとの互換性を意識して作ることです。iOSとmacOSのために下す、すべてのアーキテクチャの判断を、これは空間の文脈で動くか？という問いに照らして評価しています。ビュー、Metalの描画のパイプライン、ジェスチャーの処理。そのすべてが、時が来たときにきれいに移植できる形で作られています。

ハードウェアが転換点に達し、操作のパターンが安定したとき、Remioは準備ができています。互換モードで動く平面のアプリとしてではなく、visionOSの奥行きのすべてを使う、空間ネイティブな体験として。

平面のモニターは、いつも妥協でした。私たちは、その次に来るもののために作っています。