ラボの中のアイデア — いつか、もっと鮮明なピクセルを。

リモートデスクトップのストリームは、目に届くまでに2回の圧縮を受けます。まず、元の解像度がクライアントの表示できる範囲を超えているとき、ホストが縮小します。たとえば、3024×1964でホストしているM4搭載の14インチMacBook Proを、2266×1488のiPad miniにストリーミングすると、エンコーダーがフレームを見る前に、すでにピクセルのおよそ3分の1を手放しています。次に、エンコーダー自身が、ネットワークで運べるビットレートに収めるため、非可逆圧縮をかけます。どちらの工程も、高周波の細部を捨てます。くっきりした文字の字形と、にじんだ塊を分けるのは、まさにその細部です。

私たちが検討しているのは、デコードの後にクライアントで動く品質回復の処理です。展開されたフレームを見て、縮小され、エンコーダーで圧縮される前の元のフレームが持っていた高周波の内容を予測します。すでにあるピクセルから補間することしかできない、従来のバイリニアやバイキュービックのアップスケーリングと違い、学習済みのニューラルネットワークは、エッジ、字形、UIの形が、フル解像度でどう見えるかを学べます。単純な補間では取り戻せない細部を、再構築できるのです。

期待どおりに働くなら、その効果は、まさに最も必要な場面で目立つはずです。11ポイントの本文、等幅フォントのコード、Figmaファイルの細い線、サイドバーのボタンの輪郭。数ピクセルのにじみが、「読める」と「顔を近づけないと読めない」を分ける場面です。これは、動きに合わせて調整されたエンコーダー単独では埋められない、実際のギャップです。だからこそ、デバイス上のモデルがそれを埋められるかどうかを確かめる研究に、時間をかける価値があります。

まだ、そこには至っていません。「回線の悪い環境で、セッションを鮮明に保つには」という問いへの、今日の正直な答えは、Remioの適応型ビットレートエンジンです。ネットワークを読み取り、ラグを急増させずに、回線が許す限り映像を鮮明に保つ範囲を選びます。ニューラルアップスケーリングは、その上に重ねる追加のレイヤーで、置き換えではありません。

すでにあるものを、はっきり上回るか？ Remioの適応型ビットレートエンジンは、すでにお使いの回線を読み取り、ネットワークが許す限り映像を鮮明に保つ範囲を選びます。ニューラルモデルが存在する意味を持つのは、そのベースラインを超える細部を、人が実際に気づくほどの差で取り戻せる場合だけです。通常の視聴距離では消えてしまうような、ベンチマーク上の勝利ではありません。

スマートフォンやタブレットで、無視できないバッテリーを消費しないか？ セッションのあいだ、デコードされたすべてのフレームでモデルを動かすと、電力の負担は実際にあります。誰も気にしなくてよいほど小さく抑えたいところです。あるいは、取り戻す価値のあるものがあるときだけバッテリーを使う、明確で正直な「自動」の挙動と、負担を払いたくない人のための本当のオフスイッチが必要です。

自分が何をしているかについて、正直であり続けられるか？ 圧縮されたピクセルから、それらしく見える細部を再構築するモデルは、もともとなかったコンテンツを作り出すモデルとは別のことをしています。見えているものがホストにあるものと一致しなければならないリモートデスクトップでは、この区別は、あればよいものではありません。信頼のモデルそのものです。出荷するものは、再構築はしても、決して幻覚を起こしてはなりません。

3つすべてに、予測ではなく実際の数値で答えられるまで、これはこのページに書かれた研究上のアイデアにとどまり、アプリのトグルにはなりません。

ハードウェアH.265のエンドツーエンドとは、ホストのエンコーダーもクライアントのデコーダーも、CPUではなく専用のビデオ用シリコンで動くということです。ソフトウェアでデコードしようとすると詰まってしまうスマートフォンでも、4K動画がなめらかに再生されるのと同じ理由です。この余力があるから、Remioは、ソフトウェアのコーデックでは維持できないビットレートでも、細部を保てます。

適応型ビットレートエンジンは、ニューラルアップスケーリングが助けになるかを検討している仕事を、実際に担っている部分です。セッションの開始時にお使いの回線を測り、ラグを急増させずに維持できる最も高いビットレートの範囲を選びます。ストリームをこっそり痩せさせることはしません。適応型品質のしくみを読む →

仮想ディスプレイと、バッファリングなしのレンダラーが、これを仕上げます。Remioがストリーミングするディスプレイは、ホストのモニター全体ではなく、お使いのウインドウにぴったり合わせたサイズなので、より大きなものを縮小したコピーを見ることはありません。そしてレンダラーは、常に最新のデコード済みフレームを描画し、古いものは追いかけずに捨てるので、画面に届くときに古くなっているものはありません。この4つがそろえば、ほとんどのセッションで、品質回復の処理は、そもそも必要ありません。

存在しないUIを、幻覚で作り出しません。エンコーダーが領域を落としたために、ストリームの端でボタンが途切れている場合、そのボタンの残りを作り出すモデルは、リモートデスクトップにふさわしくありません。iPadで見ているものが、ホストの実際の内容と一致すると信頼できなければなりません。もともとなかった内容を埋める生成モデルは、その信頼を壊します。だから、実際にエンコードされたピクセルから再構築するモデルだけを出荷し、作り出すモデルは決して出荷しません。

フレームレートが上がる、とは謳いません。Remioのフレームレートは、ホストのキャプチャレートと、ネットワークがフレームを時間どおりに届けられるかどうかで決まります。それは、すでに提供中のバッファリングなしのレンダラーの仕事で、アップスケーラーの仕事ではありません。私たちが作るどのモデルも、デコードしたフレームごとに、より鮮明な1フレームを出すだけで、それ以上のことはしません。

ホスト上の動画再生を直す、とは売り込みません。リモートのMacで映画を観ているなら、ストリーミングされるのは、ホスト自身のビデオデコーダーが、ホストの解像度で描画したものです。ストリームに品質回復の処理をかけても、ホストがすでに作り出した元の映像以上にはなりません。より鮮明な映画の再生を望むなら、正直なアドバイスは今日と変わりません。ホストではなく、手元のクライアントデバイスで再生してください。

そして、良いネットワークの代わりになるとは、決して売りません。LANの直接接続は、どれだけアップスケーリングを重ねても、帯域が絞られたWAN接続より、常に鮮明です。今日提供しているRemioの適応型ビットレートエンジンは、実際の回線が維持できる最高の映像を、すでに届けています。ここで作るものは、悪いネットワークのための追加の保険であって、良いネットワークの代用品ではありません。