Upscaling neural di perangkat, dalam pengembangan — piksel lebih tajam dari stream yang lebih ringan.

Stream remote desktop melewati dua kali pukulan kompresi sebelum sampai ke mata Anda. Pertama, host menurunkan skala saat resolusi sumber melebihi yang bisa ditampilkan klien — MacBook Pro M4 14" sebagai host di 3024 kali 1964 yang di-stream ke iPad mini di 2266 kali 1488 sudah kehilangan sekitar sepertiga pikselnya sebelum encoder melihat frame-nya. Kedua, encoder sendiri menerapkan kompresi lossy agar muat dalam bitrate yang bisa dibawa jaringan. Kedua langkah membuang detail frekuensi tinggi — persis yang membedakan glif huruf yang tajam dari gumpalan buram.

Ide yang kami jajaki adalah proses pemulihan kualitas yang berjalan di klien setelah decode: melihat frame yang sudah didekompresi dan memprediksi konten frekuensi tinggi yang dimiliki frame asli sebelum diturunkan skalanya dan diperas lewat encoder. Berbeda dengan upscaling bilinear atau bikubik klasik — yang hanya bisa menginterpolasi dari piksel yang ada — jaringan neural terlatih bisa mempelajari seperti apa tepi, bentuk huruf, dan bentuk UI di resolusi penuh, dan merekonstruksi detail yang tak bisa dipulihkan interpolasi sederhana.

Jika berhasil seperti harapan kami, efeknya akan paling terlihat persis di tempat yang paling Anda butuhkan: teks isi 11 poin, kode dalam font monospace, garis tipis di file Figma, garis tepi tombol di sidebar. Inilah kasus di mana beberapa piksel buram menjadi beda antara "terbaca" dan "saya harus mendekat". Itu celah nyata pada apa yang bisa dilakukan encoder yang disetel untuk gerakan sendirian — dan itulah mengapa riset ini layak dikerjakan untuk mencari tahu apakah model di perangkat bisa menutupnya.

Kami belum sampai di sana. Hari ini, jawaban jujur untuk "bagaimana menjaga sesi tetap tajam di koneksi buruk" adalah mesin bitrate adaptif Remio — ia sudah membaca jaringan Anda dan memilih rentang yang menjaga gambar setajam yang diizinkan koneksi, tanpa melonjakkan lag. Upscaling neural akan menjadi lapisan tambahan di atasnya, bukan penggantinya.

Apakah jelas mengungguli yang sudah kami punya? Mesin bitrate adaptif Remio sudah membaca koneksi Anda dan memilih rentang yang menjaga gambar setajam yang diizinkan jaringan. Model neural hanya layak jika memulihkan detail melebihi dasar itu dengan selisih yang benar-benar dirasakan orang — bukan kemenangan benchmark yang lenyap di jarak pandang normal.

Apakah memakan baterai secara berarti di ponsel atau tablet? Menjalankan model apa pun pada setiap frame yang didecode, sepanjang sesi, punya biaya daya nyata. Kami ingin biaya itu cukup kecil sehingga tak ada yang perlu memikirkannya — atau perilaku "Auto" yang jelas dan jujur yang hanya memakai baterai saat ada yang layak dipulihkan, dengan sakelar mati sungguhan bagi siapa pun yang tak mau membayarnya.

Apakah tetap jujur tentang apa yang dilakukannya? Model yang merekonstruksi detail yang tampak masuk akal dari piksel terkompresi melakukan hal berbeda dari model yang mengarang konten yang tak pernah ada. Untuk remote desktop, di mana yang Anda lihat harus cocok dengan isi host yang sebenarnya, pembedaan itu bukan pelengkap — itulah seluruh model kepercayaan. Apa pun yang kami rilis harus merekonstruksi, tak pernah berhalusinasi.

Sampai kami bisa menjawab ketiganya dengan angka nyata, bukan proyeksi, ini tetap menjadi ide riset di halaman ini — bukan sakelar di aplikasi.

H.265 perangkat keras ujung ke ujung berarti encoder di host dan decoder di klien Anda sama-sama berjalan di silikon video khusus, bukan CPU — alasan yang sama mengapa video 4K mulus diputar di ponsel yang akan kewalahan jika mendekodenya lewat perangkat lunak. Ruang gerak itulah yang memungkinkan Remio mempertahankan detail pada bitrate yang tak sanggup ditopang codec perangkat lunak.

Mesin bitrate adaptif adalah bagian yang mengerjakan tugas sebenarnya yang ingin dibantu upscaling neural: ia mengukur koneksi Anda di awal sesi dan memilih rentang bitrate tertinggi yang sanggup ditopang koneksi itu tanpa lonjakan lag, alih-alih diam-diam membuat stream kelaparan. Baca cara kerja kualitas adaptif →

Layar virtual dan renderer tanpa buffering melengkapinya. Karena layar yang di-stream Remio disesuaikan persis dengan jendela Anda, bukan monitor penuh host, Anda tak pernah melihat salinan yang diturunkan skalanya dari sesuatu yang lebih besar. Dan karena renderer selalu menggambar frame terdekode terbaru — membuang yang basi alih-alih mengejarnya — tak ada yang Anda lihat sudah usang saat sampai di layar. Dengan keempatnya, sebagian besar sesi tak pernah membutuhkan proses pemulihan kualitas sama sekali.

Ia tidak akan berhalusinasi UI yang hilang. Jika sebuah tombol terpotong di tepi stream karena encoder membuang suatu wilayah, model yang mengarang sisa tombol itu tak pantas ada di remote desktop. Anda harus bisa percaya bahwa yang Anda lihat di iPad sesuai dengan isi host yang sebenarnya — model generatif yang mengisi konten yang tak pernah ada akan merusak kepercayaan itu, sehingga kami hanya akan merilis model yang merekonstruksi dari piksel yang benar-benar dienkode, tak pernah yang mengarang.

Ia tidak akan mengklaim menaikkan frame rate. Frame rate di Remio ditentukan oleh laju capture host dan kemampuan jaringan mengirim frame tepat waktu — itu tugas renderer tanpa buffering yang sudah dirilis, bukan upscaler. Model apa pun yang kami bangun hanya akan menghasilkan satu frame yang lebih tajam per frame terdekode, tidak lebih.

Ia tidak akan dijajakan sebagai perbaikan pemutaran video di host. Jika Anda menonton film di Mac jauh Anda, yang di-stream adalah apa pun yang dirender decoder video host sendiri — di resolusi host. Proses pemulihan kualitas pada stream tak memperbaiki sumber yang sudah dihasilkan host; untuk pemutaran film yang lebih tajam, saran jujurnya tetap sama seperti hari ini: putar di perangkat klien Anda, bukan di host.

Dan ia tak akan pernah dijual sebagai pengganti jaringan yang bagus. Koneksi LAN langsung akan selalu lebih tajam daripada koneksi WAN yang terjepit dengan upscaling sebanyak apa pun di atasnya — mesin bitrate adaptif yang dirilis Remio hari ini sudah memberi Anda gambar terbaik yang sanggup ditopang koneksi Anda. Apa pun yang kami bangun di sini adalah asuransi tambahan untuk jaringan buruk, bukan pengganti jaringan yang baik.