Aygıt üzerinde sinirsel ölçek büyütme, geliştirilmekte — daha hafif bir yayından daha keskin pikseller.

Bir uzak masaüstü yayını gözlerinize ulaşmadan önce iki sıkıştırma darbesi yer. Birincisi, kaynak çözünürlük istemcinizin gösterebileceğini aştığında host küçültme yapar — 2266 x 1488'lik bir iPad mini'ye yayın yapan 3024 x 1964'lük M4 MacBook Pro 14", kodlayıcı kareyi görmeden önce piksellerinin kabaca üçte birinden vazgeçmiştir. İkincisi, kodlayıcının kendisi ağın taşıyabileceği bit hızına sığmak için kayıplı sıkıştırma uygular. İki adım da yüksek frekanslı ayrıntıyı atar — net bir harf glifi ile bulanık bir leke arasındaki farkı yaratan tam da budur.

Araştırdığımız fikir, çözmeden sonra istemcide çalışacak bir kalite kurtarma geçişidir: açılmış kareye bakıp orijinal karenin küçültülmeden ve kodlayıcıdan sıkıştırılmadan önce sahip olduğu yüksek frekanslı içeriği tahmin etmek. Yalnızca zaten var olan piksellerden ara değer hesaplayabilen klasik çift doğrusal veya çift kübik ölçek büyütmenin aksine, eğitilmiş bir sinir ağı kenarların, harf biçimlerinin ve arayüz şekillerinin tam çözünürlükte nasıl göründüğünü öğrenebilir ve basit bir ara değerlemenin kurtaramayacağı ayrıntıyı yeniden kurabilir.

Umduğumuz gibi çalışırsa etki, en çok ihtiyaç duyduğunuz yerde en görünür olurdu: 11 punto gövde metni, tek aralıklı yazı tipinde kod, bir Figma dosyasındaki ince çizgiler, bir kenar çubuğundaki düğme çerçeveleri. Birkaç bulanık pikselin "okunabilir" ile "yaklaşmam gerekiyor" arasındaki farkı yarattığı durumlar bunlardır. Bu, hareket için ayarlı herhangi bir kodlayıcının kendi başına yapabildiğinde gerçek bir boşluktur — bir aygıt üstü modelin onu kapatıp kapatamayacağını öğrenmek için araştırma zamanına değmesinin nedeni tam olarak budur.

Henüz orada değiliz. Bugün "kötü bir bağlantıda oturumu nasıl keskin tutarım" sorusunun dürüst yanıtı, Remio'nun uyarlamalı bit hızı motorudur — ağınızı zaten okur ve gecikmeyi sıçratmadan görüntüyü bağlantının izin verdiği kadar keskin tutan aralığı seçer. Sinirsel ölçek büyütme, onun üzerine eklenecek bir katman olurdu; yerine geçen bir şey değil.

Zaten elimizdekini açıkça geçiyor mu? Remio'nun uyarlamalı bit hızı motoru bağlantınızı zaten okur ve görüntüyü ağın izin verdiği kadar keskin tutan aralığı seçer. Sinirsel bir model, ancak insanların gerçekten fark edeceği bir farkla bu temel çizginin ötesinde ayrıntıyı geri kazanırsa yerini hak eder — normal izleme mesafesinde kaybolan bir kıyaslama zaferiyle değil.

Telefon veya tablette anlamlı pil harcıyor mu? Tüm oturum boyunca çözülen her karede herhangi bir modeli çalıştırmanın gerçek bir güç maliyeti vardır. O maliyetin kimsenin düşünmesi gerekmeyecek kadar küçük olmasını — ya da yalnızca geri kazanmaya değer bir şey olduğunda pil harcayan, bunu hiç ödemek istemeyen herkes için gerçek bir kapatma anahtarı olan açık, dürüst bir "Otomatik" davranışını isterdik.

Ne yaptığı konusunda dürüst kalıyor mu? Sıkıştırılmış piksellerden makul görünen ayrıntıyı yeniden kuran bir model, hiç var olmamış içeriği uyduran bir modelden farklı bir şey yapar. Gördüğünüzün host'ta gerçekten olanla örtüşmesi gereken bir uzak masaüstü için bu ayrım olsa-iyi-olur değil — tüm güven modelidir. Yayına alacağımız her şey yeniden kurmalı, asla halüsinasyon görmemeli.

Üçünü de projeksiyonlarla değil gerçek sayılarla yanıtlayana dek bu, bu sayfada bir araştırma fikri olarak kalır — uygulamada bir anahtar değil.

Baştan sona donanım H.265, host'taki kodlayıcının ve istemcinizdeki çözücünün ikisinin de CPU'da değil özel video silikonunda çalışması demektir — 4K bir videonun, yazılımla çözmeye çalışırken zorlanacak bir telefonda akıcı oynamasıyla aynı neden. Remio'nun bir yazılım codec'inin sürdüremeyeceği bit hızında ayrıntıyı tutabilmesini sağlayan o boşluktur.

Uyarlamalı bit hızı motoru, sinirsel ölçek büyütmenin yardım etmesi için araştırıldığı asıl işi yapan parçadır: oturum başında bağlantınızı ölçer ve yayını sessizce aç bırakmak yerine, bağlantının gecikme sıçramaları olmadan sürdürebileceği en yüksek bit hızı aralığını seçer. Uyarlamalı kalitenin nasıl çalıştığını oku →

Sanal ekran ve sıfır arabellekli çizici tabloyu tamamlar. Remio'nun yayınladığı ekran host'un tam monitörü değil, tam olarak pencerenize göre boyutlandırıldığı için daha büyük bir şeyin küçültülmüş kopyasına hiç bakmazsınız. Ve çizici her zaman en yeni çözülmüş kareyi çizdiği — bayatlarına yetişmek yerine onları attığı — için gördüğünüz hiçbir şey ekranınıza ulaştığında eski değildir. Dördü arasında çoğu oturum bir kalite kurtarma geçişine hiç ihtiyaç duymaz.

Eksik arayüzü halüsinasyonla uydurmazdı. Kodlayıcı bir bölgeyi attığı için bir düğme yayının kenarında kesilmişse, düğmenin geri kalanını uyduran bir model uzak masaüstüne ait değildir. iPad'inizde gördüğünüzün host'ta gerçekte olanla örtüştüğüne güvenmeniz gerekir — hiç var olmamış içeriği dolduran üretken bir model bu güveni bozardı; bu yüzden yalnızca gerçekten kodlanmış piksellerden yeniden kuran bir modeli yayına alırdık, asla uyduran birini değil.

Kare hızını artırdığını iddia etmezdi. Remio'da kare hızı, host'un yakalama hızı ve ağın kareleri zamanında iletme yeteneğiyle belirlenir — bu, bir ölçek büyütücünün değil, zaten yayındaki sıfır arabellekli çizicinin işidir. Kurduğumuz her model, çözülen her kare için bir daha keskin kare üretirdi, fazlasını değil.

Host'ta video oynatmayı düzelttiği iddiasıyla sunulmazdı. Uzak Mac'inizde film izliyorsanız yayınlanan şey, host'un kendi video çözücüsünün host çözünürlüğünde çizdiğidir. Yayında bir kalite kurtarma geçişi, host'un zaten ürettiği bir kaynağı iyileştirmez; daha keskin film oynatma için dürüst öneri bugünküyle aynı kalır: onu host'ta değil, istemci aygıtınızda oynatın.

Ve asla iyi bir ağın yerine geçen bir şey olarak satılmazdı. Doğrudan bir LAN bağlantısı, üzerine ne kadar ölçek büyütme konursa konsun kısıtlanmış bir WAN bağlantısından her zaman daha keskin olacaktır — Remio'nun bugün sunduğu uyarlamalı bit hızı motoru, gerçek bağlantınızın sürdürebileceği en iyi görüntüyü zaten verir. Burada kuracağımız her şey kötü ağlar için ek sigorta olurdu, iyi bir ağın yerine geçen bir şey değil.