Upscaling neurale sul dispositivo, in sviluppo — pixel più nitidi da uno stream più leggero.

Uno stream di desktop remoto subisce due compressioni prima di arrivare ai tuoi occhi. Prima, l'host riduce la risoluzione quando quella di origine supera ciò che il tuo client può mostrare: un MacBook Pro M4 da 14" che fa da host a 3024 per 1964 trasmesso a un iPad mini a 2266 per 1488 ha già rinunciato a circa un terzo dei suoi pixel prima che l'encoder veda il fotogramma. Poi, l'encoder stesso applica una compressione con perdita per rientrare nel bitrate che la rete può trasportare. Entrambi i passaggi eliminano il dettaglio ad alta frequenza, esattamente ciò che fa la differenza tra il glifo nitido di un carattere e una macchia sfocata.

L'idea che stiamo esplorando è un passaggio di recupero della qualità eseguito sul client dopo la decodifica: guardare il fotogramma decompresso e prevedere il contenuto ad alta frequenza che il fotogramma originale aveva prima di essere ridotto e spremuto attraverso l'encoder. A differenza dell'upscaling classico bilineare o bicubico — che può solo interpolare dai pixel già presenti — una rete neurale addestrata può imparare che aspetto hanno bordi, lettere e forme dell'interfaccia a piena risoluzione e ricostruire dettagli che una semplice interpolazione non recupera.

Se funziona come speriamo, l'effetto sarebbe più visibile proprio dove serve di più: il testo di corpo a 11 punti, il codice in un carattere a spaziatura fissa, le linee sottili in un file Figma, i contorni dei pulsanti in una barra laterale. Sono i casi in cui qualche pixel sbavato fa la differenza tra "leggibile" e "devo avvicinarmi". È un vero divario in ciò che può fare da solo qualsiasi encoder ottimizzato per il movimento, ed è proprio per questo che vale la pena dedicare tempo di ricerca a scoprire se un modello sul dispositivo può colmarlo.

Non ci siamo ancora. Oggi, la risposta onesta a "come mantengo nitida una sessione con una connessione scadente" è il motore di bitrate adattivo di Remio: legge già la tua rete e sceglie l'intervallo che mantiene l'immagine nitida quanto la connessione consente, senza picchi di lag. L'upscaling neurale sarebbe un livello aggiuntivo sopra di esso, non un sostituto.

Batte chiaramente ciò che abbiamo già? Il motore di bitrate adattivo di Remio legge già la tua connessione e sceglie l'intervallo che mantiene l'immagine nitida quanto la rete consente. Un modello neurale si guadagna il posto solo se recupera dettaglio oltre quel livello di base con un margine che le persone notino davvero, non una vittoria in un benchmark che sparisce alla normale distanza di visione.

Costa una quantità significativa di batteria su un telefono o un tablet? Eseguire un modello su ogni fotogramma decodificato, per tutta la sessione, ha un costo energetico reale. Vorremmo che quel costo fosse abbastanza piccolo da non doverci pensare, oppure un chiaro e onesto comportamento "Auto" che consumi batteria solo quando c'è qualcosa che vale la pena recuperare, con un vero interruttore per disattivarlo per chi preferisce non pagarlo affatto.

Resta onesto su ciò che fa? Un modello che ricostruisce dettagli plausibili da pixel compressi fa qualcosa di diverso da un modello che inventa contenuti che non c'erano mai stati. Per un desktop remoto, dove ciò che vedi deve corrispondere a ciò che c'è davvero sull'host, quella distinzione non è un di più: è l'intero modello di fiducia. Qualsiasi cosa rilasciamo dovrebbe ricostruire, mai inventare.

Finché non potremo rispondere a tutte e tre con numeri reali, non proiezioni, questa resta un'idea di ricerca su questa pagina, non un interruttore nell'app.

H.265 hardware da un capo all'altro significa che l'encoder sull'host e il decoder sul tuo client girano entrambi su silicio video dedicato, non sulla CPU: lo stesso motivo per cui un video 4K si riproduce fluido su un telefono che si bloccherebbe nel tentare di decodificarlo via software. Quel margine è ciò che permette a Remio di mantenere il dettaglio a un bitrate che un codec software non reggerebbe.

Il motore di bitrate adattivo è il pezzo che svolge il lavoro che l'upscaling neurale viene esplorato per aiutare a fare: misura la tua connessione all'inizio di una sessione e sceglie l'intervallo di bitrate più alto che quella connessione può sostenere senza picchi di lag, invece di affamare in silenzio lo stream. Scopri come funziona la qualità adattiva →

Il display virtuale e il renderer zero-buffering completano il quadro. Poiché il display trasmesso da Remio è dimensionato esattamente sulla tua finestra e non sull'intero monitor dell'host, non guardi mai una copia ridotta di qualcosa di più grande. E poiché il renderer mostra sempre il fotogramma decodificato più recente, scartando quelli vecchi invece di recuperarli, nulla di ciò che vedi è vecchio quando arriva sul tuo schermo. Con questi quattro elementi, la maggior parte delle sessioni non ha mai bisogno di un passaggio di recupero della qualità.

Non inventerebbe parti di interfaccia mancanti. Se un pulsante è tagliato al bordo di uno stream perché l'encoder ha scartato una regione, un modello che inventa il resto del pulsante non ha posto in un desktop remoto. Devi poterti fidare che ciò che vedi sul tuo iPad corrisponda a ciò che c'è davvero sull'host: un modello generativo che riempisse contenuti che non c'erano mai stati romperebbe quella fiducia, quindi rilasceremmo solo un modello che ricostruisce da pixel realmente codificati, mai uno che inventa.

Non pretenderebbe di aumentare la frequenza dei fotogrammi. La frequenza dei fotogrammi su Remio è determinata dalla frequenza di cattura dell'host e dalla capacità della rete di consegnare i fotogrammi in tempo: è un compito per il renderer zero-buffering già in uso, non per un upscaler. Qualsiasi modello che costruiamo produrrebbe un fotogramma più nitido per ogni fotogramma decodificato, niente di più.

Non verrebbe presentato come una correzione della riproduzione video sull'host. Se guardi un film sul tuo Mac remoto, ciò che viene trasmesso è quello che il decoder video dell'host stesso ha reso, alla risoluzione dell'host. Un passaggio di recupero della qualità sullo stream non migliora una sorgente che l'host ha già prodotto; per una riproduzione dei film più nitida, il consiglio onesto resta quello di oggi: riproducilo sul tuo dispositivo client, non sull'host.

E non sarebbe mai venduto come sostituto di una buona rete. Una connessione LAN diretta sarà sempre più nitida di una connessione WAN limitata con qualsiasi quantità di upscaling sopra: il motore di bitrate adattivo che Remio offre oggi ti dà già la migliore immagine che la tua connessione reale può sostenere. Tutto ciò che costruiamo qui sarebbe un'assicurazione aggiuntiva per le reti scadenti, non un sostituto di una buona.