✦IA

Trasmetti meno, vedi di più: come la super-risoluzione sul dispositivo potrebbe dimezzare la banda del desktop remoto

Il gaming ha capito come renderizzare meno e vedere di più. Portiamo lo stesso trucco nel desktop remoto — un piccolo modello sul tuo dispositivo che ricostruisce un'immagine 4K da uno stream grande la metà.

Il problema di banda di cui nessuno parla

Il desktop remoto ha un sporco segreto: è un divoratore di banda.

Trasmettere un desktop a 60 fps richiede grosso modo da 3 a 8 Mbps a 1080p e da 8 a 15 Mbps a 4K con i codec moderni. Con la fibra va bene. Va bene con un buon Wi-Fi di casa. Ma passa al Wi-Fi di un albergo, fai tethering dal telefono o prova a lavorare da un bar in una città affollata — e tutto va in pezzi.

La soluzione attuale è desolantemente semplice. Quando la banda cala, riduci la qualità. Abbassa la risoluzione. Riduci il framerate. Accetta testo sfocato e video a scatti finché le condizioni non migliorano. Ogni app di desktop remoto lo fa. È stata l'unica opzione per vent'anni.

E se ci fosse un modo migliore?

E se, invece di inviare uno stream 1080p nitido e degradarlo quando le condizioni peggiorano, potessi inviare sempre un piccolo stream 1080p — e farlo sembrare 4K dall'altra parte?

Questa è la super-risoluzione con IA. E non è fantascienza. Il gaming la fa da anni.

La pipeline di streaming con super-risoluzione

Il passaggio dal gaming al desktop remoto è sorprendentemente lineare. Nel gaming, renderizzi a bassa risoluzione e fai l'upscaling. Nello streaming, codifichi a bassa risoluzione e fai l'upscaling. Quattro fasi, da sinistra a destra, da un capo all'altro.

La pipeline di super-risoluzione — quattro fasi
FaseOutputMetrica
01 · AcquisizioneFrame a risoluzione nativa3840×2160 → 1920×1080 prima della compressione
02 · CodificaStream H.265 a 1080pCodec: HEVC · CBR 3 Mbps
03 · Trasmissione~3 Mbps su WANBanda: 3 Mbps · latenza ~20 ms
04 · Upscaling & renderingOutput 4K Metal / VulkanModello: 280 KB · latenza aggiunta <3 ms

Stessa nitidezza percepita. Circa un quarto della banda. E poiché l'host codifica un'immagine più piccola, lavora anche meno — meno uso di CPU, meno calore, più batteria sui portatili.

Bilancio della banda — 4K percepito, in tre modi
ApproccioBanda necessaria
Oggi · stream 4K nativo~12 Mbps
Oggi · stream 1080p~5 Mbps
Con la super-risoluzione · 4K con upscaling~3 Mbps

L'industria del gaming ha già risolto questo problema

Nel 2018 NVIDIA ha introdotto il DLSS — Deep Learning Super Sampling. Il concetto era quasi troppo bello per essere vero: renderizzare un gioco a risoluzione più bassa, poi usare una rete neurale per portarlo all'aspetto della risoluzione nativa. Meno lavoro per la GPU, stessa qualità visiva.

I giocatori erano scettici. Come poteva un'immagine generata dall'IA sembrare buona quanto pixel renderizzati in modo nativo? Ma i risultati hanno parlato da soli. Nel 2026 il DLSS 4.5 usa modelli transformer che producono immagini che molti giocatori in realtà preferiscono al rendering nativo — bordi più netti, migliore stabilità temporale, meno artefatti.

AMD ha seguito con FSR. Apple ha introdotto MetalFX. Intel ha lanciato XeSS. L'intero settore è convergito sulla stessa intuizione:

Il pixel più intelligente è quello che non devi mai renderizzare.

All'industria del gaming sono serviti circa cinque anni per passare da “è un giochino” a “è obbligatorio”. Il desktop remoto non ha nemmeno iniziato.

IA sul dispositivo, privata per progetto

Ecco dove diventa davvero interessante — e dove ci distinguiamo da come potresti aspettarti che funzioni l'IA.

Il modello di super-risoluzione gira interamente sul tuo dispositivo. Non nel cloud. Non su un server. Sul telefono o sul portatile che hai in mano.

I dispositivi moderni sono assurdamente potenti per l'IA sul dispositivo. L'Apple Neural Engine sui chip serie M gestisce 15,8 trilioni di operazioni al secondo. La NPU Hexagon di Qualcomm sui recenti chip Snapdragon è nella stessa categoria. Questi processori dedicati all'IA restano inattivi per la maggior parte del tempo. Noi li mettiamo al lavoro.

L'inferenza girerebbe nella pipeline di rendering, tra decodifica e visualizzazione. Il modello vede un frame 1080p e restituisce un frame 4K. Il budget di latenza è sotto i 3 millisecondi — un prototipo che non lo rispetta non viene rilasciato.

E poiché tutto gira in locale:

Questo è in linea con la filosofia di Remio basata sulla privacy. Non vogliamo i tuoi dati. Non vogliamo nemmeno vedere il contenuto del tuo schermo. L'IA sul dispositivo ci permette di offrire funzioni all'avanguardia senza sapere letteralmente nulla di ciò che fai.

Perché funziona solo sulle app native

Ecco la parte che lega tutto — ed è il motivo per cui abbiamo scritto un intero articolo sull'essere nativi.

Per far girare una rete neurale nella pipeline di rendering senza aggiungere latenza visibile, servono:

  1. Accesso al Neural Engine o alla NPU. Richiede API native — CoreML su Apple, NNAPI su Android. Non esiste un'API web per il Neural Engine. Le app Electron non possono raggiungerlo.
  2. Integrazione nella pipeline GPU. Il frame con upscaling deve passare direttamente al display senza copie extra. Metal e Vulkan lo permettono. WebGL non dà questo livello di controllo.
  3. Tempi sotto i 3 ms. Ogni millisecondo in più conta in una pipeline di streaming in tempo reale. Il garbage collector di JavaScript da solo può introdurre pause imprevedibili. Il codice nativo dà tempi deterministici.

Un'app Electron dovrebbe decodificare il video nella pipeline multimediale di Chromium, estrarre il frame in JavaScript, in qualche modo invocare il Neural Engine (impossibile senza binding nativi), riprendere il frame con upscaling e mostrarlo attraverso il compositor di Chromium. Ogni passaggio aggiunge latenza e complessità. Il sovraccarico totale arriverebbe probabilmente a 15-25 ms — troppo lento per l'uso in tempo reale.

La super-risoluzione nella pipeline di streaming non è solo un problema di IA. È un problema di ingegneria dei sistemi. E l'ingegneria dei sistemi richiede codice nativo.

Per questo, dopo due anni di lavoro su Remio, nessun desktop remoto basato su Electron ha rilasciato l'upscaling con IA. Non è che non vogliano. È l'architettura che non glielo permette.

Le sfide tecniche e come le stiamo risolvendo

Non faremo finta che sia facile. Ci sono sfide reali.

Latenza del modello. Il modello deve girare in meno di 3 ms per frame a 60 fps. Non resta alcun margine per architetture gonfie. Usiamo modelli convoluzionali ottimizzati — non transformer, che sono troppo lenti per l'inferenza per frame — tarati specificamente sulle unità di esecuzione del Neural Engine.

Diversità dei contenuti. I contenuti del desktop remoto sono molto diversi da quelli del gaming. Testo, fogli di calcolo, editor di codice, riproduzione video, strumenti di design — il modello deve gestire tutto. Ci addestriamo su dataset che includono specificamente elementi di interfaccia desktop, non solo immagini naturali.

Stabilità temporale. L'upscaling frame per frame può causare sfarfallio. Il gaming l'ha risolto con l'accumulo temporale — riutilizzando le informazioni dei frame precedenti. Stiamo esplorando tecniche simili, fornendo al modello di upscaling i vettori di movimento del codec video.

Efficienza energetica. Far girare una rete neurale 60 volte al secondo su un telefono sembra costoso. Ma il Neural Engine è progettato esattamente per questo — è più efficiente della GPU nelle operazioni su matrici. I primi prototipi di laboratorio indicano un costo di batteria di una sola cifra, piccolo.

La sfida onesta: perché è più difficile che nel gaming

Abbiamo parlato del DLSS e della super-risoluzione nel gaming come ispirazione — e lo sono. Ma l'onestà intellettuale impone di spiegare perché l'upscaling nel desktop remoto è un problema fondamentalmente più difficile.

Il DLSS nel gaming ha vantaggi sleali. I motori di gioco forniscono all'IA dati ricchi che nel nostro mondo non esistono:

In altre parole, la super-risoluzione nel gaming è una ricostruzione guidata con ricchi dati ausiliari. L'upscaling nel desktop remoto è super-risoluzione cieca da video compresso con perdita — un punto di partenza molto più difficile.

Questo non significa che l'approccio sia sbagliato. Anche miglioramenti modesti della qualità visiva a bitrate più bassi portano risparmi reali di banda. Ma vogliamo essere trasparenti: il tetto di qualità dell'upscaling cieco è più basso di ciò che il DLSS ottiene con la piena integrazione nel motore. Stiamo costruendo qualcosa di davvero utile, non dichiariamo parità con un'altra tecnologia.

Cosa significa per te

Quando la super-risoluzione con IA arriverà in Remio, non dovrai pensarci. Non c'è alcun interruttore, alcuna impostazione, alcuna “modalità IA”. L'app automaticamente:

Sulle connessioni veloci potrebbe non servire alcun upscaling. Su quelle lente sarà la differenza tra “inutilizzabile” e “sembra di essere seduto davanti al mio computer”.

È questo l'obiettivo. Non un'IA a cui devi pensare. Un'IA che fa semplicemente funzionare meglio tutto, in silenzio, in modo privato, sul dispositivo che già possiedi.

Lo stiamo esplorando ora — senza alcuna data promessa — insieme ad altre idee su dove l'IA potrebbe portare il desktop remoto. Esce solo se mantiene il testo più nitido dello stream che sostituisce.

Trasmetti meno. Vedi di più. Questo è il futuro.

✦Domande

Domande frequenti

Quanta banda può far risparmiare la super-risoluzione?
È l'obiettivo che inseguiamo: oggi uno stream 4K richiede tipicamente circa 12 Mbps, e codificare a 1080p con upscaling sul dispositivo potrebbe offrire una qualità percepita simile con una frazione di quella banda. Niente esce finché i numeri di laboratorio non reggono.
La super-risoluzione sul dispositivo aggiunge una latenza percepibile?
Il budget per cui progettiamo è di pochi millisecondi per frame sui moderni Apple Silicon e sulle recenti NPU Snapdragon — una piccola fetta del tempo tra i frame di uno stream a 60 fps. Se un prototipo non regge quel limite, non viene rilasciato.
Perché funziona solo sulle app native?
L'upscaling in tempo reale richiede accesso diretto al Neural Engine o alla NPU e integrazione GPU senza copie tramite Metal o Vulkan. Gli stack di browser ed Electron non possono raggiungere quelle API con il budget di tempo richiesto.
Il contenuto del mio schermo viene inviato a qualche server cloud?
No. Il progetto è rigorosamente sul dispositivo: un piccolo modello incluso nell'app, ogni inferenza in locale. Nessun frame, embedding o traccia del modello lascerebbe mai la tua macchina.
Scaricherà la mia batteria?
Il Neural Engine è molto più efficiente della GPU nel lavoro su matrici. I primi prototipi di laboratorio indicano un consumo piccolo, di una sola cifra, a 60 fps, spesso compensato da un costo di decodifica e di radio più basso grazie allo stream più piccolo — e il rilascio dipende dal fatto che resti così.
È la stessa cosa del DLSS di NVIDIA?
È ispirata al DLSS ma tecnicamente più difficile. Il DLSS legge vettori di movimento e profondità dal motore. Noi lavoreremmo solo da video compresso — super-risoluzione cieca. I risparmi potenziali sono reali; il tetto di qualità è più basso.
Icona dell'app Remio

Prova tu stesso la base

Remio è gratuito, nativo su ogni piattaforma e cifrato end-to-end. La stessa pipeline a bassa latenza che porterà la super-risoluzione con IA sta girando proprio ora.

GratuitoIA sul dispositivoPrivato per progetto