Neurale upscaling op het apparaat, in ontwikkeling — scherpere pixels uit een lichtere stream.

Een stream van een extern bureaublad ondergaat twee compressieslagen voordat hij je ogen bereikt. Eerst schaalt de host omlaag als de bronresolutie hoger is dan je client kan tonen — een M4 MacBook Pro 14" die host op 3024 bij 1964 en naar een iPad mini op 2266 bij 1488 streamt, heeft al ongeveer een derde van zijn pixels opgegeven voordat de encoder het frame ziet. Daarna past de encoder zelf verliesgevende compressie toe om binnen de bitrate te blijven die het netwerk aankan. Beide stappen gooien hoogfrequent detail weg — precies wat het verschil maakt tussen een scherp teken en een vlek.

Het idee dat we onderzoeken, is een kwaliteitsherstelstap die op de client na het decoderen zou draaien: het gedecomprimeerde frame bekijken en de hoogfrequente inhoud voorspellen die het originele frame had voordat het werd verkleind en door de encoder geperst. Anders dan klassieke bilineaire of bicubische upscaling — die alleen kan interpoleren uit de pixels die er al zijn — kan een getraind neuraal netwerk leren hoe randen, letters en UI-vormen er op volledige resolutie uitzien, en detail reconstrueren dat een eenvoudige interpolatie niet kan herstellen.

Als het werkt zoals we hopen, zou het effect het best zichtbaar zijn waar je het het hardst nodig hebt: lopende tekst van 11 punten, code in een monospace-lettertype, haarlijntjes in een Figma-bestand, knoprandjes in een zijbalk. Dat zijn de gevallen waarin een paar uitgesmeerde pixels het verschil maken tussen "leesbaar" en "ik moet dichterbij komen". Dat is een echt gat in wat een op beweging afgestemde encoder zelf kan — en precies daarom is het de onderzoekstijd waard om te ontdekken of een model op het apparaat het kan dichten.

Zover zijn we nog niet. Het eerlijke antwoord op "hoe houd ik een sessie scherp op een slechte verbinding" is vandaag de adaptieve bitrate-engine van Remio — die leest al je netwerk en kiest het bereik dat het beeld zo scherp houdt als de verbinding toelaat, zonder vertraging te veroorzaken. Neurale upscaling zou een extra laag daarbovenop zijn, geen vervanging.

Is het duidelijk beter dan wat we al hebben? De adaptieve bitrate-engine van Remio leest al je verbinding en kiest het bereik dat het beeld zo scherp houdt als het netwerk toelaat. Een neuraal model verdient alleen een plek als het detail herstelt boven die basislijn, met een marge die mensen echt merken — geen benchmarkwinst die verdwijnt op normale kijkafstand.

Kost het merkbaar batterij op een telefoon of tablet? Een model op elk gedecodeerd frame draaien, de hele sessie lang, heeft echte energiekosten. We willen dat die zo klein zijn dat niemand erover hoeft na te denken — of een duidelijk, eerlijk "Automatisch"-gedrag dat alleen batterij verbruikt als er iets te herstellen valt, met een echte uitknop voor wie dat liever helemaal niet betaalt.

Blijft het eerlijk over wat het doet? Een model dat aannemelijk ogend detail reconstrueert uit gecomprimeerde pixels, doet iets anders dan een model dat inhoud verzint die er nooit was. Voor een extern bureaublad, waar wat je ziet moet overeenkomen met wat er echt op de host staat, is dat onderscheid geen extraatje — het is het hele vertrouwensmodel. Alles wat we uitbrengen moet reconstrueren, nooit hallucineren.

Totdat we alle drie met echte cijfers kunnen beantwoorden, geen projecties, blijft dit op deze pagina een onderzoeksidee — geen schakelaar in de app.

Hardware-H.265 van begin tot eind betekent dat de encoder op de host en de decoder op je client allebei op speciaal videosilicium draaien, niet op de cpu — dezelfde reden waarom een 4K-video soepel afspeelt op een telefoon die zou stikken als hij het in software moest decoderen. Die ruimte laat Remio detail vasthouden bij een bitrate die een softwarecodec niet zou volhouden.

De adaptieve bitrate-engine is het onderdeel dat de eigenlijke klus doet waarvoor neurale upscaling wordt onderzocht: hij meet je verbinding bij de start van een sessie en kiest het hoogste bitratebereik dat die verbinding aankan zonder vertragingspieken, in plaats van de stream stilletjes uit te hongeren. Lees hoe adaptieve kwaliteit werkt →

Het virtuele scherm en de zero-buffering-renderer maken het af. Omdat het scherm dat Remio streamt precies op je venster is afgestemd in plaats van op de volledige monitor van de host, kijk je nooit naar een verkleinde kopie van iets groters. En omdat de renderer altijd het nieuwste gedecodeerde frame tekent — oude frames weggooit in plaats van ze in te halen — is niets wat je ziet verouderd tegen de tijd dat het je scherm bereikt. Met die vier hebben de meeste sessies helemaal geen kwaliteitsherstelstap nodig.

Het zou geen ontbrekende UI hallucineren. Is een knop afgesneden aan de rand van een stream omdat de encoder een gebied liet vallen, dan hoort een model dat de rest van de knop verzint niet thuis op een extern bureaublad. Je moet erop kunnen vertrouwen dat wat je op je iPad ziet overeenkomt met wat er echt op de host staat — een generatief model dat inhoud invult die er nooit was, zou dat vertrouwen breken, dus we zouden alleen een model uitbrengen dat reconstrueert uit pixels die echt zijn gecodeerd, nooit een dat verzint.

Het zou niet beweren de framerate te verhogen. De framerate op Remio wordt bepaald door de opnamesnelheid van de host en het vermogen van het netwerk om frames op tijd te leveren — dat is werk voor de zero-buffering-renderer die al wordt geleverd, niet voor een upscaler. Elk model dat we bouwen, zou per gedecodeerd frame één scherper frame opleveren, niets meer.

Het zou niet worden aangeprezen als oplossing voor videoweergave op de host. Kijk je een film op je externe Mac, dan streamt wat de eigen videodecoder van de host heeft gerenderd — op de resolutie van de host. Een kwaliteitsherstelstap op de stream verbetert een bron die de host al heeft geproduceerd niet; voor scherpere filmweergave blijft het eerlijke advies hetzelfde als nu: speel hem af op je clientapparaat, niet op de host.

En het zou nooit worden verkocht als vervanging voor een goed netwerk. Een directe LAN-verbinding is altijd scherper dan een afgeknepen WAN-verbinding met hoeveel upscaling erbovenop ook — de adaptieve bitrate-engine die Remio nu levert, haalt al het beste beeld uit wat je echte verbinding aankan. Alles wat we hier bouwen, zou extra verzekering zijn voor slechte netwerken, geen vervanging voor een goed netwerk.