Gaming heeft uitgevonden hoe je minder rendert en meer ziet. Wij brengen dezelfde truc naar extern bureaublad — een klein model op je apparaat dat een 4K-beeld reconstrueert uit een stream van de halve grootte.
Het bandbreedteprobleem waar niemand over praat
Extern bureaublad heeft een vuil geheimpje: het is een bandbreedteverslinder.
Een bureaublad streamen op 60 fps kost met moderne codecs grofweg 3 tot 8 Mbps op 1080p en 8 tot 15 Mbps op 4K. Dat is prima op glasvezel. Dat is prima op sterk wifi thuis. Maar stap op hotelwifi, tether vanaf je telefoon of probeer te werken in een koffiebar in een drukke stad — en alles valt uit elkaar.
De huidige oplossing is deprimerend simpel. Als de bandbreedte daalt, verlaag je de kwaliteit. Lagere resolutie. Lagere framerate. Accepteer wazige tekst en hakkelige video tot de omstandigheden verbeteren. Elke app voor extern bureaublad doet dit. Het is twintig jaar de enige optie geweest.
Wat als er een betere manier was?
Wat als je, in plaats van een scherpe 1080p-stream te sturen en die te verslechteren als het zwaar weer wordt, de hele tijd een kleine 1080p-stream stuurt — en die aan de andere kant op 4K laat lijken?
Dat is AI-superresolutie. En het is geen sciencefiction. Gaming doet het al jaren.
De streamingpijplijn met superresolutie
De vertaling van gaming naar extern bureaublad is verrassend zuiver. In gaming render je op lage resolutie en schaal je op. Bij streaming codeer je op lage resolutie en schaal je op. Vier fasen, van links naar rechts, van begin tot eind.
| Fase | Uitvoer | Meetwaarde |
|---|---|---|
| 01 · Opnemen | Frame in native resolutie | 3840×2160 → 1920×1080 vóór compressie |
| 02 · Coderen | 1080p H.265-stream | Codec: HEVC · CBR 3 Mbps |
| 03 · Versturen | ~3 Mbps over WAN | Bandbreedte: 3 Mbps · latentie ~20 ms |
| 04 · Opschalen & renderen | 4K Metal / Vulkan-uitvoer | Model: 280 KB · extra latentie <3 ms |
Dezelfde waargenomen scherpte. Grofweg een kwart van de bandbreedte. En omdat de host een kleiner beeld codeert, doet hij ook minder werk — lager cpu-gebruik, minder warmte, meer batterij op laptops.
| Aanpak | Benodigde bandbreedte |
|---|---|
| Vandaag · native 4K-stream | ~12 Mbps |
| Vandaag · 1080p-stream | ~5 Mbps |
| Met superresolutie · opgeschaalde 4K | ~3 Mbps |
De gamingindustrie heeft dit al opgelost
In 2018 introduceerde NVIDIA DLSS — Deep Learning Super Sampling. Het concept was bijna te mooi om waar te zijn: render een game op lagere resolutie en gebruik dan een neuraal netwerk om op te schalen tot het eruitziet als de native resolutie. Minder werk voor de GPU, dezelfde beeldkwaliteit.
Gamers waren sceptisch. Hoe kon een door AI gegenereerd beeld er net zo goed uitzien als native gerenderde pixels? Maar de resultaten spraken voor zich. In 2026 gebruikt DLSS 4.5 transformermodellen die beelden produceren die veel spelers zelfs verkiezen boven native rendering — scherpere randen, betere temporele stabiliteit, minder artefacten.
AMD volgde met FSR. Apple introduceerde MetalFX. Intel bracht XeSS uit. De hele industrie kwam tot hetzelfde inzicht:
De slimste pixel is de pixel die je nooit hoeft te renderen.
De gamingindustrie had ongeveer vijf jaar nodig om van "dit is een gimmick" naar "dit is verplicht" te gaan. Extern bureaublad is er nog niet eens aan begonnen.
AI op het apparaat, privé door ontwerp
Hier wordt het echt interessant — en hier verschillen we van hoe je AI zou verwachten te werken.
Het superresolutiemodel draait volledig op je apparaat. Niet in de cloud. Niet op een of andere server. Op de telefoon of laptop in je handen.
Moderne apparaten zijn absurd krachtig voor AI op het apparaat. De Neural Engine van Apple in M-chips verwerkt 15,8 biljoen bewerkingen per seconde. De Hexagon NPU van Qualcomm in recente Snapdragon-chips zit in dezelfde categorie. Deze speciale AI-processors staan het grootste deel van de tijd stil. Wij zetten ze aan het werk.
De inferentie zou in de renderpijplijn draaien, tussen decoderen en weergeven. Het model ziet een 1080p-frame en geeft een 4K-frame terug. Het latentiebudget is minder dan 3 milliseconden — een prototype dat dat niet haalt, komt niet uit.
En omdat alles lokaal draait:
- Er verlaat geen data je apparaat — je schermcontent blijft privé
- Geen internet nodig voor AI — het model werkt offline
- Geen abonnement voor AI-functies — het zit in de app ingebouwd
- Geen serverkosten — schaalt oneindig omdat elke gebruiker zijn eigen rekenkracht meebrengt
Dit sluit aan bij de privacy-eerst-filosofie van Remio. We willen je data niet. We willen je schermcontent niet eens zien. Met AI op het apparaat kunnen we vooruitstrevende functies leveren terwijl we letterlijk niets weten over wat je doet.
Waarom dit alleen werkt op native apps
Hier komt alles samen — en daarom schreven we een heel bericht over native gaan.
Om een neuraal netwerk in de renderpijplijn te draaien zonder zichtbare latentie toe te voegen, heb je nodig:
- Toegang tot de Neural Engine of NPU. Dit vereist native API's — CoreML op Apple, NNAPI op Android. Er bestaat geen web-API voor de Neural Engine. Electron-apps komen er niet bij.
- Integratie met de GPU-pijplijn. Het opgeschaalde frame moet zonder extra kopieën rechtstreeks naar het scherm. Metal en Vulkan laten dat toe. WebGL geeft je dat niveau van controle niet.
- Timing onder 3 ms. Elke extra milliseconde telt in een realtime streamingpijplijn. Alleen al de garbage collector van JavaScript kan onvoorspelbare pauzes veroorzaken. Native code geeft deterministische timing.
Een Electron-app zou de video in de mediapijplijn van Chromium moeten decoderen, het frame naar JavaScript moeten halen, op de een of andere manier de Neural Engine moeten aanroepen (onmogelijk zonder native bindings), het opgeschaalde frame terug moeten krijgen en het via de compositor van Chromium moeten tonen. Elke stap voegt latentie en complexiteit toe. De totale overhead zou waarschijnlijk 15 tot 25 ms bedragen — te traag voor realtime gebruik.
Superresolutie in de streamingpijplijn is niet alleen een AI-probleem. Het is een systeemengineeringprobleem. En systeemengineering vraagt om native code.
Daarom heeft, na twee jaar Remio bouwen, geen extern bureaublad op Electron-basis AI-upscaling uitgebracht. Niet omdat ze het niet willen. De architectuur laat het niet toe.
De technische uitdagingen, en hoe we ze oplossen
We doen niet alsof dit makkelijk is. Er zijn echte uitdagingen.
Modellatentie. Het model moet bij 60 fps in minder dan 3 ms per frame draaien. Dat laat geen ruimte voor opgeblazen architecturen. We gebruiken geoptimaliseerde convolutionele modellen — geen transformers, die zijn te traag voor inferentie per frame — specifiek afgestemd op de uitvoeringseenheden van de Neural Engine.
Diversiteit van content. Content van extern bureaublad verschilt enorm van gamingcontent. Tekst, spreadsheets, code-editors, videoweergave, ontwerptools — het model moet het allemaal aankunnen. We trainen op datasets die specifiek elementen van bureaubladinterfaces bevatten, niet alleen natuurlijke beelden.
Temporele stabiliteit. Frame voor frame opschalen kan flikkering veroorzaken. Gaming loste dit op met temporele accumulatie — informatie van eerdere frames hergebruiken. We onderzoeken vergelijkbare technieken, waarbij we bewegingsvectoren van de videocodec in het opschalingsmodel voeren.
Energie-efficiëntie. Een neuraal netwerk 60 keer per seconde op een telefoon draaien klinkt duur. Maar de Neural Engine is precies hiervoor ontworpen — hij is energiezuiniger dan de GPU voor matrixbewerkingen. Vroege labprototypes wijzen op slechts een klein eencijferig batterijverbruik.
De eerlijke uitdaging: waarom dit moeilijker is dan gaming
We hebben DLSS en superresolutie in gaming als inspiratie genoemd — en dat zijn ze. Maar intellectuele eerlijkheid vraagt dat we uitleggen waarom opschalen voor extern bureaublad een fundamenteel moeilijker probleem is.
DLSS in gaming heeft oneerlijke voordelen. Game-engines geven de AI rijke data die in onze wereld niet bestaat:
- Bewegingsvectoren. De engine weet precies waar elk object tussen frames heen is bewogen. Wij krijgen gecomprimeerde video zonder bewegingsdata op scèneniveau.
- Dieptebuffers. DLSS weet welke pixels dichtbij en welke ver weg zijn. Wij zien een plat 2D-beeld.
- Temporele geschiedenis. DLSS verzamelt detail over meerdere frames met engine-data. Wij werken met afzonderlijk gecomprimeerde frames die elke keer andere artefacten kunnen hebben.
- Speciale hardware. De Tensor Cores van NVIDIA leveren 384+ TOPS die specifiek voor deze workload zijn geoptimaliseerd. Mobiele Neural Engines zijn krachtig maar dienen een ander doel.
Met andere woorden: superresolutie in gaming is een begeleide reconstructie met rijke aanvullende data. Opschalen voor extern bureaublad is blinde superresolutie uit verliesgevende, gecomprimeerde video — een veel moeilijker uitgangspunt.
Dit betekent niet dat de aanpak verkeerd is. Zelfs bescheiden verbeteringen in beeldkwaliteit bij lagere bitrates leveren echte bandbreedtewinst op. Maar we willen transparant zijn: het kwaliteitsplafond voor blind opschalen ligt lager dan wat DLSS bereikt met volledige engine-integratie. We bouwen iets echt bruikbaars en beweren geen gelijkwaardigheid met een andere technologie.
Wat dit voor jou betekent
Als AI-superresolutie in Remio uitkomt, hoef je er niet over na te denken. Er is geen schakelaar, geen instelling, geen "AI-modus". De app zal automatisch:
- Je beschikbare bandbreedte detecteren
- De optimale coderesolutie kiezen
- Op het apparaat opschalen tot je scherm
- In realtime aanpassen als de omstandigheden veranderen
Op snelle verbindingen hoeft hij misschien helemaal niet op te schalen. Op trage verbindingen is het het verschil tussen "onbruikbaar" en "voelt alsof ik voor mijn computer zit".
Dat is het doel. Geen AI waar je over moet nadenken. AI die alles gewoon beter laat werken, stil, privé, op het apparaat dat je al hebt.
We onderzoeken het nu — zonder datum te beloven — naast andere ideeën over waar AI extern bureaublad naartoe kan brengen. Het komt er alleen als het tekst scherper houdt dan de stream die het vervangt.
Minder streamen. Meer zien. Dat is de toekomst.
