Das Gaming hat herausgefunden, wie man weniger rendert und mehr sieht. Wir bringen denselben Trick zu Remote Desktop – ein winziges Modell auf Ihrem Gerät, das aus einem Stream halber Größe ein 4K-Bild rekonstruiert.
Das Bandbreitenproblem, über das niemand spricht
Remote Desktop hat ein schmutziges Geheimnis: Er ist ein Bandbreitenfresser.
Einen Desktop mit 60 fps zu streamen braucht mit modernen Codecs grob 3 bis 8 Mbps bei 1080p und 8 bis 15 Mbps bei 4K. Auf Glasfaser ist das in Ordnung. Im starken Heim-WLAN auch. Aber betreten Sie ein Hotel-WLAN, tethern Sie vom Smartphone oder versuchen Sie, in einem Café einer belebten Stadt zu arbeiten – und alles fällt auseinander.
Die heutige Lösung ist deprimierend einfach. Sinkt die Bandbreite, wird die Qualität reduziert. Die Auflösung senken. Die Bildrate fallen lassen. Verschwommenen Text und ruckelndes Video hinnehmen, bis sich die Bedingungen bessern. Jede Remote-Desktop-App macht das. Zwanzig Jahre lang war es die einzige Option.
Was wäre, wenn es einen besseren Weg gäbe?
Was wäre, wenn Sie, statt einen gestochen scharfen 1080p-Stream zu senden und ihn bei rauen Bedingungen zu verschlechtern, die ganze Zeit einen kleinen 1080p-Stream senden könnten – und ihn am anderen Ende wie 4K aussehen lassen?
Das ist KI-Superauflösung. Und das ist keine Science-Fiction. Im Gaming gibt es sie seit Jahren.
Die Streaming-Pipeline mit Superauflösung
Die Übertragung vom Gaming auf Remote Desktop ist überraschend sauber. Beim Gaming rendert man in niedriger Auflösung und skaliert hoch. Beim Streaming kodiert man in niedriger Auflösung und skaliert hoch. Vier Stufen, von links nach rechts, Ende zu Ende.
| Stufe | Ausgabe | Messgröße |
|---|---|---|
| 01 · Aufnahme | Bild in nativer Auflösung | 3840×2160 → 1920×1080 vor der Kompression |
| 02 · Kodierung | 1080p-H.265-Stream | Codec: HEVC · CBR 3 Mbps |
| 03 · Übertragung | ~3 Mbps über WAN | Bandbreite: 3 Mbps · Latenz ~20 ms |
| 04 · Hochskalieren & darstellen | 4K-Ausgabe über Metal / Vulkan | Modell: 280 KB · zusätzliche Latenz <3 ms |
Gleiche wahrgenommene Schärfe. Etwa ein Viertel der Bandbreite. Und weil der Host ein kleineres Bild kodiert, arbeitet er auch weniger – geringere CPU-Last, weniger Wärme, mehr Akku bei Laptops.
| Ansatz | Benötigte Bandbreite |
|---|---|
| Heute · nativer 4K-Stream | ~12 Mbps |
| Heute · 1080p-Stream | ~5 Mbps |
| Mit Superauflösung · hochskaliertes 4K | ~3 Mbps |
Die Gaming-Branche hat das schon gelöst
2018 führte NVIDIA DLSS ein – Deep Learning Super Sampling. Das Konzept war fast zu gut, um wahr zu sein: ein Spiel in niedrigerer Auflösung rendern und dann mit einem neuronalen Netz so hochskalieren, dass es wie native Auflösung aussieht. Weniger Arbeit für die GPU, gleiche Bildqualität.
Spieler waren skeptisch. Wie sollte ein KI-erzeugtes Bild so gut aussehen wie nativ gerenderte Pixel? Doch die Ergebnisse sprachen für sich. Bis 2026 nutzt DLSS 4.5 Transformer-Modelle, die Bilder erzeugen, die viele Spieler dem nativen Rendering sogar vorziehen – schärfere Kanten, bessere zeitliche Stabilität, weniger Artefakte.
AMD folgte mit FSR. Apple führte MetalFX ein. Intel lieferte XeSS aus. Die gesamte Branche kam zur selben Einsicht:
Das klügste Pixel ist das, das Sie nie rendern müssen.
Die Gaming-Branche brauchte etwa fünf Jahre von „das ist eine Spielerei“ zu „das ist Pflicht“. Remote Desktop hat noch nicht einmal angefangen.
KI auf dem Gerät, privat von Grund auf
Hier wird es richtig interessant – und hier unterscheiden wir uns davon, wie Sie sich KI vielleicht vorstellen.
Das Superauflösungs-Modell läuft vollständig auf Ihrem Gerät. Nicht in der Cloud. Nicht auf irgendeinem Server. Auf dem Smartphone oder Laptop in Ihren Händen.
Moderne Geräte sind für KI auf dem Gerät absurd leistungsstark. Apples Neural Engine in den Chips der M-Serie schafft 15,8 Billionen Operationen pro Sekunde. Qualcomms Hexagon-NPU in aktuellen Snapdragon-Chips liegt in derselben Liga. Diese dedizierten KI-Prozessoren liegen die meiste Zeit brach. Wir setzen sie ein.
Die Inferenz würde in der Rendering-Pipeline laufen, zwischen Dekodierung und Anzeige. Das Modell sieht ein 1080p-Bild und gibt ein 4K-Bild aus. Das Latenzbudget liegt unter 3 Millisekunden – ein Prototyp, der es nicht einhält, wird nicht ausgeliefert.
Und weil alles lokal läuft:
- Keine Daten verlassen Ihr Gerät – Ihr Bildschirminhalt bleibt privat
- Kein Internet für KI nötig – das Modell funktioniert offline
- Kein Abo für KI-Funktionen – sie ist in die App eingebaut
- Keine Serverkosten – skaliert unbegrenzt, weil jeder Nutzer seine eigene Rechenleistung mitbringt
Das passt zu Remios Datenschutz-zuerst-Philosophie. Wir wollen Ihre Daten nicht. Wir wollen Ihren Bildschirminhalt nicht einmal sehen. KI auf dem Gerät erlaubt es uns, modernste Funktionen zu liefern und dabei buchstäblich nichts darüber zu wissen, was Sie tun.
Warum das nur mit nativen Apps funktioniert
Hier ist der Teil, der alles verbindet – und der Grund, warum wir einen ganzen Beitrag über den nativen Weg geschrieben haben.
Um ein neuronales Netz in der Rendering-Pipeline ohne sichtbare zusätzliche Latenz auszuführen, brauchen Sie:
- Zugriff auf die Neural Engine oder NPU. Das erfordert native APIs – CoreML bei Apple, NNAPI unter Android. Für die Neural Engine gibt es keine Web-API. Electron-Apps kommen nicht heran.
- Integration in die GPU-Pipeline. Das hochskalierte Bild muss ohne zusätzliche Kopien direkt zur Anzeige gelangen. Metal und Vulkan erlauben das. WebGL gibt Ihnen diese Kontrolle nicht.
- Timing unter 3 ms. In einer Echtzeit-Streaming-Pipeline zählt jede zusätzliche Millisekunde. Allein der Garbage Collector von JavaScript kann unvorhersehbare Pausen verursachen. Nativer Code liefert deterministisches Timing.
Eine Electron-App müsste das Video in der Medien-Pipeline von Chromium dekodieren, das Bild an JavaScript übergeben, irgendwie die Neural Engine ansprechen (ohne native Bindings unmöglich), das hochskalierte Bild zurückholen und über den Compositor von Chromium anzeigen. Jeder Schritt fügt Latenz und Komplexität hinzu. Der Gesamtaufwand läge wohl bei 15 bis 25 ms – zu langsam für den Echtzeiteinsatz.
Superauflösung in der Streaming-Pipeline ist nicht nur ein KI-Problem. Es ist ein Systemtechnik-Problem. Und Systemtechnik verlangt nativen Code.
Deshalb hat zwei Jahre nach Beginn der Arbeit an Remio kein Electron-basierter Remote Desktop KI-Hochskalierung ausgeliefert. Es liegt nicht daran, dass sie es nicht wollen. Die Architektur lässt es nicht zu.
Die technischen Herausforderungen und wie wir sie lösen
Wir tun nicht so, als wäre das einfach. Es gibt echte Herausforderungen.
Modell-Latenz. Das Modell muss bei 60 fps unter 3 ms pro Bild laufen. Das lässt keinen Raum für aufgeblähte Architekturen. Wir nutzen optimierte Faltungsmodelle – keine Transformer, sie sind für die Inferenz pro Bild zu langsam –, speziell auf die Ausführungseinheiten der Neural Engine abgestimmt.
Inhaltsvielfalt. Remote-Desktop-Inhalte unterscheiden sich stark von Gaming-Inhalten. Text, Tabellen, Code-Editoren, Videowiedergabe, Designwerkzeuge – das Modell muss alles bewältigen. Wir trainieren mit Datensätzen, die ausdrücklich Elemente von Desktop-Oberflächen enthalten, nicht nur natürliche Bilder.
Zeitliche Stabilität. Bild-für-Bild-Hochskalierung kann Flimmern verursachen. Das Gaming hat das mit zeitlicher Akkumulation gelöst – der Wiederverwendung von Informationen aus früheren Bildern. Wir erforschen ähnliche Techniken und speisen Bewegungsvektoren aus dem Video-Codec in das Hochskalierungsmodell ein.
Energieeffizienz. Ein neuronales Netz 60-mal pro Sekunde auf einem Smartphone auszuführen klingt teuer. Aber die Neural Engine ist genau dafür gebaut – bei Matrixoperationen ist sie energieeffizienter als die GPU. Frühe Laborprototypen deuten auf nur geringe, einstellige Akkukosten hin.
Die ehrliche Herausforderung: warum das schwerer ist als Gaming
Wir haben DLSS und Superauflösung im Gaming als Inspiration genannt – und das sind sie auch. Aber intellektuelle Ehrlichkeit verlangt, zu erklären, warum die Hochskalierung bei Remote Desktop grundsätzlich schwieriger ist.
DLSS im Gaming hat unfaire Vorteile. Spiele-Engines liefern der KI reichhaltige Daten, die in unserer Welt nicht existieren:
- Bewegungsvektoren. Die Engine weiß genau, wohin sich jedes Objekt zwischen den Bildern bewegt hat. Wir bekommen komprimiertes Video ohne Bewegungsdaten auf Szenenebene.
- Tiefenpuffer. DLSS weiß, welche Pixel nah und welche fern sind. Wir sehen ein flaches 2D-Bild.
- Zeitlicher Verlauf. DLSS akkumuliert Details über mehrere Bilder hinweg mithilfe von Engine-Daten. Wir arbeiten mit einzeln komprimierten Bildern, die jedes Mal andere Artefakte tragen können.
- Dedizierte Hardware. Die Tensor Cores von NVIDIA liefern 384+ TOPS, speziell für diese Last optimiert. Mobile Neural Engines sind leistungsstark, dienen aber einem anderen Zweck.
Anders gesagt: Superauflösung im Gaming ist eine geführte Rekonstruktion mit reichhaltigen Zusatzdaten. Hochskalierung bei Remote Desktop ist blinde Superauflösung aus verlustbehaftet komprimiertem Video – ein viel schwierigerer Ausgangspunkt.
Das heißt nicht, dass der Ansatz falsch ist. Schon bescheidene Verbesserungen der Bildqualität bei niedrigeren Bitraten bringen echte Bandbreiteneinsparungen. Aber wir wollen transparent sein: Die Qualitätsgrenze für blinde Hochskalierung liegt niedriger als das, was DLSS mit voller Engine-Integration erreicht. Wir bauen etwas wirklich Nützliches und behaupten nicht, mit einer anderen Technik gleichzuziehen.
Was das für Sie bedeutet
Wenn KI-Superauflösung in Remio erscheint, müssen Sie nicht daran denken. Es gibt keinen Schalter, keine Einstellung, keinen „KI-Modus“. Die App wird automatisch:
- Ihre verfügbare Bandbreite erkennen
- die optimale Kodierauflösung wählen
- auf dem Gerät hochskalieren, passend zu Ihrem Bildschirm
- sich in Echtzeit anpassen, wenn sich die Bedingungen ändern
Bei schnellen Verbindungen muss sie vielleicht gar nicht hochskalieren. Bei langsamen Verbindungen ist sie der Unterschied zwischen „unbrauchbar“ und „fühlt sich an, als säße ich vor meinem Computer“.
Das ist das Ziel. Keine KI, über die Sie nachdenken müssen. KI, die einfach alles besser funktionieren lässt, leise, privat, auf dem Gerät, das Sie ohnehin besitzen.
Wir erforschen es jetzt – ohne Termin zu versprechen – zusammen mit weiteren Ideen, wohin KI Remote Desktop führen könnte. Es wird nur ausgeliefert, wenn es Text schärfer hält als der Stream, den es ersetzt.
Weniger streamen. Mehr sehen. Das ist die Zukunft.
