Eine Idee aus dem Labor — schärfere Pixel, irgendwann.
Wir erforschen, ob ein Modell auf dem Gerät aus einem Stream mit niedrigerer Bitrate schärferen Text und schärfere Kanten rekonstruieren könnte — und zwar vollständig auf der NPU Ihres Geräts, niemals in der Cloud. Noch ist nichts ausgeliefert, und wir versprechen keinen Termin. Hier die Idee — und was eine Remio-Sitzung auch ohne all das heute schon scharf hält.
Warum gestreamter Text unscharf wird — und warum Upscaling aus unserer Sicht helfen könnte.
Klassische Videoencoder sind auf Bewegung abgestimmt, nicht auf die feinen, kontrastreichen Kanten, aus denen Text und Bedienelemente bestehen. Wird die Bandbreite knapp, gehen genau diese Kanten als Erstes verloren — so funktioniert Videokomprimierung nun mal, bei jedem Remote Desktop, nicht nur bei Remio.
Ein Remote-Desktop-Stream erleidet zwei Komprimierungsverluste, bevor er Ihre Augen erreicht. Erstens skaliert der Host herunter, wenn die Quellauflösung größer ist, als Ihr Client darstellen kann — ein M4 MacBook Pro 14" mit 3024 × 1964 Pixeln, das auf ein iPad mini mit 2266 × 1488 streamt, hat bereits etwa ein Drittel seiner Pixel eingebüßt, bevor der Encoder das Bild überhaupt sieht. Zweitens wendet der Encoder selbst verlustbehaftete Komprimierung an, um in die Bitrate zu passen, die das Netzwerk tragen kann. Beide Schritte verwerfen hochfrequente Details — genau das, was den Unterschied zwischen einem scharfen Buchstaben und einem verschmierten Klecks macht.
Die Idee, die wir erforschen, ist ein Qualitätswiederherstellungsschritt, der nach dem Dekodieren auf dem Client liefe: Er betrachtet das dekomprimierte Bild und sagt die hochfrequenten Inhalte voraus, die das Originalbild hatte, bevor es herunterskaliert und durch den Encoder gepresst wurde. Anders als klassisches bilineares oder bikubisches Upscaling — das nur aus den vorhandenen Pixeln interpolieren kann — kann ein trainiertes neuronales Netz lernen, wie Kanten, Buchstabenformen und Oberflächenelemente in voller Auflösung aussehen, und Details rekonstruieren, die eine einfache Interpolation nicht zurückholt.
Wenn es so funktioniert, wie wir hoffen, wäre der Effekt genau dort am deutlichsten, wo Sie ihn am meisten brauchen: Fließtext in 11 Punkt, Code in einer Festbreitenschrift, Haarlinien in einer Figma-Datei, Button-Umrandungen in einer Seitenleiste. In diesen Fällen entscheiden ein paar verschmierte Pixel darüber, ob etwas „lesbar“ ist oder ob Sie sich vorbeugen müssen. Das ist eine echte Lücke dessen, was ein auf Bewegung abgestimmter Encoder allein leisten kann — und genau deshalb lohnt sich die Forschungszeit, um herauszufinden, ob ein Modell auf dem Gerät sie schließen kann.
Soweit sind wir noch nicht. Die ehrliche Antwort auf „Wie halte ich eine Sitzung bei schlechter Verbindung scharf?“ lautet heute: Remios adaptive Bitratensteuerung — sie liest Ihr Netzwerk aus und wählt den Rahmen, der das Bild so scharf hält, wie die Verbindung es zulässt, ohne die Latenz in die Höhe zu treiben. Neuronales Upscaling wäre eine zusätzliche Schicht darüber, kein Ersatz dafür.
Ein echter nativer Client, keine verpackte Web-Ansicht.
Jeder Remio-Client ist auf seiner Plattform eine zu 100 % native App — kein Electron, keine Browser-Sandbox dazwischen. Deshalb spricht er schon heute direkt mit denselben Hardware-Frameworks, die ein neuronales Upscaling-Modell bräuchte: Core ML und die Neural Engine auf Apple Silicon, NNAPI auf Android-Geräten mit eigener NPU. Wenn wir das bauen, fügt es sich in eine Architektur ein, die für Aufnahme, Kodierung und Dekodierung bereits steht — kein Umweg über die Cloud, keine zusätzliche Laufzeitumgebung, die man anflanschen müsste.
Das ist der ganze Grund, warum „auf dem Gerät“ die einzige Variante dieser Idee ist, die wir in Betracht ziehen. Ein Umweg über die Cloud würde Latenz hinzufügen, die Remios Zero-Buffering-Philosophie nicht akzeptiert — jedes Modell, das wir ausliefern, muss also lokal laufen, oder es wird gar nicht ausgeliefert.
Auf Apple Silicon — jedem Mac der M-Serie, iPad Pro, iPad Air und aktuellen iPhone Pro — kann Core ML ein kompiliertes Modell auf die Neural Engine legen, einen eigenen Koprozessor neben CPU und GPU auf demselben Chip, gebaut für die kleinen, sich wiederholenden Matrixmultiplikationen, mit denen neuronale Netze die meiste Zeit verbringen, bei einem Bruchteil der Leistungsaufnahme, die die GPU bräuchte. Das ist ein leistungsfähiges, effizientes Ziel für genau die Art Modell, die diese Idee bräuchte — es ist nur noch nicht angebunden.
Unter Android bietet NNAPI unterstützten Geräten — Pixel mit Google Tensor, aktuelle Galaxy- und OnePlus-Smartphones — dieselbe Art der Zuordnung auf eine Hardware-NPU. Auf beiden Plattformen würden ältere Geräte ohne ausreichend schnelle NPU einfach auf 1:1-Dekodierung zurückfallen, so wie sich Remio heute überall verhält: Es blockiert den Stream nie, um auf Hardware zu warten, die nicht vorhanden ist.
Nichts davon ist ein Versprechen für Veröffentlichungstermine. Es ist der Grund, warum wir die Forschung für lohnenswert halten — die schwierige architektonische Voraussetzung existiert bereits, und das ist ein wirklich ungewöhnlicher Ausgangspunkt für eine solche Funktion.
Was wir belegen müssten, bevor das erscheint.
Wir werden keine KI-Funktion nur deshalb anflanschen, weil sich „KI“ gut verkauft. Das sind die ehrlichen Fragen, auf die wir zuerst gute Antworten bräuchten.
Schlägt es klar das, was wir schon haben? Remios adaptive Bitratensteuerung liest bereits Ihre Verbindung aus und wählt den Rahmen, der das Bild so scharf hält, wie das Netzwerk es erlaubt. Ein neuronales Modell verdient seinen Platz nur, wenn es über diese Basis hinaus Details zurückholt — und zwar in einem Maß, das Menschen tatsächlich bemerken, nicht als Benchmark-Sieg, der bei normalem Betrachtungsabstand verschwindet.
Kostet es spürbar Akku auf einem Smartphone oder Tablet? Ein Modell auf jedem dekodierten Bild, die ganze Sitzung über, hat echte Energiekosten. Diese Kosten müssten so gering sein, dass niemand darüber nachdenken muss — oder es bräuchte ein klares, ehrliches „Automatisch“-Verhalten, das den Akku nur beansprucht, wenn es etwas Lohnendes zurückzuholen gibt, mit einem echten Ausschalter für alle, die gar nicht dafür zahlen möchten.
Bleibt es ehrlich in dem, was es tut? Ein Modell, das aus komprimierten Pixeln plausibel aussehende Details rekonstruiert, tut etwas anderes als eines, das Inhalte erfindet, die nie da waren. Bei einem Remote Desktop, wo das, was Sie sehen, mit dem übereinstimmen muss, was tatsächlich auf dem Host ist, ist dieser Unterschied kein Schönheitsfehler — er ist das ganze Vertrauensmodell. Alles, was wir ausliefern, müsste rekonstruieren, niemals halluzinieren.
Solange wir diese drei Fragen nicht mit echten Zahlen statt mit Prognosen beantworten können, bleibt das auf dieser Seite eine Forschungsidee — kein Schalter in der App.
Was das Bild bereits scharf hält — ganz ohne KI.
Für eine scharfe Remio-Sitzung brauchen Sie heute kein Forschungsprojekt. Vier ausgelieferte Bausteine solider Ingenieursarbeit erledigen die Arbeit bereits.
Durchgängiges Hardware-H.265 bedeutet: Der Encoder auf dem Host und der Decoder auf Ihrem Client laufen beide auf spezieller Videohardware, nicht auf der CPU — aus demselben Grund, aus dem ein 4K-Video auf einem Smartphone flüssig läuft, das beim Dekodieren in Software ins Stocken käme. Dieser Spielraum erlaubt es Remio, Details bei einer Bitrate zu halten, die ein Software-Codec nicht durchhalten könnte.
Die adaptive Bitratensteuerung ist der Baustein, der genau die Aufgabe erledigt, bei der neuronales Upscaling helfen soll: Sie misst Ihre Verbindung zu Beginn einer Sitzung und wählt den höchsten Bitratenrahmen, den die Verbindung ohne Latenzspitzen tragen kann, statt den Stream stillschweigend auszuhungern. So funktioniert adaptive Qualität →
Das virtuelle Display und die Zero-Buffering-Darstellung runden das Ganze ab. Weil das Display, das Remio streamt, genau auf Ihr Fenster zugeschnitten ist und nicht auf den vollen Monitor des Hosts, blicken Sie nie auf eine herunterskalierte Kopie von etwas Größerem. Und weil die Darstellung stets das neueste dekodierte Bild zeichnet — veraltete werden verworfen, statt sie nachzuholen —, ist nichts, was Sie sehen, beim Erreichen Ihres Bildschirms veraltet. Mit diesen vier Bausteinen brauchen die meisten Sitzungen gar keinen Qualitätswiederherstellungsschritt.
Grundsätze, an die wir uns halten würden, falls wir das je ausliefern.
Das Marketing rund um generative KI hat die Erwartung geweckt, „KI-Verbesserung“ bedeute, Details zu erfinden. Bevor wir ein solches Modell in Remio einbauen würden, müsste es eine kurze, ehrliche Liste erfüllen.
Es würde keine fehlende Oberfläche halluzinieren. Wenn ein Button am Rand des Streams abgeschnitten ist, weil der Encoder einen Bereich verworfen hat, gehört ein Modell, das den Rest des Buttons erfindet, nicht in einen Remote Desktop. Sie müssen darauf vertrauen können, dass das, was Sie auf Ihrem iPad sehen, mit dem übereinstimmt, was tatsächlich auf dem Host ist — ein generatives Modell, das Inhalte ergänzt, die nie da waren, würde dieses Vertrauen brechen. Wir würden also nur ein Modell ausliefern, das aus tatsächlich kodierten Pixeln rekonstruiert, niemals eines, das erfindet.
Es würde nicht behaupten, die Bildrate zu erhöhen. Die Bildrate bei Remio wird durch die Aufnahmerate des Hosts und die Fähigkeit des Netzwerks bestimmt, Bilder rechtzeitig zu liefern — das ist Aufgabe der bereits ausgelieferten Zero-Buffering-Darstellung, nicht eines Upscalers. Jedes Modell, das wir bauen, würde pro dekodiertem Bild ein schärferes Bild erzeugen, nicht mehr.
Es würde nicht als Lösung für die Videowiedergabe auf dem Host angepriesen. Wenn Sie auf Ihrem entfernten Mac einen Film ansehen, wird gestreamt, was der Video-Decoder des Hosts selbst gerendert hat — in der Auflösung des Hosts. Ein Qualitätswiederherstellungsschritt am Stream verbessert keine Quelle, die der Host bereits erzeugt hat; für schärfere Filmwiedergabe bleibt der ehrliche Rat derselbe wie heute: Spielen Sie ihn auf Ihrem Client-Gerät ab, nicht auf dem Host.
Und es würde niemals als Ersatz für ein gutes Netzwerk verkauft. Eine direkte LAN-Verbindung ist immer schärfer als eine gedrosselte WAN-Verbindung, egal wie viel Upscaling obendrauf liegt — die adaptive Bitratensteuerung, die Remio heute ausliefert, liefert Ihnen bereits das beste Bild, das Ihre tatsächliche Verbindung tragen kann. Alles, was wir hier bauen, wäre eine zusätzliche Absicherung für schlechte Netzwerke, kein Ersatz für ein gutes.
Häufige Fragen
Fragen, die zum neuronalen Upscaling auf dem Gerät aufkommen — ehrliche Antworten unten.
Gibt es neuronales Upscaling auf dem Gerät heute schon in Remio?
Würde davon etwas mein Gerät verlassen, wenn Sie es bauen?
Warum erforschen Sie das, statt es einfach auszuliefern?
Was hält Text und Code bei Remio aktuell scharf?
Sagen Sie Bescheid, wenn es erscheint?
Heute schon schnell und scharf. Wir erkunden, wie es noch schärfer wird.
Installieren Sie Remio für durchgängiges Hardware-H.265-Streaming, eine adaptive Bitratensteuerung, die Ihr Netzwerk ausliest, und ein virtuelles Display genau in der Größe Ihres Fensters — alles bereits verfügbar. Neuronales Upscaling auf dem Gerät ist auf dieser Seite weiterhin eine Forschungsidee; wir nennen keine Termine, und diese Seite sagt es ehrlich, sobald sich das ändert.