✦IA

Diffuser moins, voir plus : comment la super-résolution sur l’appareil pourrait diviser par deux la bande passante du bureau à distance

Le jeu vidéo a compris comment calculer moins et voir plus. Nous apportons la même astuce au bureau à distance — un petit modèle sur votre appareil qui reconstruit une image 4K à partir d’un flux deux fois plus léger.

Le problème de bande passante dont personne ne parle

Le bureau à distance a un sale petit secret : il est gourmand en bande passante.

Diffuser un bureau à 60 fps demande environ 3 à 8 Mbps en 1080p et 8 à 15 Mbps en 4K avec les codecs modernes. C’est très bien sur de la fibre. C’est très bien sur un bon Wi-Fi domestique. Mais passez sur le Wi-Fi d’un hôtel, partagez la connexion de votre téléphone ou essayez de travailler depuis un café dans une grande ville — et tout s’effondre.

La solution actuelle est désespérément simple. Quand la bande passante baisse, on réduit la qualité. On baisse la résolution. On baisse la fréquence d’images. On accepte un texte flou et une vidéo saccadée jusqu’à ce que les conditions s’améliorent. Toutes les apps de bureau à distance font cela. C’est la seule option depuis vingt ans.

Et s’il y avait une meilleure façon de faire ?

Et si, au lieu d’envoyer un flux 1080p net puis de le dégrader quand les conditions deviennent difficiles, vous pouviez envoyer en permanence un petit flux 1080p — et lui faire ressembler à de la 4K à l’autre bout ?

C’est cela, la super-résolution par IA. Et ce n’est pas de la science-fiction. Le jeu vidéo le fait depuis des années.

Le pipeline de diffusion en super-résolution

La transposition du jeu vidéo au bureau à distance est étonnamment simple. Dans un jeu, on calcule en basse résolution et on agrandit. En diffusion, on encode en basse résolution et on agrandit. Quatre étapes, de gauche à droite, de bout en bout.

Le pipeline de super-résolution — quatre étapes
ÉtapeSortieMesure
01 · CaptureImage en résolution native3840×2160 → 1920×1080 avant compression
02 · EncodageFlux H.265 en 1080pCodec : HEVC · CBR 3 Mbps
03 · Transmission~3 Mbps sur le WANBande passante : 3 Mbps · latence ~20 ms
04 · Agrandissement & renduSortie 4K Metal / VulkanModèle : 280 Ko · latence ajoutée <3 ms

La même netteté perçue. À peu près un quart de la bande passante. Et comme l’hôte encode une image plus petite, il travaille aussi moins — moins de processeur, moins de chaleur, plus d’autonomie sur les portables.

Bilan de bande passante — de la 4K perçue, de trois façons
ApprocheBande passante requise
Aujourd’hui · flux 4K natif~12 Mbps
Aujourd’hui · flux 1080p~5 Mbps
Avec la super-résolution · 4K agrandie~3 Mbps

L’industrie du jeu vidéo a déjà résolu ce problème

En 2018, NVIDIA a présenté le DLSS — Deep Learning Super Sampling. Le concept était presque trop beau pour être vrai : calculer un jeu à une résolution plus basse, puis utiliser un réseau de neurones pour l’agrandir afin qu’il ressemble à la résolution native. Moins de travail pour le GPU, la même qualité visuelle.

Les joueurs étaient sceptiques. Comment une image générée par IA pouvait-elle rivaliser avec des pixels calculés nativement ? Mais les résultats ont parlé d’eux-mêmes. En 2026, le DLSS 4.5 utilise des modèles à transformeurs qui produisent des images que de nombreux joueurs préfèrent au rendu natif — des contours plus nets, une meilleure stabilité temporelle, moins d’artefacts.

AMD a suivi avec le FSR. Apple a lancé MetalFX. Intel a livré XeSS. Toute l’industrie a convergé vers la même idée :

Le pixel le plus intelligent est celui que vous n’avez jamais besoin de calculer.

Il a fallu à l’industrie du jeu vidéo environ cinq ans pour passer de « c’est un gadget » à « c’est incontournable ». Le bureau à distance n’a même pas commencé.

L’IA sur l’appareil, confidentielle par conception

C’est ici que cela devient vraiment intéressant — et que nous nous écartons de la façon dont on pourrait s’attendre à ce que l’IA fonctionne.

Le modèle de super-résolution s’exécute entièrement sur votre appareil. Pas dans le cloud. Pas sur un serveur quelconque. Sur le téléphone ou l’ordinateur portable que vous avez en main.

Les appareils modernes sont d’une puissance absurde pour l’IA embarquée. Le Neural Engine d’Apple sur les puces de la série M gère 15,8 mille milliards d’opérations par seconde. Le NPU Hexagon de Qualcomm sur les puces Snapdragon récentes est dans la même catégorie. Ces processeurs d’IA dédiés restent inactifs la plupart du temps. Nous les mettons au travail.

L’inférence s’exécuterait dans le pipeline de rendu, entre le décodage et l’affichage. Le modèle reçoit une image 1080p et produit une image 4K. Le budget de latence est inférieur à 3 millisecondes — un prototype qui ne peut pas le tenir n’est pas livré.

Et comme tout s’exécute en local :

Cela s’inscrit dans la philosophie de Remio, où la confidentialité passe en premier. Nous ne voulons pas de vos données. Nous ne voulons même pas voir le contenu de votre écran. L’IA sur l’appareil nous permet de proposer des fonctions de pointe tout en ne sachant littéralement rien de ce que vous faites.

Pourquoi cela ne fonctionne que sur des apps natives

Voici la partie qui relie tout — et la raison pour laquelle nous avons écrit tout un article sur le choix du natif.

Pour exécuter un réseau de neurones dans le pipeline de rendu sans ajouter de latence visible, il faut :

  1. Un accès au Neural Engine ou au NPU. Cela exige des API natives — CoreML sur Apple, NNAPI sur Android. Il n’existe aucune API web pour le Neural Engine. Les apps Electron ne peuvent pas l’atteindre.
  2. Une intégration au pipeline GPU. L’image agrandie doit aller directement à l’affichage sans copies supplémentaires. Metal et Vulkan le permettent. WebGL n’offre pas ce niveau de contrôle.
  3. Un timing inférieur à 3 ms. Chaque milliseconde supplémentaire compte dans un pipeline de diffusion en temps réel. Le ramasse-miettes de JavaScript peut à lui seul introduire des pauses imprévisibles. Le code natif offre un timing déterministe.

Une app Electron devrait décoder la vidéo dans le pipeline multimédia de Chromium, extraire l’image vers JavaScript, invoquer d’une manière ou d’une autre le Neural Engine (impossible sans liaisons natives), récupérer l’image agrandie et l’afficher via le compositeur de Chromium. Chaque étape ajoute de la latence et de la complexité. Le surcoût total se situerait probablement entre 15 et 25 ms — trop lent pour le temps réel.

La super-résolution dans le pipeline de diffusion n’est pas seulement un problème d’IA. C’est un problème d’ingénierie des systèmes. Et l’ingénierie des systèmes exige du code natif.

C’est pourquoi, deux ans après le début de la construction de Remio, aucun bureau à distance basé sur Electron n’a livré d’agrandissement par IA. Ce n’est pas qu’ils ne le veulent pas. L’architecture ne le leur permet pas.

Les défis techniques, et comment nous les relevons

Nous ne ferons pas semblant que ce soit facile. Il y a de vrais défis.

La latence du modèle. Le modèle doit s’exécuter en moins de 3 ms par image à 60 fps. Cela ne laisse aucune place aux architectures gonflées. Nous utilisons des modèles convolutifs optimisés — pas des transformeurs, trop lents pour l’inférence image par image — réglés spécifiquement pour les unités d’exécution du Neural Engine.

La diversité des contenus. Le contenu d’un bureau à distance est radicalement différent de celui d’un jeu. Texte, tableurs, éditeurs de code, lecture vidéo, outils de conception — le modèle doit tout gérer. Nous nous entraînons sur des jeux de données qui incluent spécifiquement des éléments d’interface de bureau, et pas seulement des images naturelles.

La stabilité temporelle. Un agrandissement image par image peut provoquer du scintillement. Le jeu vidéo a résolu cela par l’accumulation temporelle — en réutilisant l’information des images précédentes. Nous explorons des techniques similaires, en fournissant au modèle d’agrandissement les vecteurs de mouvement du codec vidéo.

L’efficacité énergétique. Exécuter un réseau de neurones 60 fois par seconde sur un téléphone paraît coûteux. Mais le Neural Engine est conçu exactement pour cela — il est plus économe en énergie que le GPU pour les opérations matricielles. Les premiers prototypes de laboratoire laissent entrevoir un coût de batterie de quelques pour cent seulement.

Le défi en toute honnêteté : pourquoi c’est plus difficile que dans le jeu vidéo

Nous avons évoqué le DLSS et la super-résolution du jeu vidéo comme sources d’inspiration — et elles le sont. Mais l’honnêteté intellectuelle exige que nous expliquions pourquoi l’agrandissement pour le bureau à distance est un problème fondamentalement plus difficile.

Le DLSS du jeu vidéo a des avantages déloyaux. Les moteurs de jeu fournissent à l’IA des données riches qui n’existent pas dans notre monde :

Autrement dit, la super-résolution du jeu vidéo est une reconstruction guidée par de riches données auxiliaires. L’agrandissement pour le bureau à distance est une super-résolution aveugle à partir d’une vidéo compressée avec perte — un point de départ bien plus difficile.

Cela ne veut pas dire que l’approche est mauvaise. Même des améliorations modestes de la qualité visuelle à bas débit procurent de vraies économies de bande passante. Mais nous voulons être transparents : le plafond de qualité de l’agrandissement aveugle est inférieur à ce que le DLSS atteint avec une intégration complète au moteur. Nous construisons quelque chose de réellement utile, sans prétendre à la parité avec une autre technologie.

Ce que cela signifie pour vous

Quand la super-résolution par IA arrivera dans Remio, vous n’aurez pas à y penser. Pas de bouton, pas de réglage, pas de « mode IA ». L’app va automatiquement :

Sur les connexions rapides, il se peut qu’elle n’ait pas besoin d’agrandir du tout. Sur les connexions lentes, elle fera la différence entre « inutilisable » et « j’ai l’impression d’être assis devant mon ordinateur ».

Voilà l’objectif. Pas une IA à laquelle il faut penser. Une IA qui fait simplement que tout fonctionne mieux, en silence, en toute confidentialité, sur l’appareil que vous possédez déjà.

Nous l’explorons en ce moment — sans date promise — parallèlement à d’autres idées sur ce que l’IA pourrait apporter au bureau à distance. Elle ne sera livrée que si elle garde le texte plus net que le flux qu’elle remplace.

Diffuser moins. Voir plus. Voilà l’avenir.

✦Questions

Questions fréquentes

Quelle bande passante la super-résolution peut-elle économiser ?
C’est l’objectif que nous poursuivons : un flux 4K demande aujourd’hui typiquement environ 12 Mbps, et un encodage en 1080p avec agrandissement sur l’appareil pourrait offrir une qualité perçue similaire pour une fraction de ce débit. Rien n’est livré tant que les chiffres du laboratoire ne tiennent pas.
La super-résolution sur l’appareil ajoute-t-elle une latence perceptible ?
Le budget pour lequel nous concevons est de quelques millisecondes par image sur un Apple Silicon moderne et sur les NPU Snapdragon récents — une petite tranche du temps entre deux images d’un flux à 60 fps. Si un prototype ne tient pas cette ligne, il n’est pas livré.
Pourquoi cela ne fonctionne-t-il que sur des apps natives ?
L’agrandissement en temps réel exige un accès direct au Neural Engine ou au NPU et une intégration GPU sans copie via Metal ou Vulkan. Les environnements de navigateur et d’Electron ne peuvent pas atteindre ces API avec le budget de temps requis.
Le contenu de mon écran est-il envoyé vers un serveur dans le cloud ?
Non. La conception est strictement sur l’appareil : un petit modèle livré avec l’app, chaque inférence en local. Aucune image, aucun embedding ni aucune trace du modèle ne quitterait jamais votre machine.
Cela va-t-il vider ma batterie ?
Le Neural Engine est bien plus économe en énergie que le GPU pour le calcul matriciel. Les premiers prototypes de laboratoire laissent entrevoir une consommation de quelques pour cent seulement à 60 fps, souvent compensée par un coût de décodage et de radio moindre grâce au flux plus petit — et la livraison est conditionnée au maintien de ce résultat.
Est-ce la même chose que le DLSS de NVIDIA ?
Elle s’en inspire, mais c’est techniquement plus difficile. Le DLSS lit les vecteurs de mouvement et la profondeur du moteur. Nous travaillerions à partir de la seule vidéo compressée — de la super-résolution aveugle. Les économies potentielles sont réelles ; le plafond de qualité est plus bas.
Icône de l’app Remio

Essayez vous-même les fondations

Remio est gratuit, natif sur chaque plateforme et chiffré de bout en bout. Le même pipeline à faible latence qui portera la super-résolution par IA fonctionne dès maintenant.

GratuitIA sur l’appareilConfidentiel par conception