Escalado neuronal en el dispositivo, en desarrollo: píxeles más nítidos con una transmisión más ligera.
Estamos construyendo un modelo en el dispositivo que reconstruye texto y bordes más nítidos a partir de una transmisión de menor tasa de bits, y que se ejecuta por completo en la NPU de tu dispositivo, nunca en la nube. Está en desarrollo y todavía no está en la app. Esta es la idea, y lo que ya mantiene nítida una sesión de Remio hoy sin nada de esto.
Por qué el texto transmitido se ve borroso y cómo se está construyendo el escalado en el dispositivo para arreglarlo.
Los codificadores de video clásicos están ajustados para el movimiento, no para los bordes finos y de alto contraste de los que están hechos el texto y los elementos de la interfaz. Cuando el ancho de banda se reduce, esos bordes son lo primero que se pierde; así funciona la compresión de video en cualquier escritorio remoto, no solo en el de Remio.
Una transmisión de escritorio remoto sufre dos golpes de compresión antes de llegar a tus ojos. Primero, el host reduce la escala cuando la resolución de origen supera lo que tu cliente puede mostrar: una MacBook Pro M4 de 14" que transmite a 3024 por 1964 hacia un iPad mini de 2266 por 1488 ya ha cedido cerca de un tercio de sus píxeles antes de que el codificador vea el fotograma. Segundo, el propio codificador aplica compresión con pérdida para ajustarse a la tasa de bits que la red puede transportar. Ambos pasos descartan detalle de alta frecuencia, justo lo que marca la diferencia entre un glifo nítido y una mancha borrosa.
La idea que estamos explorando es una pasada de recuperación de calidad que se ejecutaría en el cliente después de la decodificación: mirar el fotograma descomprimido y predecir el contenido de alta frecuencia que tenía el fotograma original antes de reducirse y pasar por el codificador. A diferencia del escalado bilineal o bicúbico clásico, que solo puede interpolar a partir de los píxeles que ya existen, una red neuronal entrenada puede aprender cómo se ven los bordes, las letras y las formas de la interfaz a resolución completa, y reconstruir detalle que una simple interpolación no puede recuperar.
Si funciona como esperamos, el efecto se notaría más justo donde más lo necesitas: texto de cuerpo de 11 puntos, código en una fuente monoespaciada, líneas finas en un archivo de Figma, contornos de botones en una barra lateral. Son los casos en los que unos pocos píxeles borrosos marcan la diferencia entre «legible» y «tengo que acercarme». Es una brecha real en lo que cualquier codificador ajustado para el movimiento puede hacer por sí solo, y por eso vale la pena dedicar tiempo de investigación a averiguar si un modelo en el dispositivo puede cerrarla.
Todavía no llegamos ahí. Hoy, la respuesta honesta a «cómo mantengo nítida una sesión con una mala conexión» es el motor de tasa de bits adaptativa de Remio: ya lee tu red y elige el rango que mantiene la imagen tan nítida como la conexión permite, sin disparar el retraso. El escalado neuronal sería una capa adicional encima de eso, no un reemplazo.
Un cliente verdaderamente nativo, no una vista web envuelta.
Cada cliente de Remio es una app 100 % nativa en su plataforma: sin Electron, sin un entorno aislado de navegador de por medio. Por eso ya se comunica directamente con los mismos frameworks de hardware que necesitaría un modelo de escalado neuronal: Core ML y el Neural Engine en Apple Silicon, NNAPI en dispositivos Android con una NPU dedicada. Si lo construimos, se conecta a una arquitectura que ya existe para la captura, la codificación y la decodificación: sin saltos por la nube y sin un runtime aparte que añadir.
Esa es toda la razón por la que en el dispositivo es la única versión de esta idea que consideraríamos. Un viaje de ida y vuelta a la nube agregaría una latencia que la filosofía de cero búfer de Remio no acepta, así que cualquier modelo que publiquemos tiene que ejecutarse localmente, o no se publica.
En Apple Silicon (todos los Mac de la serie M, iPad Pro, iPad Air y los iPhone Pro recientes), Core ML puede dirigir un modelo compilado al Neural Engine, un coprocesador dedicado que está junto a la CPU y la GPU en el mismo chip, creado para las pequeñas multiplicaciones de matrices repetitivas en las que las redes neuronales pasan la mayor parte del tiempo, con una fracción de la potencia que usaría la GPU. Es un destino capaz y eficiente para justo el tipo de modelo que esta idea necesitaría; simplemente todavía no está conectado.
En Android, NNAPI ofrece a los dispositivos compatibles (Pixel con Google Tensor, celulares Galaxy y OnePlus recientes) el mismo tipo de enrutamiento hacia una NPU de hardware. En ambas plataformas, los dispositivos más antiguos sin una NPU lo bastante rápida simplemente volverían a decodificar 1:1, igual que Remio se comporta hoy en todas partes: nunca bloquea la transmisión esperando hardware que no existe.
Nada de eso es una promesa sobre fechas de lanzamiento. Es la razón por la que creemos que vale la pena hacer la investigación: el difícil requisito arquitectónico ya existe, lo cual es un punto de partida realmente inusual para una función como esta.
Lo que tendríamos que demostrar antes de publicarlo.
No vamos a añadir una función de IA solo porque «IA» vende. Estas son las preguntas honestas para las que primero necesitaríamos buenas respuestas.
¿Supera claramente lo que ya tenemos? El motor de tasa de bits adaptativa de Remio ya lee tu conexión y elige el rango que mantiene la imagen tan nítida como la red lo permite. Un modelo neuronal solo se gana su lugar si recupera detalle más allá de esa base por un margen que la gente realmente note, no una victoria de benchmark que desaparece a una distancia de visualización normal.
¿Cuesta una cantidad significativa de batería en un celular o una tableta? Ejecutar cualquier modelo en cada fotograma decodificado, durante toda la sesión, tiene un costo de energía real. Querríamos que ese costo fuera tan pequeño que nadie tenga que pensar en él, o un comportamiento «Automático» claro y honesto que solo gaste batería cuando haya algo que valga la pena recuperar, con un interruptor real de apagado para quien prefiera no pagarlo en absoluto.
¿Es honesto sobre lo que hace? Un modelo que reconstruye detalle verosímil a partir de píxeles comprimidos hace algo distinto de un modelo que inventa contenido que nunca estuvo ahí. En un escritorio remoto, donde lo que ves tiene que coincidir con lo que realmente hay en el host, esa distinción no es un extra: es todo el modelo de confianza. Lo que publiquemos tendría que reconstruir, nunca alucinar.
Hasta que podamos responder las tres con números reales, no proyecciones, esto sigue siendo una idea de investigación en esta página, no un interruptor en la app.
Lo que ya mantiene nítida la imagen, sin necesidad de IA.
No necesitas un proyecto de investigación para tener hoy una sesión de Remio nítida. Cuatro piezas de ingeniería sencilla, ya publicadas, hacen el trabajo.
H.265 por hardware de punta a punta significa que el codificador del host y el decodificador de tu cliente se ejecutan en silicio de video dedicado, no en la CPU: la misma razón por la que un video 4K se reproduce con fluidez en un celular que se ahogaría intentando decodificarlo por software. Ese margen es lo que permite a Remio conservar el detalle con una tasa de bits que un códec por software no podría sostener.
El motor de tasa de bits adaptativa es la pieza que hace el trabajo real para el que se explora el escalado neuronal: mide tu conexión al inicio de la sesión y elige el rango de tasa de bits más alto que esa conexión puede sostener sin picos de retraso, en lugar de dejar la transmisión sin recursos en silencio. Lee cómo funciona la calidad adaptativa →
La pantalla virtual y el renderizador de cero búfer completan el conjunto. Como la pantalla que transmite Remio tiene exactamente el tamaño de tu ventana y no el del monitor completo del host, nunca estás viendo una copia reducida de algo más grande. Y como el renderizador siempre dibuja el fotograma decodificado más reciente, descartando los viejos en lugar de ponerse al día con ellos, nada de lo que ves es antiguo cuando llega a tu pantalla. Entre las cuatro, la mayoría de las sesiones nunca necesita una pasada de recuperación de calidad.
Los principios que este desarrollo debe cumplir.
El marketing de la IA generativa ha creado la expectativa de que «mejora con IA» significa inventar detalle. Antes de poner un modelo así en Remio, tendría que superar una lista corta y honesta.
No alucinaría elementos de interfaz que faltan. Si un botón queda cortado en el borde de una transmisión porque el codificador descartó una región, un modelo que invente el resto del botón no tiene lugar en un escritorio remoto. Necesitas confiar en que lo que ves en tu iPad coincide con lo que realmente hay en el host: un modelo generativo que rellenara contenido que nunca estuvo ahí rompería esa confianza, así que solo publicaríamos un modelo que reconstruya a partir de píxeles que se codificaron de verdad, nunca uno que invente.
No afirmaría aumentar la frecuencia de fotogramas. En Remio, la frecuencia de fotogramas la determinan la tasa de captura del host y la capacidad de la red para entregar fotogramas a tiempo; eso es trabajo del renderizador de cero búfer que ya se publica, no de un escalador. Cualquier modelo que construyamos produciría un fotograma más nítido por cada fotograma decodificado, nada más.
No se presentaría como una solución para la reproducción de video en el host. Si estás viendo una película en tu Mac remoto, lo que se transmite es lo que renderizó el propio decodificador de video del host, a la resolución del host. Una pasada de recuperación de calidad sobre la transmisión no mejora una fuente que el host ya produjo; para una reproducción de películas más nítida, el consejo honesto sigue siendo el de hoy: reprodúcela en tu dispositivo cliente, no en el host.
Y nunca se vendería como reemplazo de una buena red. Una conexión LAN directa siempre será más nítida que una conexión WAN limitada con cualquier cantidad de escalado encima: el motor de tasa de bits adaptativa que Remio publica hoy ya te da la mejor imagen que tu conexión real puede sostener. Lo que construyamos aquí sería un seguro adicional para redes malas, no un sustituto de una buena.
Preguntas comunes
Preguntas que surgen sobre el escalado neuronal en el dispositivo, con respuestas honestas a continuación.
¿Está disponible hoy el escalado neuronal en el dispositivo en Remio?
Si lo construyen, ¿algo de esto saldría de mi dispositivo?
¿Por qué explorarlo en lugar de simplemente publicarlo?
¿Qué mantiene nítidos el texto y el código en Remio ahora mismo?
¿Avisarán cuando esto se publique?
Rápido y nítido hoy. El escalado neuronal viene en camino.
Instala Remio para tener transmisión H.265 por hardware de punta a punta, un motor de tasa de bits adaptativa que lee tu red y una pantalla virtual del tamaño exacto de tu ventana, todo disponible ahora. El escalado neuronal en el dispositivo sigue siendo una idea de investigación en esta página; no se prometen fechas, y esta página lo dirá con honestidad en cuanto eso cambie.