Uma ideia no laboratório — pixels mais nítidos, um dia.

Uma transmissão de área de trabalho remota sofre duas perdas de compressão antes de chegar aos seus olhos. Primeiro, o host reduz a resolução quando a resolução de origem supera o que o seu cliente consegue exibir — um MacBook Pro M4 de 14" como host a 3024 por 1964, transmitido a um iPad mini a 2266 por 1488, já abriu mão de cerca de um terço dos pixels antes de o codificador ver o quadro. Segundo, o próprio codificador aplica compressão com perdas para caber no bitrate que a rede consegue transportar. As duas etapas descartam detalhes de alta frequência — exatamente o que separa um caractere nítido de uma mancha borrada.

A ideia que estamos explorando é uma etapa de recuperação de qualidade que rodaria no cliente depois da decodificação: olhar para o quadro descomprimido e prever o conteúdo de alta frequência que o quadro original tinha antes de ser reduzido e espremido pelo codificador. Ao contrário do upscaling bilinear ou bicúbico clássico — que só consegue interpolar a partir dos pixels que já existem —, uma rede neural treinada pode aprender como bordas, letras e formas de interface se parecem em resolução total, e reconstruir detalhes que uma interpolação simples não recupera.

Se funcionar como esperamos, o efeito seria mais visível exatamente onde você mais precisa: texto corrido em corpo 11, código em fonte monoespaçada, linhas finas em um arquivo do Figma, contornos de botões em uma barra lateral. São os casos em que alguns pixels borrados fazem a diferença entre “legível” e “preciso chegar mais perto”. Essa é uma lacuna real do que qualquer codificador ajustado para movimento consegue fazer sozinho — e é justamente por isso que vale o tempo de pesquisa para descobrir se um modelo no dispositivo consegue fechá-la.

Ainda não chegamos lá. Hoje, a resposta honesta para “como manter uma sessão nítida em uma conexão ruim” é o mecanismo de bitrate adaptativo do Remio — ele já lê a sua rede e escolhe a faixa que mantém a imagem tão nítida quanto a conexão permite, sem picos de lag. O upscaling neural seria uma camada adicional por cima disso, não uma substituição.

Ele supera claramente o que já temos? O mecanismo de bitrate adaptativo do Remio já lê a sua conexão e escolhe a faixa que mantém a imagem tão nítida quanto a rede permite. Um modelo neural só merece o seu lugar se recuperar detalhes além dessa base por uma margem que as pessoas realmente percebam — não uma vitória de benchmark que desaparece na distância normal de visualização.

Ele custa bateria de forma significativa em um celular ou tablet? Rodar qualquer modelo em cada quadro decodificado, durante toda a sessão, tem um custo real de energia. Queremos que esse custo seja pequeno o bastante para ninguém precisar pensar nele — ou um comportamento “Automático” claro e honesto, que só gasta bateria quando há algo que valha a pena recuperar, com um botão de desligar de verdade para quem preferir não pagar esse custo.

Ele continua honesto sobre o que está fazendo? Um modelo que reconstrói detalhes plausíveis a partir de pixels comprimidos faz algo diferente de um modelo que inventa conteúdo que nunca existiu. Em uma área de trabalho remota, onde o que você vê precisa corresponder ao que de fato está no host, essa distinção não é um luxo — é todo o modelo de confiança. Qualquer coisa que lançarmos teria de reconstruir, nunca alucinar.

Enquanto não pudermos responder às três perguntas com números reais, não com projeções, isto continua sendo uma ideia de pesquisa nesta página — não uma opção no app.

H.265 em hardware de ponta a ponta significa que o codificador no host e o decodificador no seu cliente rodam em silício de vídeo dedicado, não na CPU — o mesmo motivo de um vídeo 4K rodar sem engasgos em um celular que travaria tentando decodificá-lo em software. Essa folga é o que permite ao Remio manter detalhes em um bitrate que um codec em software não sustentaria.

O mecanismo de bitrate adaptativo é a peça que faz o trabalho real que o upscaling neural está sendo explorado para ajudar: ele mede a sua conexão no início de uma sessão e escolhe a maior faixa de bitrate que essa conexão sustenta sem picos de lag, em vez de deixar a transmissão passar fome em silêncio. Leia como funciona a qualidade adaptativa →

A tela virtual e o renderizador de zero buffer completam o conjunto. Como a tela que o Remio transmite tem exatamente o tamanho da sua janela, e não o do monitor inteiro do host, você nunca olha para uma cópia reduzida de algo maior. E como o renderizador sempre desenha o quadro decodificado mais recente — descartando os antigos em vez de correr atrás deles —, nada do que você vê está velho quando chega à sua tela. Com as quatro peças juntas, a maioria das sessões nem chega a precisar de uma etapa de recuperação de qualidade.

Ele não alucinaria interface ausente. Se um botão aparece cortado na borda da transmissão porque o codificador descartou uma região, um modelo que inventa o resto do botão não tem lugar em uma área de trabalho remota. Você precisa confiar que o que vê no iPad corresponde ao que de fato está no host — um modelo generativo que preenchesse conteúdo que nunca existiu quebraria essa confiança, então só lançaríamos um modelo que reconstrói a partir de pixels realmente codificados, nunca um que inventa.

Ele não afirmaria aumentar a taxa de quadros. A taxa de quadros no Remio é definida pela taxa de captura do host e pela capacidade da rede de entregar os quadros a tempo — isso é trabalho do renderizador de zero buffer que já está em produção, não de um upscaler. Qualquer modelo que construíssemos produziria um quadro mais nítido por quadro decodificado, nada além disso.

Ele não seria vendido como correção para a reprodução de vídeo no host. Se você está assistindo a um filme no seu Mac remoto, o que é transmitido é o que o decodificador de vídeo do próprio host renderizou — na resolução do host. Uma etapa de recuperação de qualidade na transmissão não melhora uma fonte que o host já produziu; para uma reprodução de filmes mais nítida, o conselho honesto continua o mesmo de hoje: reproduza no dispositivo cliente, não no host.

E nunca seria vendido como substituto de uma boa rede. Uma conexão direta na rede local sempre será mais nítida do que uma conexão WAN limitada com qualquer quantidade de upscaling por cima — o mecanismo de bitrate adaptativo que o Remio entrega hoje já dá a melhor imagem que a sua conexão real sustenta. Qualquer coisa que construirmos aqui seria um seguro adicional para redes ruins, não um substituto para uma boa.