Игры нашли способ рендерить меньше, а видеть больше. Мы переносим тот же приём на удалённый рабочий стол — крошечная модель на вашем устройстве восстанавливает картинку 4K из потока вдвое меньшего размера.
Проблема пропускной способности, о которой никто не говорит
У удалённого рабочего стола есть грязный секрет: он пожирает трафик.
Передача рабочего стола при 60 кадрах/с с современными кодеками занимает примерно от 3 до 8 Мбит/с в 1080p и от 8 до 15 Мбит/с в 4K. На оптоволокне это нормально. На сильном домашнем Wi-Fi — нормально. Но стоит перейти на гостиничный Wi-Fi, раздать интернет с телефона или попытаться поработать из кофейни в оживлённом городе — и всё разваливается.
Нынешнее решение удручающе простое. Когда пропускная способность падает, снижай качество. Уменьшай разрешение. Снижай частоту кадров. Мирись с размытым текстом и дёргающимся видео, пока условия не улучшатся. Так делает каждое приложение удалённого рабочего стола. Двадцать лет это был единственный вариант.
А что, если есть способ лучше?
А что, если вместо чёткого потока 1080p, который ухудшается при плохих условиях, всегда отправлять небольшой поток 1080p — и делать так, чтобы на другом конце он выглядел как 4K?
Это и есть сверхразрешение на основе ИИ. И это не фантастика. Игры делают это уже много лет.
Конвейер потоковой передачи со сверхразрешением
Перенос из игр в удалённый рабочий стол удивительно чистый. В играх вы рендерите в низком разрешении и масштабируете вверх. В потоковой передаче вы кодируете в низком разрешении и масштабируете вверх. Четыре этапа слева направо, от начала до конца.
| Этап | Результат | Показатель |
|---|---|---|
| 01 · Захват | Кадр в исходном разрешении | 3840×2160 → 1920×1080 перед сжатием |
| 02 · Кодирование | Поток H.265 в 1080p | Кодек: HEVC · CBR 3 Мбит/с |
| 03 · Передача | ~3 Мбит/с по глобальной сети | Пропускная способность: 3 Мбит/с · задержка ~20 мс |
| 04 · Масштабирование & вывод | Вывод 4K через Metal / Vulkan | Модель: 280 КБ · добавка к задержке <3 мс |
Та же воспринимаемая чёткость. Примерно четверть трафика. А поскольку хост кодирует меньшее изображение, он и работает меньше — ниже нагрузка на процессор, меньше тепла, больше батареи на ноутбуках.
| Подход | Нужная пропускная способность |
|---|---|
| Сегодня · поток 4K в исходном разрешении | ~12 Мбит/с |
| Сегодня · поток 1080p | ~5 Мбит/с |
| Со сверхразрешением · 4K после масштабирования | ~3 Мбит/с |
Игровая индустрия уже решила это
В 2018 году NVIDIA представила DLSS — Deep Learning Super Sampling. Идея казалась почти слишком хорошей, чтобы быть правдой: рендерить игру в меньшем разрешении, а затем нейросетью масштабировать так, чтобы она выглядела как в исходном разрешении. Меньше работы для GPU, то же визуальное качество.
Геймеры отнеслись скептически. Как созданное ИИ изображение может выглядеть так же хорошо, как нативно отрисованные пиксели? Но результаты говорили сами за себя. К 2026 году DLSS 4.5 использует модели-трансформеры, дающие изображения, которые многие игроки на самом деле предпочитают нативной отрисовке, — более резкие края, лучшая временная стабильность, меньше артефактов.
За ним последовала AMD с FSR. Apple представила MetalFX. Intel выпустила XeSS. Вся индустрия пришла к одной мысли:
Самый умный пиксель — тот, который не нужно рендерить.
Игровой индустрии понадобилось около пяти лет, чтобы пройти путь от «это уловка» до «это обязательно». Удалённый рабочий стол ещё даже не начал.
ИИ на устройстве, приватный по замыслу
Вот где становится по-настоящему интересно — и где мы отличаемся от того, как вы могли бы ожидать работу ИИ.
Модель сверхразрешения работает целиком на вашем устройстве. Не в облаке. Не на каком-то сервере. На телефоне или ноутбуке в ваших руках.
Современные устройства до абсурда мощны для ИИ на устройстве. Apple Neural Engine в чипах серии M выполняет 15,8 триллиона операций в секунду. Qualcomm Hexagon NPU в недавних чипах Snapdragon в той же лиге. Эти специализированные ИИ-процессоры большую часть времени простаивают. Мы даём им работу.
Вывод модели шёл бы в конвейере отрисовки, между декодированием и показом. Модель видит кадр 1080p и выдаёт кадр 4K. Бюджет задержки — меньше 3 миллисекунд: прототип, который не удерживает его, не выходит.
А поскольку всё выполняется локально:
- Данные не покидают устройство — содержимое вашего экрана остаётся приватным
- Интернет для ИИ не нужен — модель работает офлайн
- Никакой подписки на функции ИИ — они встроены в приложение
- Никаких затрат на серверы — масштабируется бесконечно, потому что каждый пользователь приносит свои вычисления
Это созвучно философии Remio «конфиденциальность прежде всего». Нам не нужны ваши данные. Нам даже не нужно видеть содержимое вашего экрана. ИИ на устройстве позволяет предлагать передовые функции, буквально ничего не зная о том, что вы делаете.
Почему это работает только в нативных приложениях
Вот часть, которая всё связывает, — и причина, по которой мы написали целую запись о нативной разработке.
Чтобы запустить нейросеть в конвейере отрисовки, не добавив заметной задержки, нужно:
- Доступ к Neural Engine или NPU. Для этого нужны нативные API — CoreML на Apple, NNAPI на Android. Веб-API для Neural Engine не существует. Приложения Electron до него не дотянутся.
- Интеграция с конвейером GPU. Масштабированный кадр должен идти прямо на дисплей без лишних копий. Metal и Vulkan позволяют это. WebGL такого уровня контроля не даёт.
- Тайминг меньше 3 мс. В конвейере потоковой передачи в реальном времени важна каждая лишняя миллисекунда. Одна лишь сборка мусора в JavaScript способна вносить непредсказуемые паузы. Нативный код даёт детерминированный тайминг.
Приложению на Electron пришлось бы декодировать видео в медиаконвейере Chromium, извлекать кадр в JavaScript, каким-то образом вызывать Neural Engine (невозможно без нативных привязок), получать обратно масштабированный кадр и показывать его через композитор Chromium. Каждый шаг добавляет задержку и сложность. Суммарные накладные расходы, вероятно, составили бы от 15 до 25 мс — слишком медленно для реального времени.
Сверхразрешение в конвейере потоковой передачи — не только задача ИИ. Это задача системной инженерии. А системная инженерия требует нативного кода.
Поэтому спустя два года работы над Remio ни один удалённый рабочий стол на Electron не выпустил масштабирование на основе ИИ. Дело не в том, что они не хотят. Архитектура им не позволит.
Технические трудности и как мы их решаем
Мы не будем притворяться, что это легко. Трудности настоящие.
Задержка модели. Модель должна работать меньше 3 мс на кадр при 60 кадрах/с. Это не оставляет места для раздутых архитектур. Мы используем оптимизированные свёрточные модели — не трансформеры, они слишком медленны для вывода на каждый кадр, — специально настроенные под исполнительные блоки Neural Engine.
Разнообразие содержимого. Содержимое удалённого рабочего стола кардинально отличается от игрового. Текст, таблицы, редакторы кода, воспроизведение видео, дизайнерские инструменты — модель должна справляться со всем. Мы обучаем на наборах данных, которые специально включают элементы интерфейса рабочего стола, а не только естественные изображения.
Временная стабильность. Покадровое масштабирование может вызывать мерцание. Игры решили это временным накоплением — повторным использованием информации из предыдущих кадров. Мы изучаем похожие приёмы, подавая векторы движения из видеокодека в модель масштабирования.
Энергоэффективность. Запуск нейросети 60 раз в секунду на телефоне звучит затратно. Но Neural Engine создан именно для этого — для матричных операций он энергоэффективнее GPU. Первые лабораторные прототипы указывают лишь на небольшой расход батареи в пределах одной цифры процентов.
Честная трудность: почему это сложнее, чем в играх
Мы говорили о DLSS и игровом сверхразрешении как о вдохновении — и это так. Но интеллектуальная честность требует объяснить, почему масштабирование удалённого рабочего стола — принципиально более трудная задача.
У игрового DLSS есть нечестные преимущества. Игровые движки дают ИИ богатые данные, которых в нашем мире нет:
- Векторы движения. Движок точно знает, куда сдвинулся каждый объект между кадрами. Мы получаем сжатое видео без данных о движении на уровне сцены.
- Буферы глубины. DLSS знает, какие пиксели близко, а какие далеко. Мы видим плоское двумерное изображение.
- Временная история. DLSS накапливает детали по нескольким кадрам, используя данные движка. Мы работаем с по отдельности сжатыми кадрами, в которых каждый раз могут быть разные артефакты.
- Специализированное оборудование. Тензорные ядра NVIDIA дают 384+ TOPS, специально оптимизированных под эту нагрузку. Мобильные Neural Engine мощные, но служат другой цели.
Иными словами, игровое сверхразрешение — это направляемое восстановление с богатыми вспомогательными данными. Масштабирование удалённого рабочего стола — это слепое сверхразрешение из сжатого видео с потерями, куда более трудная отправная точка.
Это не значит, что подход неверен. Даже скромные улучшения визуального качества при меньших битрейтах дают реальную экономию трафика. Но мы хотим быть прозрачными: потолок качества слепого масштабирования ниже, чем у DLSS при полной интеграции с движком. Мы создаём нечто действительно полезное, а не заявляем равенство с другой технологией.
Что это значит для вас
Когда сверхразрешение на основе ИИ появится в Remio, вам не придётся о нём думать. Ни переключателя, ни настройки, ни «режима ИИ». Приложение автоматически:
- Определит доступную вам пропускную способность
- Выберет оптимальное разрешение кодирования
- Масштабирует на устройстве под ваш экран
- Подстроится в реальном времени при изменении условий
На быстрых соединениях масштабирование, возможно, вообще не понадобится. На медленных оно будет разницей между «непригодно» и «как будто я сижу перед своим компьютером».
Вот цель. Не ИИ, о котором нужно думать. ИИ, который просто делает всё лучше — тихо, приватно, на устройстве, которое у вас уже есть.
Мы изучаем это сейчас — без обещанной даты — наряду с другими идеями о том, куда ИИ может привести удалённый рабочий стол. Оно выйдет, только если сохранит текст чётче, чем поток, который заменяет.
Передавать меньше. Видеть больше. Вот будущее.
