Куда ИИ может привести удалённый рабочий стол (идеи, которые мы изучаем).

За два десятилетия в удалённом рабочем столе не случилось настоящего прорыва. Мы думаем, что ИИ может это изменить. Это эссе о том, где именно, и об идеях, которые мы изучаем. Сегодня в Remio нет функций ИИ, и сроков мы не обещаем.

20 лет на месте

Откройте любое приложение для удалённого рабочего стола в 2026 году. Теперь откройте такое же из 2006-го. Прищурьтесь — это, по сути, одно и то же.

Значки стали площе. Соединение, возможно, чуть быстрее. Может быть, появилась тёмная тема. Но основной принцип — передать пиксели с машины A, показать на машине B, отправить ввод обратно — за двадцать лет почти не изменился.

Кодеки стали лучше. H.264 заменил JPEG. Затем появился H.265. Трафик подешевел. Соединения ускорились. Но базовая архитектура — то, как эти приложения думают о потоковой передаче, — застыла во времени.

Большинство приложений для удалённого рабочего стола работают одинаково: закодировать кадр, отправить, декодировать, показать, повторить. Настройки в основном статичны. Качество часто приходится менять вручную. А когда сеть проседает, картинка может превратиться в кашу, пока вы не подвинете какой-нибудь ползунок. Remio сам подстраивает битрейт и разрешение под вашу сеть — это обычная инженерия, а не ИИ, — но принцип в основе тот же.

Это не технологическая проблема. Это проблема воображения.

Появляется ИИ: что может измениться

Вот что нас вдохновляет и, в хорошем смысле, не даёт нам спать. ИИ может не просто улучшить удалённый рабочий стол. Он может переосмыслить то, чем удалённый рабочий стол может быть.

Речь не о том, чтобы прикрутить чат-бота к панели настроек. Речь о том, чтобы переосмыслить конвейер потоковой передачи, добавив интеллект на некоторых уровнях, — и, чтобы быть честными, всё ниже — это идеи, а не продукт.

Адаптивное качество: ещё дальше

Во многих приложениях для удалённого рабочего стола есть ползунок качества или режим «Авто», который выбирает один из нескольких пресетов. Remio уже сам подстраивает битрейт и разрешение под вашу сеть. Нам интересно, как далеко это можно зайти.

А теперь представьте ИИ, который в реальном времени следит за всем: пропускной способностью сети, дрожанием задержки, характером потери пакетов, тем, что на самом деле на экране, читаете ли вы документ или смотрите видео, — и непрерывно оптимизирует десятки параметров одновременно.

Текст на экране? Повысить резкость, снизить частоту кадров. Идёт видео? Включить высокую частоту кадров, допустить большее сжатие. Экран бездействует три секунды? Опуститься почти до нулевого трафика. Быстрая прокрутка? Временно снизить качество, а когда вы остановитесь — тут же вернуть идеальную чёткость.

Человек так не сможет. Простой алгоритм, возможно, справится плохо. Обученная модель на устройстве, возможно, справится — и выяснить это как раз и есть смысл исследования.

Сверхразрешение: отправляем меньше, видим больше

Эта идея вызывает самую сильную реакцию, когда мы её объясняем.

Игры первыми применили масштабирование на основе ИИ. NVIDIA DLSS рендерит игры в меньшем разрешении, а затем нейросети с доступом к буферам глубины, векторам движения и специальным тензорным ядрам восстанавливают потрясающую картинку. Это отлично работает, потому что игровой движок даёт богатые данные, которыми может воспользоваться ИИ.

Масштабирование в удалённом рабочем столе вдохновлено этой идеей, но сталкивается с принципиально другой задачей: мы работаем со сжатыми видеокадрами без доступа к геометрии сцены и данным движка. Это «слепое» сверхразрешение — сложнее, но потенциально мощно. Идея в том, чтобы кодировать поток в 720p и с помощью ИИ на устройстве восстанавливать качество, близкое к 1080p или 1440p. Если получится, экономия трафика может быть существенной, пусть подход и отличается от игрового.

Замысел такой: всё происходит на вашем устройстве. Никакой облачной обработки, данные не покидают вашу машину. Основную работу выполнял бы Apple Neural Engine или NPU Qualcomm.

Предсказание ввода: может ли быть быстрее физики?

Вот тонкая вещь, которая даёт огромную разницу. У любого удалённого рабочего стола есть неизбежная задержка — время между движением мыши и тем, как вы видите это движение на экране. Физика задаёт нижний предел: свету нужно около 20 мс, чтобы пересечь Соединённые Штаты.

А что, если клиент сможет предсказать, куда движется ваш курсор? Движения мыши не случайны. Они подчиняются закономерностям — кривым ускорения, размерам целей, направлению намерения. Лёгкая модель, возможно, способна предсказать положение курсора на несколько десятков миллисекунд вперёд.

Если получится, удалённый рабочий стол будет ощущаться быстрее, чем позволяет скорость света. Не потому что мы нарушили физику, а потому что перестали её ждать.

Почему это сложно

Встроить ИИ в конвейер потоковой передачи сложнее, чем кажется. Вот проблемы, с которыми мы сталкиваемся снова и снова:

• Бюджет задержки — любая модель в конвейере должна укладываться в несколько миллисекунд, иначе она ухудшит впечатление, а не улучшит.
• Нативный доступ к оборудованию — добраться до Neural Engine, NPU и GPU можно только нативным кодом, а не веб-оболочкой.
• Содержимое экрана особенное — модели, обученные на фотографиях и играх, не обязательно работают с текстом и границами элементов интерфейса.
• Конфиденциальность — всё, что смотрит на ваш экран, должно работать на вашем устройстве или хосте, но не в чьём-то облаке.
• Честная оценка — функция, которая отлично смотрится в демо, всё равно должна выдержать реальные сети и реальное оборудование.

Хорошо передавать пиксели — это база. Сможет ли интеллект улучшить её, не добавив задержки, — открытый вопрос.

Поэтому всё это мы считаем исследованием, а не дорожной картой. Идеи интересные; доказательств пока нет.

Делать ИИ в конвейере потоковой передачи сложно. Нужен нативный код (не Electron), чтобы получить доступ к аппаратным ускорителям. Нужен собственный конвейер отрисовки, чтобы встроить обработку ИИ без добавления задержки. Нужно разбираться в машинном обучении и в видео реального времени. Это редкое сочетание, и мы выясняем, сможем ли сделать это хорошо.

Почему нативное приложение — хорошее место для таких попыток

Здесь наше решение делать всё нативно может окупиться так, как мы не планировали.

Поскольку Remio — нативное приложение на каждой платформе, у него есть прямой доступ к аппаратным ускорителям каждой платформы.

• Apple Neural Engine — доступен через CoreML, естественный дом для моделей на устройстве.
• Qualcomm Hexagon NPU — есть во многих чипах Android. ИИ на устройстве без обращения к GPU.
• Metal и Vulkan — вычисления на GPU, к которым нативное приложение обращается напрямую. Запуск вывода моделей там был бы естественным продолжением.

Веб-оболочке с этим трудно. Нужно быть нативным, чтобы работать с Neural Engine, нативным, чтобы планировать вывод модели между декодированием видео и показом, и нативным, чтобы сделать шаг ИИ полноправной частью конвейера отрисовки, а не надстройкой постфактум.

Наша архитектура создавалась не для ИИ, но нативная разработка оставляет дверь открытой. В этом преимущество того, что делаешь трудным путём.

Идеи, которые мы изучаем

Ни твёрдых сроков, ни маркетинговой дорожной карты — только честный список того, что реально сегодня, и того, что пока лишь идея.

Сегодня: Remio подстраивает битрейт и разрешение под вашу сеть в реальном времени, на хосте, без какой-либо настройки. Это инженерия, а не ИИ.

Изучаем: нейросетевое масштабирование на устройстве, чтобы уменьшить трафик потока при сохранении качества изображения. Мы написали подробный разбор этой идеи.

Также изучаем: предсказание ввода, кодирование с учётом содержимого, агентов, которые могут управлять настоящим рабочим столом, и несколько идей, о которых пока не готовы говорить. Ничего из этого сегодня не выпускается, и мы не обещаем, когда это будет.

Если что-то из этого выйдет, оно будет подчиняться тому же правилу, что и всё в Remio: на вашем устройстве или хосте, никогда через сервер Remio и без сбора данных экрана для обучения.

Куда это может привести

Мы подозреваем, что через несколько лет на сегодняшние приложения для удалённого рабочего стола будут смотреть так, как мы смотрим на dial-up-интернет. «Вы просто отправляли сырые пиксели и надеялись на лучшее? Вот и всё?»

Наше предчувствие: будущее удалённого рабочего стола — не в более быстрых кодеках и более широких каналах, а в приложении, которое понимает, чем вы заняты, и подстраивается под это — незаметно, приватно, на вашем собственном устройстве. Это предчувствие, а не дорожная карта.

Нам достаточно любопытно, чтобы изучать это осторожно, и мы прямо скажем, когда что-то станет реальностью.