Нейросетевое повышение разрешения на устройстве, в разработке — более четкие пиксели из более легкого стрима.

Стрим удаленного рабочего стола проходит два этапа сжатия, прежде чем попасть вам на глаза. Сначала хост уменьшает картинку, если разрешение источника превышает то, что может показать ваш клиент: MacBook Pro 14" на M4, транслирующий 3024 на 1964 на iPad mini с 2266 на 1488, теряет примерно треть пикселей еще до того, как кадр увидит кодировщик. Затем сам кодировщик применяет сжатие с потерями, чтобы уложиться в битрейт, который способна передать сеть. Оба шага отбрасывают высокочастотные детали — то, что отличает четкий символ от размазанного пятна.

Идея, которую мы изучаем, — этап восстановления качества, который выполнялся бы на клиенте после декодирования: он смотрит на распакованный кадр и предсказывает высокочастотное содержимое, которое было у исходного кадра до уменьшения и сжатия кодировщиком. В отличие от классического билинейного или бикубического увеличения, которое может лишь интерполировать из уже имеющихся пикселей, обученная нейросеть может узнать, как выглядят края, буквы и элементы интерфейса в полном разрешении, и восстановить детали, которые простая интерполяция вернуть не может.

Если это сработает так, как мы надеемся, эффект был бы заметнее всего там, где он нужнее всего: основной текст 11-го размера, код моноширинным шрифтом, тонкие линии в файле Figma, контуры кнопок на боковой панели. В таких случаях несколько размазанных пикселей — это разница между «читается» и «приходится наклоняться к экрану». Это реальный пробел в том, что способен сделать любой кодировщик, настроенный на движение, — и именно поэтому стоит потратить время на исследование, сможет ли модель на устройстве его закрыть.

Мы там еще не находимся. Сегодня честный ответ на вопрос «как сохранить четкость сеанса при плохом соединении» — адаптивный движок битрейта Remio: он уже оценивает вашу сеть и выбирает диапазон, при котором картинка остается настолько четкой, насколько позволяет соединение, без всплесков задержки. Нейросетевое повышение разрешения стало бы дополнительным слоем сверху, а не заменой.

Явно ли она превосходит то, что у нас уже есть? Адаптивный движок битрейта Remio уже оценивает ваше соединение и выбирает диапазон, при котором картинка остается настолько четкой, насколько позволяет сеть. Нейросетевая модель заслужит место, только если восстановит детали сверх этой базы с отрывом, который люди действительно замечают, а не с выигрышем в тесте, который исчезает при обычном расстоянии просмотра.

Заметно ли она расходует батарею телефона или планшета? Запуск любой модели на каждом декодированном кадре в течение всего сеанса имеет реальную цену в энергии. Мы хотели бы, чтобы эта цена была настолько мала, что о ней никому не придется думать, либо чтобы был понятный честный режим «Авто», который тратит батарею, только когда есть что восстанавливать, и настоящий выключатель для тех, кто вообще не хочет за это платить.

Честна ли она в том, что делает? Модель, которая восстанавливает правдоподобные детали из сжатых пикселей, делает не то же самое, что модель, придумывающая содержимое, которого никогда не было. Для удаленного рабочего стола, где то, что вы видите, должно совпадать с тем, что реально на хосте, это различие не приятное дополнение, а вся модель доверия. Все, что мы выпустим, должно восстанавливать, а не выдумывать.

Пока мы не можем ответить на все три вопроса реальными цифрами, а не прогнозами, на этой странице это остается исследовательской идеей, а не переключателем в приложении.

Аппаратный H.265 от начала до конца значит, что кодировщик на хосте и декодер на клиенте работают на отдельном видеокремнии, а не на процессоре — по той же причине видео 4K плавно идет на телефоне, который задохнулся бы, пытаясь декодировать его программно. Этот запас позволяет Remio сохранять детали при битрейте, который программный кодек не удержал бы.

Адаптивный движок битрейта — часть, которая делает именно ту работу, для помощи в которой изучается нейросетевое повышение разрешения: он измеряет ваше соединение в начале сеанса и выбирает самый высокий диапазон битрейта, который это соединение выдержит без всплесков задержки, а не тихо морит стрим голодом. Как работает адаптивное качество →

Виртуальный дисплей и отрисовка без буферизации довершают картину. Поскольку дисплей, который транслирует Remio, подогнан точно под ваше окно, а не под весь монитор хоста, вы никогда не смотрите на уменьшенную копию чего-то большего. А поскольку отрисовка всегда показывает самый новый декодированный кадр, отбрасывая устаревшие вместо того, чтобы догонять их, ничто из увиденного не успевает устареть к моменту, когда доходит до вашего экрана. Благодаря этим четырем большинству сеансов этап восстановления качества не нужен вовсе.

Она не стала бы выдумывать недостающий интерфейс. Если кнопка обрезана на краю стрима, потому что кодировщик отбросил область, модели, которая достраивает остальную часть кнопки, не место в удаленном рабочем столе. Вы должны быть уверены, что то, что вы видите на iPad, совпадает с тем, что действительно на хосте: генеративная модель, дополнившая содержимое, которого не было, разрушила бы это доверие, поэтому мы выпустили бы только модель, которая восстанавливает по действительно закодированным пикселям, а не придумывает.

Она не стала бы заявлять, что повышает частоту кадров. Частота кадров в Remio определяется частотой захвата на хосте и способностью сети доставлять кадры вовремя — это задача уже работающей отрисовки без буферизации, а не повышения разрешения. Любая создаваемая нами модель давала бы один более четкий кадр на каждый декодированный кадр, не более.

Она не подавалась бы как исправление воспроизведения видео на хосте. Если вы смотрите фильм на удаленном Mac, транслируется то, что отрисовал собственный видеодекодер хоста, — в разрешении хоста. Этап восстановления качества на стриме не улучшает источник, который хост уже выдал; для более четкого воспроизведения фильмов честный совет остается прежним: смотрите его на клиентском устройстве, а не на хосте.

И ее никогда не продавали бы как замену хорошей сети. Прямое соединение по LAN всегда будет четче, чем зажатое соединение по WAN с любым повышением разрешения сверху: адаптивный движок битрейта, который Remio выпускает сегодня, уже дает лучшую картинку, какую способно выдержать ваше реальное соединение. Все, что мы построим здесь, стало бы дополнительной страховкой для плохих сетей, а не заменой хорошей.