ИИ-агенты на настоящем удаленном рабочем столе — Agent Runtime, в разработке.
Agent Runtime в разработке: SDK для агентов пока нет. Но уже есть то, ради чего его стоит создавать: нативный конвейер ввода и захвата экрана Remio уже сегодня работает для человека за настоящим Mac, ПК или компьютером с Linux. Эта страница — честный проект того, что будет дальше, и рамки, которые мы берем на себя до выхода чего-либо из этого.
Зачем агентам настоящий экран.
Песочницы в браузере достаточно агенту, который только заполняет веб-формы. Как только работа выходит в нативные приложения, песочница заканчивается. Настоящий рабочий стол — самая чистая среда для агента: чем пользуется человек, тем может пользоваться и агент.
Агент, живущий только в браузере без интерфейса, не может открыть Final Cut, перетащить видеофайл из Finder в творческое приложение, подписать PDF в Просмотре, запустить установщик .dmg или .exe, выдать другому приложению разрешение на запись экрана, выбрать файл в системном окне выбора и пережить неожиданное модальное окно от ОС. Именно в таких моментах находится большинство реальных рабочих процессов, и именно здесь агент в браузере без интерфейса тихо ломается.
Виртуализированные контейнеры (шаблон «компьютера агента» от крупных лабораторий) закрывают часть этих пробелов, но приносят свои. Образ — это обычно минимальный рабочий стол Linux с горсткой предустановленных приложений; все, что вне этого набора, недоступно. У контейнера нет связи с реальной работой пользователя: его установленными приложениями, выполненными входами в аккаунты, сохраненными файлами, выданными разрешениями. Каждый запуск агента начинается с чистого компьютера, который не является компьютером пользователя.
Проект Remio идет другим путем. Агент, подключенный через создаваемую нами среду, получал бы настоящий рабочий стол пользователя — тот самый Mac, ПК или Linux, за которым он работает, — через тот же сеанс удаленного рабочего стола, которым человек пользуется уже сегодня. Там были бы все приложения, установленные у пользователя. Все аккаунты, в которые он вошел. Все файлы. Агент не был бы жильцом искусственной среды; он был бы гостем на настоящей рабочей станции пользователя, пока тот его впускает, и ни секундой дольше.
Конвейер, которым пользовался бы агент, — уже работает, для людей.
Каждый клик, нажатие клавиши и прокрутка, которые пользователь Remio отправляет сегодня, уже попадают на хост через собственную нативную подсистему ввода ОС — то самое событие, которое создали бы физические мышь или клавиатура. Этот конвейер не гипотетический: именно благодаря ему Remio работает для человека прямо сейчас, на настоящем Mac, ПК или компьютере с Linux. И не случайно это ровно та основа, к которой подключалась бы среда для агента: никакого отдельного API для агентов, никаких искусственных нажатий клавиш в очереди событий окна, никакой прослойки доступности вместо настоящего клика.
Обязательство проекта: если это выйдет, ввод агента на хосте был бы неотличим от ввода человека, потому что использовал бы тот же конвейер, а не параллельный, созданный только для агентов.
Это важнее, чем кажется, и именно поэтому мы считаем архитектуру Remio действительно хорошей отправной точкой для среды агента, а не просто удобной. Платформы агентов, которые имитируют ввод на уровне приложения — искусственные нажатия клавиш в очереди событий окна или API доступности, напрямую управляющие элементами интерфейса, — постоянно упираются в пределы: защищенные поля отвергают ввод, нативные сочетания клавиш срабатывают неверно, перетаскивание между приложениями не работает, управление фокусом путается. Конвейер ввода на уровне ОС уже обходит все это для работающих сегодня сеансов людей. Распространить его на сеансы агентов — это проектная работа, которую нам еще предстоит сделать, но основа, берущая на себя самое трудное, уже работает.
Граница привилегий по замыслу осталась бы прежней. Разрешения хоста на универсальный доступ и мониторинг ввода, которые человек один раз выдал приложению Remio Host, уже ограничивают каждое событие ввода, отправляемое в сеансе человека. Обязательство проекта таково: сеанс агента ограничивался бы тем же самым разрешением — никакого отдельного права, которым агент мог бы владеть сам, и никакой двери шире той, что человек уже открыл для приложения.
Доступ к экрану и проект того, как им пользовался бы агент.
Конвейер захвата экрана Remio уже сегодня передает человеку на клиент живую картинку хоста: полные кадры, аппаратное кодирование, в реальном времени. Среде агента понадобилось бы еще несколько форм тех же данных: снимок по запросу, меньшая область, структурированное чтение того, что на экране. Ни одной из этих дополнительных форм в выпущенном коде пока нет.
Сегодня работает живой стрим: экран хоста, захваченный непрерывно, закодированный аппаратно и доставленный по тому же зашифрованному каналу, которым уже пользуется клиент-человек. Среда агента использовала бы тот же конвейер для собственных снимков — одного кадра по запросу или только той области, на которую модель уже знает, куда смотреть, — вместо того чтобы поднимать второй, отдельный путь захвата. Это повторное использование — принятое нами проектное решение, а не утверждение о том, что существует сегодня.
Для агентов, которые лучше рассуждают над текстом, чем над пикселями, проект набрасывает текстовый режим: текст на экране с ограничивающими рамками, полученный штатным распознаванием текста платформы (Vision в macOS, API распознавания текста Windows в Windows), без модели компьютерного зрения в цепочке. Ничего из этого не создано. Оно в списке потому, что позволило бы агенту превратить найденный текст в точный клик, ни разу не отправив кадр своей модели, — реальная экономия, если мы сделаем это хорошо.
Для структурированного доступа с наивысшей точностью проект также набрасывает чтение дерева доступности ОС для окна в фокусе — того же дерева, которое обходит программа чтения с экрана: именованная иерархия кнопок, текстовых полей, меню и ролей. Этого тоже пока нет. И в каждом из набрасываемых вариантов действует то же правило, что и для конвейера ввода: сеанс агента видел бы ровно то, что разрешение хоста на запись экрана уже позволяет видеть сеансу человека, и не больше. Если для дисплея это разрешение выключено, агент не получит с него ничего, так же как не получил бы клиент-человек сегодня.
Рамки, которые мы берем на себя до того, как напишем код агента.
Это не функции, которые мы сделаем позже в надежде, что получится правильно. Это ограничения, которым должен удовлетворять весь проект Agent Runtime до выхода чего-либо: они решены сейчас, пока нет кода, который пришлось бы под них подгонять.
Каждый сеанс Remio — человека или агента — начинался бы одинаково: человек сканирует QR-код или вводит в Remio Device ID и PIN, показанные на экране хоста. Нет ни одного рассматриваемого варианта, где агент сам создает сеанс, держит токен, который может тихо обновлять, или продлевает доступ после того, как человек, выполнивший сопряжение, решил его завершить. Для следующего запуска агента человеку потребовалось бы выполнить сопряжение снова: новый момент с участием человека, каждый раз, по замыслу.
Пока сеанс агента активен, и хост, и клиент показывали бы постоянный, ни с чем не сравнимый индикатор и кнопку «Остановить», которая немедленно завершает сеанс и доступна тому, кто сидит за клавиатурой хоста, а не только тому, кто его начал. Каждое действие агента записывалось бы в журнал аудита, который человек может просмотреть. Ничего из этого в выпущенном коде сегодня нет; это планка, которую проект должен взять.
Граница разрешений — та же история, что в разделах о вводе и экране выше: сеанс агента наследовал бы ровно те разрешения ОС хоста, которые уже соблюдает сеанс человека, — запись экрана, универсальный доступ — и ничего шире. Он не получил бы собственного расширенного права и не имел бы пути расширить рамки, которые человек уже задал для приложения Remio. Если возможность, которую мы проектируем, не помещается в эту границу, она не выйдет.
SDK пока нет — вот форма, к которой мы движемся.
Remio не публиковал SDK для агентов, поверхность API или спецификацию подключения агентов. Есть короткий список базовых возможностей, к которым проект постоянно возвращается — ввод, доступ к экрану, структурированное чтение интерфейса, — и обязательство, что все, что выйдет, с первого дня будет независимым от модели.
Форма, к которой мы постоянно приходим, намеренно небольшая: пара примитивов для ввода (клик, клавиша), пара для зрения (кадр, область), один для структурированного чтения интерфейса. Это набросок, а не спецификация: ничего не выпущено, а точный интерфейс еще открыт. Сейчас мы берем на себя форму, а не синтаксис.
Независимость от модели — требование проекта, а не пожелание на потом. Все, что выйдет, работало бы одинаково, будь то Claude, GPT, Gemini или модель, которую вы запускаете сами. Мы не строим это вокруг формата вызова инструментов одного поставщика, потому что в момент, когда мы привяжем среду к интерфейсу одной модели, мы дадим не то обещание.
Среда рабочего стола и собственная среда агента — это две разные вещи, и мы намерены так и оставить. Remio был бы тем, что доставляет действия агента на настоящий рабочий стол; модель, цикл планирования и место запуска целиком остались бы за тем, кто создает агента. Мы не планируем сами размещать модели, измерять их использование или ограничивать доступ к ним.
Для чего этот проект не предназначен.
Среда настоящего рабочего стола подошла бы для одних сценариев агентов и не подошла бы для других. Вот короткое честное разграничение, еще до выхода чего-либо.
Remio не создан для агента, которому нужен только веб-браузер: сбор данных со страниц, заполнение форм, чтение панелей. Целый сеанс удаленного рабочего стола — больше, чем нужно вкладке браузера, и Remio не пытается конкурировать в этой категории.
Remio не создан для агента, которому нужны десятки одноразовых сред — по одной на задачу, каждый раз с чистым состоянием, параллельное выполнение. Remio построен вокруг постоянного сеанса с сопряжением человеком, а это противоположная форма: низкая параллельность, высокая непрерывность, реальный контекст пользователя.
Если мы создадим Agent Runtime так, как описано на этой странице, он станет правильным ответом, когда агенту нужен настоящий рабочий стол ОС с нативными приложениями, реально установленным у пользователя ПО, его настоящими аккаунтами и файлами и границей сеанса с участием человека. Агенты доступности, управляющие рабочим столом для пользователя с ограниченными возможностями. Проверка качества с помощью ИИ на настоящих приложениях ОС. Агентные сценарии, которым нужен конкретный нативный инструмент, уже имеющийся у пользователя. Любая задача, где естественная формулировка — «используй мой настоящий компьютер со всем, что на нем есть, пока я наблюдаю». Для таких случаев, когда он выйдет, средой был бы Remio.
Частые вопросы об Agent Runtime, который мы проектируем.
Пять вопросов, которые обычно возникают у этого проекта, — ниже честные ответы, в том числе те, где честный ответ — «пока нет».
Могу ли я уже сегодня управлять компьютером через Remio с помощью Claude, GPT или другого ИИ-агента?
Мог бы агент сам начать сеанс Remio без человека?
Как хост узнает, что подключен агент, а не человек?
Мог бы агент видеть или получать больше, чем уже может сеанс человека?
Какие ИИ-модели работали бы с Agent Runtime от Remio?
Сегодня реально: быстрый и приватный рабочий стол для вас. Скоро: тот же рабочий стол для ваших ИИ-агентов.
Установите Remio — самый быстрый и приватный способ добраться до собственного Mac, ПК или компьютера с Linux: нативный ввод, нативный доступ к экрану, сквозное шифрование, аккаунт не нужен. Agent Runtime, описанный на этой странице, еще не выпущен, и срок мы не обещаем, но та же архитектура — ровно причина, по которой мы считаем его достойным создания.