실제 원격 데스크톱에서 일하는 AI 에이전트 — 개발 중인 Agent Runtime.

헤드리스 브라우저 안에서만 사는 에이전트는 Final Cut을 열 수 없고, Finder에서 영상 파일을 크리에이티브 도구로 끌어다 놓을 수 없으며, 미리보기에서 PDF에 서명할 수 없고, .dmg나 .exe 설치 프로그램을 실행할 수 없고, 다른 앱에 화면 기록 권한을 줄 수 없고, 시스템 파일 선택기로 파일을 고를 수 없으며, OS가 갑자기 띄우는 모달 대화상자를 넘길 수도 없습니다. 실제 업무 대부분이 바로 이런 순간에 있고, 헤드리스 브라우저 에이전트는 이런 곳에서 조용히 실패합니다.

가상화된 컨테이너(주요 연구소들의 "에이전트 컴퓨터" 방식)는 이런 빈틈 중 일부를 메우지만 나름의 빈틈을 만듭니다. 이미지는 보통 앱 몇 개만 미리 설치된 최소한의 Linux 데스크톱이며, 그 범위 밖의 것은 닿을 수 없습니다. 컨테이너는 사용자의 실제 작업, 즉 설치된 앱, 로그인된 계정, 저장된 파일, 허용한 권한과 이어지지 않습니다. 에이전트가 실행될 때마다 사용자의 컴퓨터가 아닌 백지 상태의 컴퓨터에서 시작합니다.

Remio의 설계는 다른 길을 택합니다. 우리가 만들고 있는 런타임으로 연결된 에이전트는 사람이 오늘 이미 쓰는 것과 같은 원격 데스크톱 세션을 통해 사용자의 실제 데스크톱, 즉 사용자가 일하는 바로 그 Mac, PC, Linux 컴퓨터를 얻게 됩니다. 사용자가 설치한 모든 앱, 로그인한 모든 계정, 모든 파일이 그대로 있습니다. 에이전트는 인공 환경의 세입자가 아니라 사용자가 들여보내는 동안, 그리고 그 순간까지만 사용자의 실제 작업 컴퓨터를 찾아온 손님이 됩니다.

오늘 제공되는 것은 라이브 스트림입니다. 호스트 화면을 계속 캡처해 하드웨어로 인코딩하고, 사람 클라이언트가 이미 쓰는 것과 같은 암호화 채널로 전달합니다. 에이전트 런타임은 두 번째 별도 캡처 경로를 세우는 대신 같은 파이프라인을 정지 화면 캡처에도 재사용합니다. 요청 시 한 프레임이거나, 모델이 이미 볼 곳을 아는 영역만 가져옵니다. 이 재사용은 우리가 정한 설계 선택이며 오늘 존재하는 것에 대한 주장이 아닙니다.

픽셀보다 텍스트로 더 잘 추론하는 에이전트를 위해, 설계는 대본 모드를 구상합니다. 화면의 글자를 경계 상자와 함께 돌려주며, 비전 모델을 거치지 않고 플랫폼 자체 OCR(macOS의 Vision 프레임워크, Windows의 Windows OCR API)로 만듭니다. 아직 아무것도 만들어지지 않았습니다. 이 항목이 목록에 있는 이유는 에이전트가 프레임을 모델에 보내지 않고도 텍스트 일치를 정확한 클릭으로 바꿀 수 있기 때문이며, 잘 만든다면 실제 효율 향상입니다.

가장 충실한 구조화 접근을 위해, 설계는 포커스된 창에 대한 OS 접근성 트리 읽기도 구상합니다. 스크린 리더가 훑는 것과 같은 트리로, 버튼, 텍스트 필드, 메뉴, 역할이 레이블과 함께 계층을 이룹니다. 이것 역시 아직 없습니다. 그리고 우리가 구상하는 모든 버전에서 입력 파이프라인의 같은 규칙이 이어집니다. 에이전트 세션은 호스트의 화면 기록 권한이 이미 사람 세션에 허용하는 것만 보며 그 이상은 보지 못합니다. 어떤 디스플레이에 그 권한이 꺼져 있다면 에이전트는 그 디스플레이에서 아무것도 받지 못하며, 오늘 사람 클라이언트가 그렇듯 똑같습니다.

모든 Remio 세션은 사람이든 에이전트든 똑같이 시작합니다. 사람이 호스트 화면에 표시된 QR 코드를 스캔하거나 기기 ID와 PIN을 Remio에 입력합니다. 에이전트가 스스로 세션을 만들거나, 몰래 갱신할 수 있는 토큰을 쥐고 있거나, 페어링한 사람이 끝내기로 한 순간 이후까지 접근을 연장하는 설계는 검토 대상에 없습니다. 다음 에이전트 실행에는 사람이 다시 페어링해야 합니다. 설계상 매번 새로운 휴먼 인 더 루프 순간이 생깁니다.

에이전트 세션이 활성인 동안 호스트와 클라이언트 모두에 눈에 띄는 상시 표시가 나타나고, 세션을 즉시 끝내는 중지 컨트롤이 함께 표시됩니다. 이 컨트롤은 세션을 시작한 사람만이 아니라 호스트 키보드 앞에 앉은 누구든 누를 수 있습니다. 에이전트가 하는 모든 행동은 사람이 검토할 수 있는 감사 로그에 기록됩니다. 이 중 어느 것도 현재 출시된 코드에는 없으며, 설계가 넘어야 할 기준입니다.

권한 경계는 위의 입력 및 화면 섹션과 같은 이야기입니다. 에이전트 세션은 사람 세션이 이미 지키는 호스트의 OS 수준 권한, 즉 화면 기록과 손쉬운 사용을 그대로 이어받을 뿐 그보다 넓지 않습니다. 따로 상승된 권한을 받지 않으며, 사람이 Remio 앱에 이미 정해 둔 범위를 넓힐 길도 없습니다. 우리가 설계하는 기능이 그 경계 안에 들어가지 않는다면 출시하지 않습니다.

우리가 계속 도달하는 모양은 일부러 작게 잡았습니다. 입력용 기본 기능 두어 개(클릭, 키), 시각용 두어 개(정지 프레임, 영역), 구조화된 UI 읽기용 하나입니다. 이것은 스케치일 뿐 사양이 아닙니다. 아무것도 출시되지 않았고 정확한 인터페이스도 아직 열려 있습니다. 지금 약속하는 것은 문법이 아니라 모양입니다.

모델에 종속되지 않는 것은 나중에 이루겠다는 바람이 아니라 설계 요건입니다. 워크플로를 계획하는 모델이 Claude든, GPT든, Gemini든, 직접 돌리는 모델이든 출시되는 것은 똑같이 작동합니다. 한 업체의 도구 호출 형식을 중심으로 만들지 않습니다. 런타임을 한 모델의 인터페이스에 묶는 순간 잘못된 종류의 약속을 한 것이기 때문입니다.

데스크톱 런타임과 에이전트 자체의 런타임은 서로 다른 것이며, 우리는 그렇게 유지할 생각입니다. Remio는 에이전트의 행동을 실제 데스크톱에 전달하는 역할을 하고, 모델과 계획 루프와 실행 위치는 전적으로 에이전트를 만드는 사람에게 맡깁니다. 우리가 직접 모델을 호스팅하거나, 사용량을 계량하거나, 접근을 통제할 계획은 없습니다.

Remio는 웹 브라우저만 필요한 에이전트, 즉 페이지를 긁어 오거나 양식을 채우거나 대시보드를 읽는 에이전트를 위한 것이 아닙니다. 원격 데스크톱 세션 전체는 브라우저 탭이 필요로 하는 것보다 큰 규모이며, Remio는 그 분야에서 경쟁하려는 것이 아닙니다.

Remio는 작업마다 하나씩, 매번 새 상태로, 병렬 실행되는 수십 개의 일회용 환경이 필요한 에이전트를 위한 것도 아닙니다. Remio는 사람이 페어링한 지속적인 세션을 중심으로 만들어졌고, 이는 반대 모양입니다. 동시성은 낮고, 연속성은 높고, 실제 사용자 맥락이 있습니다.

이 페이지가 설명하는 대로 Agent Runtime을 만든다면, 에이전트에게 네이티브 앱이 있는 실제 OS 데스크톱, 사용자가 실제로 설치한 소프트웨어, 사용자의 실제 계정과 파일, 그리고 휴먼 인 더 루프 세션 경계가 필요할 때 알맞은 답이 됩니다. 장애가 있는 사용자를 위해 데스크톱을 조작하는 접근성 에이전트. 실제 OS 앱에서의 AI 지원 QA. 사용자가 이미 가진 특정 네이티브 도구를 써야 하는 에이전트 워크플로. "내가 지켜보는 동안 내 실제 컴퓨터를, 그 안의 모든 것과 함께 써 줘"가 자연스러운 표현인 모든 작업이 그렇습니다. 이런 경우 출시되고 나면 Remio가 그 런타임이 됩니다.