Remio는 AI 에이전트를 위해 만든 것이 아닙니다. 하지만 에이전트에게 필요한 것, 즉 실제 화면을 보는 눈, 실제 키보드를 치는 손, 그리고 둘 사이의 안전한 터널을 살펴볼수록 원격 데스크톱이야말로 그동안 빠져 있던 인터페이스처럼 보입니다.
AI가 컴퓨터를 사용하는 시대
지난 1년 사이 AI 세계에서 근본적인 변화가 일어났습니다. 언어 모델은 더 이상 텍스트만 만들어내지 않습니다. 컴퓨터를 사용하기 시작했습니다.
Anthropic은 Claude Computer Use를 내놓았습니다. OpenAI의 에이전트는 브라우저를 탐색할 수 있습니다. Google의 Gemini는 Android와 상호작용합니다. 흐름은 분명합니다. AI 에이전트는 점점 더 화면을 보고, 버튼을 클릭하고, 실제 애플리케이션에 입력해야 합니다.
그런데 아무도 이야기하지 않는 문제가 있습니다. AI 에이전트는 어떻게 컴퓨터에 접근할까요?
에이전트에게 화면이 필요한 곳
인프라 이야기를 하기 전에 작업 자체를 살펴봅시다. 사람들이 에이전트에게 맡기는 일의 대부분은 깔끔한 API 호출이 아닙니다. 상태로 가득한 화면, 조건에 따라 달라지는 입력란이 있는 양식, 필요한 정보를 HTTP로 내주지 않는 앱입니다. 에이전트에게는 눈이 필요합니다. 오늘날 대부분의 환경에서 에이전트는 어둠 속에서 손가락만 더듬고 있습니다.
01세금 신고하기
에이전트는 여러 페이지로 된 양식에서 12번 줄을 확인하고, 신고 유형에 맞는 드롭다운을 고르고, 제출 전에 합계가 갱신됐는지 확인해야 합니다. 이 세무 소프트웨어에는 공개 API가 없습니다. GUI 자체가 인터페이스입니다.
원격 데스크톱은 실시간 양식을 보여 줍니다. 에이전트는 입력란을 읽고 채우고, 제출을 누르기 전에 합계가 바뀌는 것을 지켜봅니다.
02복잡한 여행 예약하기
여러 사이트, 제각각인 레이아웃, 예약 가능 여부에 따라 달라지는 날짜, 한 사이트에서는 자동으로 채워지지만 다른 곳에서는 그렇지 않은 멤버십 번호. API가 일부는 처리하지만 전부를 처리하지는 못합니다.
원격 데스크톱은 에이전트에게 사람이 쓰는 것과 같은 브라우저를 건네줍니다. 에이전트는 탭마다 결과를 비교하고, 결제하기 전에 화면에서 최종 가격을 확인합니다.
03계약서 검토하기
PDF는 변경 내용 추적, 수정 표시, 메모가 있는 데스크톱 앱에 들어 있습니다. 에이전트는 여백의 내용을 읽고, 문서 속 메모를 따라가고, 변호사가 수락하거나 거절할 수 있는 수정안을 제안해야 합니다.
원격 데스크톱은 변호사가 보는 그대로 문서를 스트리밍합니다. 에이전트가 주석을 달고 변호사가 승인하는 일이 한 화면에서 이루어집니다.
04브라우저 속 편집기 디버깅하기
버그는 Figma에서 캔버스가 특정 배율일 때, 특정 플러그인이 실행된 뒤에만 나타납니다. 헤드리스 도구로는 재현할 수 없습니다. 에이전트는 엔지니어가 보는 것을 그대로 봐야 합니다.
원격 데스크톱은 에이전트에게 실시간 편집기를 보여 줍니다. 에이전트는 단계를 재현하고, 깨진 프레임을 캡처하고, 팀에 깔끔한 재현 자료를 전달합니다.
지금의 방식과 그 한계
지금 GUI와 상호작용해야 하는 AI 에이전트가 쓸 수 있는 방법은 제한적입니다.
- 브라우저 자동화 — Playwright나 Selenium 같은 도구는 웹 앱을 조작할 수 있습니다. 하지만 Photoshop, Xcode 같은 네이티브 애플리케이션은 쓸 수 없습니다. 웹은 사람들이 컴퓨터로 실제로 하는 일의 일부분일 뿐입니다.
- 가상 머신 — 헤드리스 VM을 띄워 에이전트를 연결합니다. 동작은 하지만 느리고 비싸며, VM은 격리된 샌드박스입니다. 내 파일, 내 앱, 내 작업 맥락이 있는 내 컴퓨터가 아닙니다.
- 로컬 SDK — 에이전트를 컴퓨터에서 직접 실행합니다. 에이전트 소프트웨어를 로컬에 설치해야 하고, 격리가 거의 없이 시스템 깊숙이 접근 권한을 줍니다.
세 방식 모두 근본적인 한계가 같습니다. 이 용도를 위해 설계된 것이 아니라는 점입니다. 브라우저 자동화는 브라우저에서만 동작합니다. VM은 비싼 샌드박스입니다. 로컬 SDK는 보안 우려를 낳습니다.
한쪽이 다른 컴퓨터를 보고 제어하도록, 안전하게, 실시간으로, 어떤 네트워크에서든 해 주는 인프라가 이미 만들어져 있다면 어떨까요?
눈앞에 숨어 있던 원격 데스크톱
원격 데스크톱이 실제로 하는 일을 생각해 보세요.
- 호스트 컴퓨터의 화면을 캡처합니다
- 이를 원격 클라이언트로 실시간 스트리밍합니다
- 입력 명령(마우스 클릭, 키보드, 스크롤)을 받습니다
- 그 입력을 호스트 OS에 네이티브 방식으로 주입합니다
- 모든 것을 종단간 암호화합니다
이번에는 AI 에이전트가 컴퓨터를 쓰는 데 필요한 것을 생각해 보세요.
- 화면에 무엇이 있는지 보기(스크린샷)
- 무엇을 할지 결정하기(에이전트의 몫)
- 클릭, 입력, 스크롤(입력 주입)
- 결과 확인하기(다음 스크린샷)
- 모든 것을 안전하게 유지하기
같은 순환입니다. 원격 데스크톱은 본질적으로 AI 에이전트에게 필요한 인터페이스 계층 그 자체입니다.
에이전트에게는 눈이 필요합니다. 오늘날 대부분의 환경에서 에이전트는 어둠 속에서 손가락만 더듬고 있고, 원격 데스크톱은 마침내 볼 수 있게 해 주는 계층입니다.
Remio의 아키텍처가 유독 잘 맞는 이유
모든 원격 데스크톱이 이 일에 똑같이 준비된 것은 아닙니다. 대부분은 화면을 바라보는 사람을 위해 만들어졌고, 밀리초 간격으로 명령을 쏟아내는 API 기반 에이전트를 위한 것이 아닙니다. Remio에는 마침 맞는 요소가 이미 갖춰져 있습니다.
네이티브 입력 주입
Remio는 손쉬운 사용 편법이나 가상 키보드로 입력을 흉내 내지 않습니다. 운영 체제 자체의 입력 파이프라인을 사용해 정밀하고 네이티브 수준으로 마우스와 키보드 입력을 주입합니다. OS는 사람과 Remio를 구별할 수 없습니다. AI 에이전트도 같은 능력을 그대로 물려받습니다.
스크린샷 캡처
Remio 호스트는 이미 최대 6K, 120 FPS로 화면을 캡처하고 있으며 요청 시 개별 프레임도 전달할 수 있습니다. AI 에이전트에게 전체 프레임 속도는 필요하지 않습니다. 동작 하나당 깨끗한 스크린샷 한 장을 빠르게 받으면 됩니다. 캡처 파이프라인이 이미 돌아가고 있다면 아주 쉬운 일입니다.
속도를 위해 설계된 프로토콜
클라이언트와 호스트 사이의 모든 명령은 1밀리초도 걸리지 않고 해석되는 제로 카피 바이너리 형식으로 전달됩니다. AI 에이전트가 ‘(500, 300) 클릭’이라는 명령을 보내면, 거의 오버헤드 없이 해석되고 실행됩니다. JSON 파싱도, XML도 없습니다.
직접 암호화 연결
두 기기 사이의 모든 것은 종단간 암호화됩니다. 기본은 직접 P2P이고, 네트워크 환경상 필요할 때만 암호화된 릴레이를 거칩니다. 에이전트의 명령과 화면 데이터는 읽을 수 있는 형태로 우리 서버를 지나지 않으며, 릴레이도 암호문만 봅니다. 에이전트가 실제 업무용 컴퓨터와 파일, 애플리케이션을 다룰 때 이 점은 매우 중요합니다.
앱 실행
Remio는 이미 연결된 클라이언트를 위해 호스트 컴퓨터에서 애플리케이션을 실행할 수 있습니다. 에이전트용 API가 생기면, 에이전트가 ‘터미널 열어 줘’라고 말하는 것만으로 Remio가 실행해 줄 수 있습니다. 이미 만들어 둔 앱 실행 기능을 다시 만들 필요가 없습니다.
어떤 모습일 수 있을까요
이런 작업 흐름을 상상해 보세요.
Claude에게 이렇게 말합니다. “내 Mac에 접속해서 Excel로 재무 보고서를 열고, 4분기 수치를 이 데이터로 업데이트한 다음, PDF로 내보내서 팀에 이메일로 보내 줘.”
Claude는 Remio의 API를 통해 Mac에 연결합니다. 데스크톱이 보입니다. Excel을 엽니다. 알맞은 파일로 이동합니다. 셀을 업데이트합니다. 내보냅니다. 메일을 엽니다. 이메일을 보냅니다. 모든 단계가 눈에 보이고, 감사할 수 있으며, 종단간 암호화됩니다.
가상 머신도, 브라우저만 된다는 제한도 없습니다. 내 컴퓨터, 내 앱, 내 파일을 이미 존재하는 안전한 터널을 통해 AI가 제어합니다.
어려운 부분은 이미 끝났습니다
믿을 수 있는 원격 데스크톱을 만드는 데는 수년이 걸립니다. 화면 캡처 파이프라인, 영상 인코딩, 모든 OS의 특이점에서 동작하는 입력 주입, 가정용 공유기와 방화벽을 통과하는 직접 P2P 연결, 암호화, 지연 시간 최적화까지.
이 모든 것이 이미 Remio에 있습니다. 에이전트용 플랫폼은 처음부터 새로 만드는 제품이 아니라, 이미 있는 인프라의 새로운 인터페이스가 될 것입니다. 사람이 화면을 보는 대신 AI 에이전트가 프레임을 처리합니다. 사람이 마우스를 움직이는 대신 API 호출이 좌표를 보냅니다.
남은 일은 API 계층 자체를 만드는 것입니다. AI 에이전트가 연결하고, 스크린샷을 요청하고, 명령을 보내고, 결과를 받을 수 있는 깔끔하고 인증된 인터페이스입니다. 아직 없습니다. 의미 있는 엔지니어링이지만 기반 인프라의 복잡도에 비하면 일부분에 불과합니다.
솔직한 평가
우리는 이 분야를 초기 단계에서 연구하고 있습니다. 실제 과제가 있습니다.
- 보안 모델 — AI 에이전트에게 컴퓨터 접근을 안전하게 허용하려면 어떻게 해야 할까요? 어떤 권한을 줄까요? 접근은 어떻게 취소할까요? 신중한 설계가 필요합니다.
- 스크린샷 빈도 — AI 모델은 사람이 영상을 처리하는 것보다 이미지를 느리게 처리합니다. 상호작용 방식이 다릅니다. 스크린샷을 보내고, 에이전트의 판단을 기다리고, 실행하고, 반복합니다. 이 순환을 최적화하는 것이 중요합니다.
- 오류 복구 — AI 에이전트가 엉뚱한 버튼을 눌렀을 때 어떻게 복구할까요? Remio의 문제라기보다 AI의 문제이지만, 플랫폼도 이를 매끄럽게 지원해야 합니다.
이것들이 해결됐다고 말하지는 않겠습니다. 하지만 어려운 부분인 인프라 기반은 이미 갖춰져 있습니다.
우연히 만들어진 플랫폼
Remio는 AI 에이전트를 위해 만든 것이 아닙니다. 하지만 우리가 만든 것, 즉 네이티브 입력 주입, 실시간 화면 캡처, 직접 종단간 암호화 연결, 속도에 맞춰 다듬은 바이너리 프로토콜을 보면 AI의 컴퓨터 사용에 이보다 나은 기반을 떠올리기 어렵습니다.
최고의 제품은 뜻밖의 교차점에서 탄생하기도 합니다. 원격 데스크톱 기술과 AI 에이전트는 얼핏 어울리지 않아 보입니다. 하지만 양쪽이 필요로 하는 것을 들여다볼수록 이 조합은 필연처럼 느껴집니다.
AI 에이전트에게는 화면이 필요합니다. Remio는 화면을 제공합니다. 안전하게, 네이티브로, 실시간으로, 어떤 네트워크에서든. 빠진 조각은 처음부터 거기 있었습니다. 다만 그것이 무엇을 위한 조각인지 몰랐을 뿐입니다.
우리는 이 영역을 적극적으로 탐구하고 있습니다. 실제 컴퓨터와 상호작용해야 하는 AI 에이전트를 만들고 있다면 의견을 듣고 싶습니다. 미래는 우리 모두의 예상보다 빨리 올지도 모릅니다.
