AI가 원격 데스크톱을 어디로 이끌 수 있을까 (우리가 탐구 중인 아이디어).

원격 데스크톱은 20년 동안 이렇다 할 도약이 없었습니다. 우리는 AI가 이를 바꿀 수 있다고 생각합니다. 이 글은 어디서 바뀔 수 있는지, 그리고 우리가 탐구 중인 아이디어에 대한 에세이입니다. 현재 Remio에는 AI 기능이 없으며, 출시 날짜도 약속하지 않습니다.

20년의 정체

2026년의 원격 데스크톱 앱을 아무거나 열어 보세요. 그리고 2006년의 앱을 열어 보세요. 눈을 살짝 찌푸리면 사실상 같은 물건입니다.

아이콘은 더 납작해졌습니다. 연결은 조금 더 빨라졌을지도 모릅니다. 다크 모드가 생겼을 수도 있고요. 하지만 근본적인 경험 — A 컴퓨터의 픽셀을 스트리밍해 B 컴퓨터에 표시하고, 입력을 다시 보내는 것 — 은 20년 동안 의미 있게 달라지지 않았습니다.

코덱은 좋아졌습니다. H.264가 JPEG를 대체했고, 이후 H.265가 등장했습니다. 대역폭은 저렴해졌고 연결은 빨라졌습니다. 하지만 핵심 구조 — 이런 앱들이 스트리밍을 생각하는 방식 — 은 시간 속에 얼어붙어 있었습니다.

대부분의 원격 데스크톱 앱은 같은 방식을 씁니다. 프레임을 인코딩하고, 보내고, 디코딩하고, 표시하고, 반복합니다. 설정은 대부분 고정이고, 화질은 수동인 경우가 많습니다. 네트워크가 흔들리면 어딘가의 슬라이더를 끌 때까지 화면이 뭉개지기도 합니다. Remio는 비트레이트와 해상도를 네트워크에 맞춰 알아서 조정하지만 — 이는 AI가 아닌 평범한 엔지니어링일 뿐 — 밑바탕의 접근법은 같습니다.

이것은 기술의 문제가 아닙니다. 상상력의 문제입니다.

AI의 등장: 무엇이 달라질 수 있을까

우리를 설레게 하고, 좋은 의미로 밤잠을 설치게 하는 것들입니다. AI는 원격 데스크톱을 개선하는 데 그치지 않을 수도 있습니다. 원격 데스크톱이 무엇일 수 있는지를 다시 상상하게 할지도 모릅니다.

설정 패널에 챗봇을 붙이자는 이야기가 아닙니다. 스트리밍 파이프라인의 일부 계층에 지능을 넣어 다시 생각하자는 이야기입니다. 분명히 해 두자면, 아래의 모든 내용은 제품이 아니라 아이디어입니다.

적응형 화질, 한 걸음 더

많은 원격 데스크톱 앱이 화질 슬라이더나, 몇 가지 프리셋 중에서 고르는 "자동" 모드를 제공합니다. Remio는 이미 비트레이트와 해상도를 네트워크에 맞춰 스스로 조정합니다. 우리가 흥미롭게 보는 질문은 이것을 얼마나 더 멀리 끌고 갈 수 있느냐입니다.

이제 모든 것을 실시간으로 지켜보는 AI를 상상해 보세요. 네트워크 대역폭, 지연 시간의 흔들림, 패킷 손실 패턴, 화면에 실제로 무엇이 있는지, 문서를 읽는지 영상을 보는지까지 살피며 수십 개의 매개변수를 동시에 계속 최적화합니다.

화면에 글자가 있다면? 선명도를 높이고 프레임 레이트를 낮춥니다. 영상을 재생 중이라면? 높은 프레임 레이트로 바꾸고 압축은 더 허용합니다. 화면이 3초간 멈춰 있다면? 대역폭을 거의 0으로 낮춥니다. 빠르게 스크롤한다면? 잠시 화질을 낮췄다가, 멈추는 순간 다시 선명하게 되돌립니다.

사람은 이걸 할 수 없습니다. 단순한 알고리즘은 잘 해내지 못할 수 있습니다. 기기에서 실행되는 학습된 모델이라면 가능할지도 모릅니다 — 그걸 확인해 보는 것이 탐구의 목적입니다.

초해상도: 적게 보내고 더 많이 보기

우리가 설명할 때 사람들이 가장 크게 반응하는 아이디어입니다.

AI 업스케일링은 게임이 개척했습니다. NVIDIA의 DLSS는 게임을 낮은 해상도로 렌더링한 뒤, 깊이 버퍼와 모션 벡터, 전용 텐서 코어를 활용하는 신경망으로 놀라운 화면을 복원합니다. 게임 엔진이 AI가 활용할 수 있는 풍부한 데이터를 제공하기 때문에 훌륭하게 작동합니다.

원격 데스크톱 업스케일링은 이 아이디어에서 영감을 얻었지만, 근본적으로 다른 과제에 직면합니다. 우리는 장면 형상이나 엔진 수준의 데이터 없이 압축된 비디오 프레임만 가지고 작업합니다. 말하자면 "블라인드" 초해상도입니다. 더 어렵지만 잠재력은 클 수 있습니다. 스트림을 720p로 인코딩하고, 기기 내 AI로 1080p나 1440p 화질에 가깝게 복원하는 것이 아이디어입니다. 잘 되면 게임과 방식은 다르더라도 대역폭 절감 효과는 상당할 수 있습니다.

설계 의도는 모든 처리가 기기 안에서 이루어지는 것입니다. 클라우드 처리도, 기기 밖으로 나가는 데이터도 없습니다. Apple Neural Engine이나 Qualcomm NPU가 무거운 일을 맡게 됩니다.

입력 예측: 물리 법칙보다 빠르게 느껴질 수 있을까?

미묘하지만 큰 차이를 만드는 이야기입니다. 모든 원격 데스크톱에는 고유한 지연이 있습니다. 마우스를 움직인 뒤 화면에서 움직이는 것을 보기까지의 시간입니다. 물리 법칙이 하한선을 정합니다. 빛이 미국 대륙을 가로지르는 데만 약 20 ms가 걸립니다.

하지만 클라이언트가 커서가 어디로 갈지 예측할 수 있다면 어떨까요? 마우스 움직임은 무작위가 아닙니다. 가속 곡선, 목표의 크기, 방향성 같은 패턴을 따릅니다. 가벼운 모델이라면 커서 위치를 수십 밀리초 앞서 예측할 수 있을지도 모릅니다.

이것이 통한다면 원격 데스크톱은 빛의 속도가 허락하는 것보다 더 빠르게 느껴질 것입니다. 물리 법칙을 깨서가 아니라, 기다리기를 멈췄기 때문입니다.

왜 어려운가

스트리밍 파이프라인에 AI를 넣는 일은 말처럼 쉽지 않습니다. 우리가 계속 부딪히는 문제들은 다음과 같습니다.

• 지연 예산 — 파이프라인 안의 모델은 몇 밀리초 안에 들어가야 합니다. 그렇지 않으면 경험이 좋아지기는커녕 나빠집니다.
• 네이티브 하드웨어 접근 — Neural Engine, NPU, GPU에 닿으려면 웹 래퍼가 아니라 네이티브 코드가 필요합니다.
• 화면 콘텐츠는 다릅니다 — 사진과 게임으로 학습한 모델이 글자와 인터페이스 가장자리에서 저절로 잘 작동하지는 않습니다.
• 개인정보 보호 — 화면을 들여다보는 것은 무엇이든 기기나 호스트에서 실행되어야 하며, 누군가의 클라우드에서 실행되어서는 안 됩니다.
• 솔직한 평가 — 데모에서 멋져 보이는 기능도 실제 네트워크와 실제 하드웨어에서 버텨야 합니다.

픽셀을 잘 스트리밍하는 것이 기본입니다. 지연을 더하지 않고 지능으로 이를 개선할 수 있는지가 열려 있는 질문입니다.

그래서 우리는 이 모든 것을 로드맵이 아니라 연구로 다룹니다. 아이디어는 흥미롭지만, 증거는 아직 나오지 않았습니다.

스트리밍 파이프라인에서 AI를 하는 일은 어렵습니다. 하드웨어 가속기에 접근하려면 (Electron이 아닌) 네이티브 코드가 필요합니다. 지연을 늘리지 않고 AI 처리를 끼워 넣으려면 맞춤형 렌더링 파이프라인이 필요합니다. ML 추론 그리고 실시간 비디오를 모두 이해해야 합니다. 흔치 않은 조합이며, 우리는 이것을 잘 해낼 수 있는지 탐구하고 있습니다.

네이티브 앱이 이를 시도하기 좋은 이유

완전한 네이티브로 가기로 한 우리의 결정이, 우리가 계획하지 않았던 방식으로 빛을 발할 수도 있는 지점입니다.

Remio는 모든 플랫폼에서 네이티브 앱이기 때문에 각 플랫폼의 하드웨어 가속기에 직접 접근할 수 있습니다.

• Apple Neural Engine — CoreML을 통해 사용할 수 있으며, 기기 내 모델에 자연스러운 보금자리입니다.
• Qualcomm Hexagon NPU — 많은 Android 칩에 들어 있습니다. GPU를 건드리지 않는 기기 내 AI입니다.
• Metal과 Vulkan — 네이티브 앱이 직접 닿을 수 있는 GPU 연산입니다. 거기서 추론을 돌리는 것은 자연스러운 확장이 될 것입니다.

웹 래퍼에게는 이것이 어렵습니다. Neural Engine과 대화하려면 네이티브여야 하고, 비디오 디코딩과 표시 사이에 ML 추론을 배치하려면 네이티브여야 하며, AI 단계를 위에 덧붙인 사후 처리가 아닌 렌더링 파이프라인의 일급 구성 요소로 만들려면 네이티브여야 합니다.

우리의 아키텍처는 AI를 위해 만들어진 것이 아니지만, 네이티브로 만들었기에 문이 열려 있습니다. 어렵게 만드는 방식의 장점이 바로 그것입니다.

우리가 탐구 중인 아이디어

확정된 날짜도, 마케팅용 로드맵도 없습니다. 오늘 실제로 있는 것과 아이디어일 뿐인 것을 솔직하게 정리한 목록입니다.

오늘: Remio는 호스트에서 설정 없이 비트레이트와 해상도를 네트워크에 맞춰 실시간으로 조정합니다. 이것은 AI가 아니라 엔지니어링입니다.

탐구 중: 시각적 품질을 유지하면서 스트림에 필요한 대역폭을 줄이는 기기 내 신경망 업스케일링. 이 아이디어에 대한 심층 글을 썼습니다.

역시 탐구 중: 예측 입력, 콘텐츠 인식 인코딩, 실제 데스크톱을 조작할 수 있는 에이전트, 그리고 아직 이야기할 준비가 되지 않은 몇 가지 아이디어. 이 중 오늘 제공되는 것은 없으며, 언제가 될지도 약속하지 않습니다.

이 중 무엇이든 출시된다면 Remio의 나머지 부분과 같은 규칙을 따릅니다. 기기나 호스트에서 실행되고, Remio 서버를 거치지 않으며, 학습을 위해 화면 데이터를 수집하지 않습니다.

이것이 향할 수 있는 곳

몇 년 뒤 사람들이 오늘의 원격 데스크톱 앱을 우리가 다이얼업 인터넷을 돌아보듯 돌아볼 수도 있다고 생각합니다. "그냥 원본 픽셀을 보내 놓고 잘되길 바랐다고요? 그게 전부였어요?"

우리의 직감은 원격 데스크톱의 미래가 더 빠른 코덱이나 더 굵은 회선보다는, 사용자가 무엇을 하는지 이해하고 그에 맞춰 보이지 않게, 비공개로, 내 기기 안에서 적응하는 앱에 가깝다는 것입니다. 로드맵이 아니라 직감입니다.

우리는 신중하게 탐구해 볼 만큼 궁금하며, 무언가가 실제가 되면 분명하게 말씀드리겠습니다.