게임은 덜 렌더링하고 더 많이 보는 방법을 알아냈습니다. 우리는 같은 요령을 원격 데스크톱에 가져오고 있습니다. 절반 크기의 스트림에서 4K 화면을 복원하는, 기기 안의 작은 모델입니다.
아무도 이야기하지 않는 대역폭 문제
원격 데스크톱에는 불편한 비밀이 있습니다. 대역폭을 많이 먹는다는 것입니다.
최신 코덱으로 데스크톱을 60 fps로 스트리밍하면 1080p에서 대략 3~8 Mbps, 4K에서 8~15 Mbps가 듭니다. 광케이블에서는 괜찮습니다. 튼튼한 집 Wi-Fi에서도 괜찮습니다. 하지만 호텔 Wi-Fi에 발을 들이거나, 휴대폰으로 테더링하거나, 붐비는 도시의 카페에서 일하려고 하면 모든 것이 무너집니다.
지금의 해법은 암울할 만큼 단순합니다. 대역폭이 떨어지면 화질을 낮춥니다. 해상도를 낮추고, 프레임 레이트를 낮추고, 상황이 나아질 때까지 흐릿한 글자와 끊기는 영상을 감수합니다. 모든 원격 데스크톱 앱이 이렇게 합니다. 20년 동안 유일한 선택지였습니다.
더 나은 방법이 있다면 어떨까요?
선명한 1080p 스트림을 보내다가 상황이 나빠지면 화질을 떨어뜨리는 대신, 작은 1080p 스트림을 항상 보내고 반대편에서 4K처럼 보이게 만들 수 있다면 어떨까요?
그것이 AI 초해상도입니다. 공상 과학이 아닙니다. 게임은 이미 수년째 하고 있습니다.
초해상도 스트리밍 파이프라인
게임에서 원격 데스크톱으로의 변환은 놀랄 만큼 깔끔합니다. 게임에서는 낮은 해상도로 렌더링하고 업스케일합니다. 스트리밍에서는 낮은 해상도로 인코딩하고 업스케일합니다. 왼쪽에서 오른쪽으로, 처음부터 끝까지 네 단계입니다.
| 단계 | 출력 | 지표 |
|---|---|---|
| 01 · 캡처 | 원본 해상도 프레임 | 3840×2160 → 압축 전 1920×1080 |
| 02 · 인코딩 | 1080p H.265 스트림 | 코덱: HEVC · CBR 3 Mbps |
| 03 · 전송 | WAN에서 약 3 Mbps | 대역폭: 3 Mbps · 지연 약 20 ms |
| 04 · 업스케일 & 렌더링 | 4K Metal / Vulkan 출력 | 모델: 280 KB · 추가 지연 <3 ms |
체감 선명도는 같고 대역폭은 대략 4분의 1입니다. 그리고 호스트가 더 작은 이미지를 인코딩하므로 일도 덜 합니다. CPU 사용량이 낮고, 발열이 적고, 노트북 배터리가 더 오래 갑니다.
| 방식 | 필요한 대역폭 |
|---|---|
| 현재 · 네이티브 4K 스트림 | ~12 Mbps |
| 현재 · 1080p 스트림 | ~5 Mbps |
| 초해상도 적용 · 업스케일한 4K | ~3 Mbps |
게임 업계는 이미 해결했습니다
2018년 NVIDIA가 DLSS, 즉 Deep Learning Super Sampling을 소개했습니다. 믿기 어려울 만큼 좋은 개념이었습니다. 게임을 낮은 해상도로 렌더링한 뒤 신경망으로 업스케일해 원본 해상도처럼 보이게 하는 것입니다. GPU의 일은 줄고 시각적 품질은 같습니다.
게이머들은 회의적이었습니다. AI가 만든 이미지가 어떻게 직접 렌더링한 픽셀만큼 좋을 수 있을까? 하지만 결과가 말해 주었습니다. 2026년에 DLSS 4.5는 트랜스포머 모델을 써서, 많은 플레이어가 실제로 네이티브 렌더링보다 선호하는 이미지를 만들어 냅니다. 더 선명한 가장자리, 더 나은 시간적 안정성, 더 적은 아티팩트입니다.
AMD는 FSR로 뒤따랐습니다. Apple은 MetalFX를 내놓았습니다. Intel은 XeSS를 출시했습니다. 업계 전체가 같은 통찰에 수렴했습니다.
가장 똑똑한 픽셀은 렌더링할 필요가 없는 픽셀입니다.
게임 업계가 "이건 눈속임"에서 "이건 필수"까지 가는 데 약 5년이 걸렸습니다. 원격 데스크톱은 아직 시작도 하지 않았습니다.
기기 내 AI, 설계부터 프라이빗
여기서부터 정말 흥미로워지고, AI가 작동하리라 예상하는 방식과 우리가 달라지는 지점입니다.
초해상도 모델은 전적으로 기기에서 실행됩니다. 클라우드가 아닙니다. 어떤 서버도 아닙니다. 손에 든 휴대폰이나 노트북에서입니다.
최신 기기는 기기 내 AI에 터무니없이 강력합니다. M 시리즈 칩의 Apple Neural Engine은 초당 15.8조 번의 연산을 처리합니다. 최근 Snapdragon 칩의 Qualcomm Hexagon NPU도 같은 급입니다. 이 전용 AI 프로세서들은 대부분의 시간 동안 놀고 있습니다. 우리는 이들에게 일을 시키려 합니다.
추론은 디코딩과 표시 사이의 렌더링 파이프라인에서 실행됩니다. 모델은 1080p 프레임을 받아 4K 프레임을 내놓습니다. 지연 예산은 3밀리초 미만이며, 이를 지키지 못하는 프로토타입은 출시되지 않습니다.
그리고 모든 것이 로컬에서 실행되므로:
- 기기 밖으로 나가는 데이터가 없습니다 — 화면 내용은 비공개로 유지됩니다
- AI에 인터넷이 필요 없습니다 — 모델은 오프라인에서 작동합니다
- AI 기능에 구독이 필요 없습니다 — 앱에 내장되어 있습니다
- 서버 비용이 없습니다 — 모든 사용자가 자기 연산 자원을 가져오므로 무한히 확장됩니다
이는 Remio의 개인정보 우선 철학과 맞닿아 있습니다. 우리는 여러분의 데이터를 원하지 않습니다. 화면 내용을 보는 것조차 원하지 않습니다. 기기 내 AI 덕분에 우리는 여러분이 무엇을 하는지 말 그대로 아무것도 모른 채 최첨단 기능을 제공할 수 있습니다.
이것이 네이티브 앱에서만 작동하는 이유
모든 것을 하나로 묶는 대목이며, 네이티브로 가는 것에 대한 글 한 편을 따로 쓴 이유이기도 합니다.
눈에 띄는 지연을 더하지 않고 렌더링 파이프라인에서 신경망을 실행하려면 다음이 필요합니다.
- Neural Engine 또는 NPU에 대한 접근. 네이티브 API가 필요합니다. Apple에서는 CoreML, Android에서는 NNAPI입니다. Neural Engine용 웹 API는 없습니다. Electron 앱은 닿을 수 없습니다.
- GPU 파이프라인 통합. 업스케일된 프레임이 추가 복사 없이 곧장 디스플레이로 가야 합니다. Metal과 Vulkan은 이를 가능하게 합니다. WebGL은 이 정도의 제어를 주지 않습니다.
- 3 ms 미만의 타이밍. 실시간 스트리밍 파이프라인에서는 추가되는 1밀리초가 모두 중요합니다. JavaScript의 가비지 컬렉터만으로도 예측할 수 없는 멈춤이 생길 수 있습니다. 네이티브 코드는 결정적인 타이밍을 줍니다.
Electron 앱은 Chromium의 미디어 파이프라인에서 비디오를 디코딩하고, 프레임을 JavaScript로 꺼내고, 어떻게든 Neural Engine을 호출하고(네이티브 바인딩 없이는 불가능), 업스케일된 프레임을 돌려받아 Chromium의 컴포지터로 표시해야 합니다. 각 단계가 지연과 복잡성을 더합니다. 총 오버헤드는 아마 15~25 ms에 이를 것이고, 실시간 사용에는 너무 느립니다.
스트리밍 파이프라인의 초해상도는 단순한 AI 문제가 아닙니다. 시스템 엔지니어링 문제입니다. 그리고 시스템 엔지니어링은 네이티브 코드를 요구합니다.
Remio를 만든 지 2년이 지나도록 Electron 기반 원격 데스크톱이 AI 업스케일링을 출시하지 못한 이유가 이것입니다. 원하지 않아서가 아닙니다. 아키텍처가 허락하지 않기 때문입니다.
기술적 과제와 해결 방법
이것이 쉽다고 말하지는 않겠습니다. 실제로 어려운 과제들이 있습니다.
모델 지연. 모델은 60 fps에서 프레임당 3 ms 안에 실행되어야 합니다. 비대한 구조가 들어갈 여지가 전혀 없습니다. 우리는 최적화된 합성곱 모델을 쓰고 있습니다. 프레임마다 추론하기에는 트랜스포머가 너무 느리기 때문입니다. Neural Engine의 실행 유닛에 특화해 튜닝했습니다.
콘텐츠의 다양성. 원격 데스크톱 콘텐츠는 게임 콘텐츠와 크게 다릅니다. 글자, 스프레드시트, 코드 편집기, 영상 재생, 디자인 도구까지 모델이 모두 다뤄야 합니다. 자연 이미지만이 아니라 데스크톱 UI 요소를 명확히 포함한 데이터셋으로 학습하고 있습니다.
시간적 안정성. 프레임 단위 업스케일링은 깜빡임을 일으킬 수 있습니다. 게임은 이전 프레임의 정보를 재사용하는 시간적 누적으로 해결했습니다. 우리도 비슷한 기법을 탐구하고 있으며, 비디오 코덱의 모션 벡터를 업스케일링 모델에 입력합니다.
전력 효율. 휴대폰에서 신경망을 초당 60번 돌리는 것은 비싸게 들립니다. 하지만 Neural Engine은 바로 이런 일을 위해 설계되었고, 행렬 연산에서는 GPU보다 전력 효율이 높습니다. 초기 연구실 프로토타입은 한 자릿수의 작은 배터리 비용만 든다고 시사합니다.
솔직한 과제: 게임보다 어려운 이유
우리는 영감으로서 DLSS와 게임 초해상도를 이야기해 왔고, 실제로 그렇습니다. 하지만 지적 정직성을 위해 원격 데스크톱 업스케일링이 왜 근본적으로 더 어려운 문제인지 설명해야 합니다.
게임의 DLSS에는 불공평한 이점이 있습니다. 게임 엔진은 우리 세계에는 없는 풍부한 데이터를 AI에게 제공합니다.
- 모션 벡터. 엔진은 프레임 사이에서 모든 객체가 정확히 어디로 움직였는지 압니다. 우리는 장면 수준의 움직임 데이터가 없는 압축 비디오를 받습니다.
- 깊이 버퍼. DLSS는 어느 픽셀이 가깝고 어느 것이 먼지 압니다. 우리는 평평한 2D 이미지를 봅니다.
- 시간적 이력. DLSS는 엔진 데이터로 여러 프레임에 걸쳐 디테일을 누적합니다. 우리는 매번 다른 아티팩트를 가질 수 있는, 개별적으로 압축된 프레임으로 작업합니다.
- 전용 하드웨어. NVIDIA의 텐서 코어는 이 작업에 특화된 384+ TOPS를 냅니다. 모바일 Neural Engine은 강력하지만 다른 목적에 쓰입니다.
다시 말해 게임 초해상도는 풍부한 보조 데이터가 있는 유도된 복원입니다. 원격 데스크톱 업스케일링은 손실 압축 비디오에서 하는 블라인드 초해상도로, 훨씬 불리한 출발점입니다.
접근법이 틀렸다는 뜻은 아닙니다. 낮은 비트레이트에서 화질이 조금만 나아져도 실제 대역폭 절감이 생깁니다. 다만 투명하게 말씀드립니다. 블라인드 업스케일링의 화질 한계는 엔진과 완전히 통합된 DLSS가 달성하는 것보다 낮습니다. 우리는 다른 기술과 동등하다고 주장하는 것이 아니라 정말 쓸모 있는 것을 만들고 있습니다.
이것이 여러분에게 의미하는 것
AI 초해상도가 Remio에 출시되면 신경 쓸 필요가 없습니다. 토글도, 설정도, "AI 모드"도 없습니다. 앱이 자동으로 다음을 합니다.
- 사용 가능한 대역폭을 감지합니다
- 최적의 인코딩 해상도를 고릅니다
- 화면에 맞게 기기에서 업스케일합니다
- 상황이 바뀌면 실시간으로 적응합니다
빠른 연결에서는 업스케일이 전혀 필요 없을 수도 있습니다. 느린 연결에서는 "쓸 수 없음"과 "내 컴퓨터 앞에 앉아 있는 느낌"의 차이를 만들 것입니다.
그것이 목표입니다. 신경 써야 하는 AI가 아니라, 이미 가진 기기에서 조용히, 프라이빗하게 모든 것을 더 잘 작동하게 만드는 AI입니다.
우리는 지금 날짜를 약속하지 않고 이것을 탐구하고 있으며, AI가 원격 데스크톱을 이끌 수 있는 다른 아이디어와 함께 살펴보고 있습니다. 대체하는 스트림보다 글자를 더 선명하게 유지할 때에만 출시됩니다.
적게 보내고, 더 많이 보기. 그것이 미래입니다.
