개발 중인 기기 내 신경망 업스케일링 — 가벼운 스트림에서 더 선명한 픽셀.

원격 데스크톱 스트림은 눈에 도달하기 전에 두 번의 압축을 거칩니다. 첫째, 원본 해상도가 클라이언트가 표시할 수 있는 것보다 크면 호스트가 해상도를 낮춥니다. 3024×1964로 호스팅하는 M4 MacBook Pro 14"에서 2266×1488의 iPad mini로 스트리밍하면, 인코더가 프레임을 보기 전에 이미 픽셀의 약 3분의 1을 내준 셈입니다. 둘째, 인코더 자체가 네트워크가 실어 나를 수 있는 비트레이트에 맞추려고 손실 압축을 적용합니다. 두 단계 모두 고주파 디테일을 버리며, 그것이 선명한 글자 모양과 번진 얼룩의 차이를 만듭니다.

우리가 탐구하는 아이디어는 디코딩 후 클라이언트에서 실행되는 화질 복원 단계입니다. 압축이 풀린 프레임을 보고, 다운스케일되고 인코더를 거치며 눌리기 전의 원본 프레임이 가졌던 고주파 콘텐츠를 예측합니다. 이미 있는 픽셀에서만 보간할 수 있는 기존의 쌍선형이나 쌍3차 업스케일링과 달리, 학습된 신경망은 가장자리, 글자 모양, UI 형태가 전체 해상도에서 어떻게 생겼는지 학습해 단순 보간으로는 복원할 수 없는 디테일을 재구성할 수 있습니다.

바라는 대로 작동한다면 효과는 가장 필요한 곳에서 가장 잘 드러날 것입니다. 11포인트 본문 글자, 고정폭 글꼴의 코드, Figma 파일의 가는 선, 사이드바의 버튼 윤곽선이 그렇습니다. 픽셀 몇 개가 번지면 "읽을 만하다"와 "몸을 기울여야 한다"가 갈리는 경우들입니다. 움직임에 맞춰진 인코더 혼자서는 할 수 없는 실제 간극이며, 그래서 기기 내 모델이 이를 메울 수 있는지 알아볼 연구의 가치가 있습니다.

아직 거기에 이르지 못했습니다. 지금 "연결이 나쁠 때 세션을 선명하게 유지하려면 어떻게 하나요"에 대한 솔직한 답은 Remio의 적응형 비트레이트 엔진입니다. 이미 네트워크를 읽고 지연이 치솟지 않으면서 연결이 허용하는 만큼 화면을 선명하게 유지하는 범위를 고릅니다. 신경망 업스케일링은 그 위에 얹는 추가 계층이지 대체가 아닙니다.

이미 있는 것보다 확실히 나은가? Remio의 적응형 비트레이트 엔진은 이미 연결을 읽고 네트워크가 허용하는 만큼 화면을 선명하게 유지하는 범위를 고릅니다. 신경망 모델은 그 기준선 위로 사람들이 실제로 알아챌 만큼의 디테일을 복원해야 자리를 얻습니다. 보통 시청 거리에서는 사라지는 벤치마크 승리여서는 안 됩니다.

휴대폰이나 태블릿에서 배터리를 의미 있게 쓰는가? 세션 내내 디코딩된 모든 프레임에 모델을 돌리면 실제 전력 비용이 듭니다. 그 비용이 아무도 신경 쓰지 않을 만큼 작거나, 복원할 가치가 있을 때만 배터리를 쓰는 분명하고 솔직한 "자동" 동작이어야 하며, 아예 쓰고 싶지 않은 사람을 위한 진짜 끄기 스위치도 있어야 합니다.

하는 일에 대해 정직한가? 압축된 픽셀에서 그럴듯해 보이는 디테일을 재구성하는 모델은 원래 없던 내용을 지어내는 모델과 다른 일을 합니다. 보이는 것이 호스트에 실제로 있는 것과 일치해야 하는 원격 데스크톱에서 이 구분은 있으면 좋은 것이 아니라 신뢰 모델 그 자체입니다. 우리가 출시하는 것은 재구성만 해야 하며 환각을 만들어서는 안 됩니다.

세 질문 모두에 추정이 아닌 실제 수치로 답할 수 있을 때까지, 이 페이지에서 이것은 앱의 토글이 아니라 연구 중인 아이디어로 남습니다.

처음부터 끝까지 하드웨어 H.265라는 것은 호스트의 인코더와 클라이언트의 디코더가 모두 CPU가 아닌 전용 비디오 실리콘에서 실행된다는 뜻입니다. 소프트웨어로 디코딩하려면 버거울 휴대폰에서 4K 영상이 부드럽게 재생되는 것과 같은 이유입니다. 이 여유 덕분에 Remio는 소프트웨어 코덱이 유지하지 못할 비트레이트에서도 디테일을 지킬 수 있습니다.

적응형 비트레이트 엔진은 신경망 업스케일링이 도우려고 탐구되는 바로 그 일을 하는 부분입니다. 세션을 시작할 때 연결을 측정해 지연이 치솟지 않고 연결이 지탱할 수 있는 가장 높은 비트레이트 범위를 선택하며, 조용히 스트림을 굶기지 않습니다. 적응형 화질이 작동하는 방식 읽기 →

가상 디스플레이와 무버퍼링 렌더러가 이를 완성합니다. Remio가 스트리밍하는 디스플레이는 호스트의 전체 모니터가 아니라 내 창 크기에 정확히 맞춰지므로, 더 큰 것을 줄여 놓은 복사본을 보는 일이 없습니다. 렌더러는 항상 가장 최신 디코딩된 프레임을 그리고 오래된 프레임은 따라잡으려 하지 않고 버리기 때문에, 화면에 닿을 때 보이는 것은 어느 것도 낡지 않았습니다. 이 네 가지가 어우러져 대부분의 세션에는 화질 복원 단계가 아예 필요하지 않습니다.

없는 UI를 환각으로 만들지 않습니다. 인코더가 한 영역을 버려 스트림 가장자리에서 버튼이 잘려 있다면, 나머지 버튼을 지어내는 모델은 원격 데스크톱에 어울리지 않습니다. iPad에서 보는 것이 호스트에 실제로 있는 것과 일치한다고 믿을 수 있어야 합니다. 없던 내용을 채워 넣는 생성형 모델은 그 신뢰를 깨뜨리므로, 실제로 인코딩된 픽셀에서 재구성하는 모델만 출시하고 지어내는 모델은 출시하지 않습니다.

프레임 레이트를 높인다고 주장하지 않습니다. Remio의 프레임 레이트는 호스트의 캡처 속도와 네트워크가 프레임을 제시간에 전달하는 능력으로 정해지며, 이는 업스케일러가 아니라 이미 출시된 무버퍼링 렌더러의 일입니다. 우리가 만드는 어떤 모델이든 디코딩된 프레임마다 더 선명한 프레임 하나를 낼 뿐 그 이상은 없습니다.

호스트의 영상 재생을 고친다고 내세우지 않습니다. 원격 Mac에서 영화를 본다면 스트리밍되는 것은 호스트 자체의 비디오 디코더가 호스트의 해상도로 그린 결과입니다. 스트림에 거는 화질 복원 단계는 호스트가 이미 만들어 낸 원본보다 나아지게 해 주지 않습니다. 더 선명한 영화 재생을 위한 솔직한 조언은 오늘과 같습니다. 호스트가 아니라 클라이언트 기기에서 재생하세요.

좋은 네트워크의 대체품으로 팔지 않습니다. 직접 LAN 연결은 어떤 업스케일링을 얹어도 제한된 WAN 연결보다 항상 더 선명합니다. 오늘 출시된 Remio의 적응형 비트레이트 엔진이 이미 실제 연결이 지탱할 수 있는 최고의 화면을 제공합니다. 여기서 만드는 무엇이든 나쁜 네트워크를 위한 추가 보험이지 좋은 네트워크를 대신하는 것이 아닙니다.