Sắc nét hơn những gì bitrate gợi ý.

Một luồng remote desktop trải qua hai lần nén trước khi tới mắt bạn. Đầu tiên, host thu nhỏ độ phân giải khi nguồn vượt quá những gì client hiển thị được — một MacBook Pro 14" M4 host ở 3024 x 1964 stream tới iPad mini ở 2266 x 1488 đã bỏ đi khoảng một phần ba số pixel trước cả khi bộ mã hoá nhìn thấy khung hình. Thứ hai, bản thân bộ mã hoá áp dụng nén mất dữ liệu để vừa với bitrate mà mạng tải được. Cả hai bước đều vứt bỏ chi tiết tần số cao — đúng thứ tạo nên khác biệt giữa một glyph ký tự sắc nét và một vệt nhoè nhoẹt.

Siêu phân giải bằng mạng nơ-ron là một bước khôi phục chất lượng chạy trên client sau khi giải mã. Nó nhìn vào khung hình đã giải nén và dự đoán phần nội dung tần số cao mà khung hình gốc từng có trước khi bị thu nhỏ và ép qua bộ mã hoá. Khác với phóng đại bilinear hay bicubic cổ điển — vốn chỉ nội suy từ những pixel đã có sẵn — một mạng nơ-ron đã huấn luyện biết rõ cạnh, hình dạng chữ và hình khối giao diện trông thế nào ở độ phân giải đầy đủ. Nó đặt lại thông tin tần số cao vào chỗ cũ.

Hiệu quả rõ nhất đúng ở nơi bạn cần nhất: chữ thân 11-point, code trong font đơn cách, đường hairline trong file Figma, viền nút trong thanh bên. Đây là những trường hợp mà vài pixel bị nhoè quyết định ranh giới giữa "đọc được" và "phải nhoài người tới gần." Một bộ mã hoá tối ưu cho chuyển động không thể thắng trên những bề mặt này vì chúng phá vỡ giả định cốt lõi của nó rằng chi tiết có thể bị bỏ bớt giữa các khung hình. Một bộ phóng đại nơ-ron thì có thể, vì nó tái tạo từ tri thức đã học, chứ không phải từ các pixel lân cận.

Kết quả là một luồng trông sắc nét hơn mức bitrate của nó gợi ý. Bạn có thể chạy một phiên chỉ với nửa băng thông mà vẫn đọc được mọi thứ — hữu ích trên Wi-Fi khách sạn, trên kết nối chia sẻ từ điện thoại, trên mạng LAN văn phòng đang quá tải, hay đơn giản trên bất kỳ mạng nào bạn muốn chừa dư địa cho việc khác.

Điều kiện kích hoạt thứ nhất là độ phân giải nguồn so với màn hình. Nếu host đang render ở độ phân giải cao hơn hẳn những gì màn hình client hiển thị được — một host M4 14" ở 3024 x 1964 stream tới iPad mini ở 2266 x 1488, hay một host iMac 27" 5K stream tới MacBook Air — host buộc phải thu nhỏ trước khi mã hoá, và việc thu nhỏ vứt bỏ chi tiết mà bộ phóng đại có thể tái tạo hữu ích. Client kiểm tra điều này lúc bắt đầu phiên và quyết định có bật bước này hay không.

Điều kiện kích hoạt thứ hai là giới hạn bitrate WAN. Khi bạn ở trong một mạng LAN cùng với host, Remio chạy luồng ở bitrate tối đa mà đường truyền tải được — không có chất lượng nào để khôi phục, nên bộ phóng đại tắt. Khi bạn ở trên một kết nối diện rộng — chia sẻ từ điện thoại, Wi-Fi khách sạn, xuyên vùng — giới hạn này bó nguồn lại cho vừa với thông lượng ổn định của mạng; bộ mã hoá buông bỏ chi tiết tần số cao để đạt mục tiêu, và bộ phóng đại bật lên để đặt chi tiết đó trở lại.

Điều kiện kích hoạt thứ ba là thủ công: chế độ "Crisp text" trong bảng tuỳ chọn Streaming. Mặc định là Auto, kết hợp hai điều kiện tự động ở trên. Bạn có thể ép Always On để đạt độ sắc nét tối đa trên mọi khung hình bất kể nguồn, hoặc Always Off để tiết kiệm pin tối đa. Công tắc có hiệu lực ngay ở khung hình được giải mã kế tiếp — không cần khởi động lại phiên, không cần kết nối lại.

Khi không điều kiện nào trong ba điều kiện được kích hoạt, client giải mã luồng 1:1 và bỏ qua hoàn toàn bước AI. Neural Engine nằm im. Chi phí pin về không. Đây là trường hợp phổ biến trên một mạng LAN khi màn hình host nhỏ hơn hoặc bằng màn hình client — cũng là phần lớn công việc của một người ngồi cố định tại bàn trong một ngày.

Bước phóng đại chạy song song với giải mã phần cứng chứ không phải sau đó. Bộ giải mã chuyển khung N+1 cho GPU trong khi Neural Engine vẫn đang phóng đại khung N. Vì giải mã và suy luận nằm trên các phần cứng khác nhau, không bên nào chặn bên nào — điểm tuần tự hoá duy nhất là bước ghép cuối cùng vào bề mặt hiển thị, chỉ mất vài micro-giây.

Trên một thiết bị Apple Silicon dòng M đời hiện tại, tổng thời gian NPU cho mỗi khung phóng đại giữ dưới 4 ms. Riêng trên iPad Pro M2, ngân sách đo được vào khoảng 2.5 ms mỗi khung ở 60 Hz, để Neural Engine nằm im trong 14 ms còn lại của mỗi khoảng khung hình. Điều đó có nghĩa bước siêu phân giải về cơ bản cộng thêm số không vào ngân sách kính-tới-kính — nó được giấu bên trong khoảng thời gian mà GPU và màn hình vốn đã phải bỏ ra.

Trên các thiết bị Android có NPU, ngân sách thay đổi theo đời chip. Một Pixel 8 với Tensor G3 tiệm cận con số của iPad Pro; một Galaxy S22 với Snapdragon 8 Gen 1 chạy lâu hơn nhưng vẫn nằm trong ngân sách 16.6 ms mỗi khung ở 60 Hz. Trên các thiết bị mà NPU không thể hoàn thành một khung trong ngân sách, client tự động lùi bước phóng đại lại thay vì rớt khung hoặc làm nghẽn màn hình.

Nó không bịa ra phần giao diện bị thiếu. Nếu một nút bị cắt ở mép luồng vì bộ mã hoá bỏ mất một vùng, bộ phóng đại không tự vẽ ra phần nút còn lại. Nó làm việc trên những pixel đã được mã hoá và tái tạo chi tiết tần số cao mà những pixel đó hàm ý — chứ không phải những pixel chưa từng tồn tại. Một người dùng remote desktop cần tin rằng những gì họ thấy trên iPad khớp với những gì đang có trên host. Một mô hình tạo sinh tự điền vào nội dung thiếu sẽ phá vỡ niềm tin đó.

Nó không tăng tốc độ khung hình. Luồng vẫn chạy ở 60 fps; bộ phóng đại tạo ra một khung phóng đại cho mỗi khung được giải mã. Không có nội suy theo thời gian, không chèn khung, không làm mượt chuyển động. Tốc độ khung hình do tốc độ chụp của host và khả năng giao khung đúng lúc của mạng quyết định, và bộ phóng đại không thay đổi bên nào cả.

Nó không "tăng cường bằng AI" cho video đang phát trên host. Nếu bạn đang xem phim trên chiếc Mac từ xa, thứ được stream là bất cứ gì mà bộ giải mã video của host đã render vào cửa sổ của nó — ở độ phân giải của host. Bước siêu phân giải khôi phục chi tiết mà bộ mã hoá stream đã vứt đi, nhưng nó không cải thiện được nguồn mà host tạo ra. Muốn xem phim sắc nét hơn, hãy phát phim ngay trên thiết bị client của bạn, chứ không phải trên host.

Nó không thay thế được một mạng tốt. Một kết nối P2P LAN với đường trực tiếp nhanh luôn sắc nét hơn một kết nối WAN bị bó rồi phóng đại bằng mạng nơ-ron — siêu phân giải thu hẹp phần lớn khoảng cách nhưng không phải toàn bộ. Cách nghĩ đúng về bước này là như một khoản bảo hiểm chất lượng: khi mạng tuyệt vời, bạn không cần tới nó và client tắt đi; khi mạng tệ, nó giữ cho phiên vẫn dùng được thay vì để nó xuống cấp thành một mớ nhoè không đọc nổi.