สตรีมน้อยลง เห็นมากขึ้น: ซูเปอร์เรโซลูชันบนอุปกรณ์อาจลดแบนด์วิดท์รีโมทเดสก์ท็อปลงครึ่งหนึ่งได้อย่างไร

วงการเกมหาวิธีเรนเดอร์น้อยลงแต่เห็นมากขึ้นได้แล้ว เรากำลังนำกลเม็ดเดียวกันมาสู่รีโมทเดสก์ท็อป — โมเดลจิ๋วบนอุปกรณ์ของคุณที่สร้างภาพ 4K ขึ้นใหม่จากสตรีมที่เล็กกว่าครึ่งหนึ่ง

ปัญหาแบนด์วิดท์ที่ไม่มีใครพูดถึง

รีโมทเดสก์ท็อปมีความลับสกปรก: มันกินแบนด์วิดท์หนัก

การสตรีมเดสก์ท็อปที่ 60 fps ใช้ราว 3 ถึง 8 Mbps ที่ 1080p และ 8 ถึง 15 Mbps ที่ 4K ด้วยโคเดกสมัยใหม่ ซึ่งไม่เป็นปัญหาบนไฟเบอร์ ไม่เป็นปัญหาบน Wi-Fi บ้านที่แรง แต่พอก้าวเข้า Wi-Fi โรงแรม เทเทอริงจากโทรศัพท์ หรือพยายามทำงานจากร้านกาแฟในเมืองที่แออัด — ทุกอย่างก็พังลง

วิธีแก้ในปัจจุบันเรียบง่ายจนน่าหดหู่ เมื่อแบนด์วิดท์ตก ก็ลดคุณภาพ ลดความละเอียด ลดเฟรมเรต ยอมรับตัวอักษรเบลอและวิดีโอกระตุกจนกว่าสภาพจะดีขึ้น ทุกแอปรีโมทเดสก์ท็อปทำแบบนี้ มันคือทางเลือกเดียวมายี่สิบปี

จะเป็นอย่างไรถ้ามีวิธีที่ดีกว่า

จะเป็นอย่างไรถ้าแทนที่จะส่งสตรีม 1080p ที่คมชัดแล้วลดคุณภาพเมื่อสภาพแย่ลง คุณส่งสตรีม 1080p ขนาดเล็กตลอดเวลา — แล้วทำให้มันดูเหมือน 4K ที่ปลายทาง

นั่นคือ AI ซูเปอร์เรโซลูชัน และไม่ใช่นิยายวิทยาศาสตร์ วงการเกมทำมาหลายปีแล้ว

ไปป์ไลน์สตรีมมิงซูเปอร์เรโซลูชัน

การแปลงจากเกมมาเป็นรีโมทเดสก์ท็อปสะอาดอย่างน่าประหลาด ในเกม คุณเรนเดอร์ที่ความละเอียดต่ำแล้วอัปสเกล ในการสตรีม คุณเข้ารหัสที่ความละเอียดต่ำแล้วอัปสเกล สี่ขั้นตอน จากซ้ายไปขวา ต้นทางถึงปลายทาง

ความคมชัดที่รับรู้เท่าเดิม แบนด์วิดท์ราวหนึ่งในสี่ และเพราะโฮสต์เข้ารหัสภาพที่เล็กกว่า มันก็ทำงานน้อยลงด้วย — ใช้ซีพียูน้อยลง ร้อนน้อยลง แบตเตอรี่อยู่ได้นานขึ้นบนแล็ปท็อป

วงการเกมแก้เรื่องนี้ไปแล้ว

ในปี 2018 NVIDIA เปิดตัว DLSS — Deep Learning Super Sampling แนวคิดนี้ดีจนแทบเชื่อไม่ลง: เรนเดอร์เกมที่ความละเอียดต่ำกว่า แล้วใช้โครงข่ายประสาทอัปสเกลให้ดูเหมือนความละเอียดต้นฉบับ งานของ GPU น้อยลง คุณภาพภาพเท่าเดิม

เกมเมอร์สงสัย ภาพที่ AI สร้างจะดีเท่าพิกเซลที่เรนเดอร์ตรงๆ ได้อย่างไร แต่ผลลัพธ์พิสูจน์ตัวเอง ภายในปี 2026 DLSS 4.5 ใช้โมเดลทรานส์ฟอร์เมอร์ที่สร้างภาพซึ่งผู้เล่นหลายคนถึงขั้นชอบมากกว่าการเรนเดอร์ต้นฉบับ — ขอบคมกว่า เสถียรตามเวลากว่า อาร์ติแฟกต์น้อยกว่า

AMD ตามมาด้วย FSR Apple เปิดตัว MetalFX Intel ส่ง XeSS ทั้งอุตสาหกรรมบรรจบที่ข้อสังเกตเดียวกัน:

พิกเซลที่ฉลาดที่สุดคือพิกเซลที่คุณไม่ต้องเรนเดอร์เลย

วงการเกมใช้เวลาราวห้าปีจาก "นี่คือของเล่น" ไปสู่ "นี่คือสิ่งจำเป็น" ส่วนรีโมทเดสก์ท็อปยังไม่ได้เริ่มเลยด้วยซ้ำ

AI บนอุปกรณ์ เป็นส่วนตัวโดยการออกแบบ

ตรงนี้แหละที่น่าสนใจจริงๆ — และเป็นจุดที่เราต่างจากที่คุณอาจคาดว่า AI ทำงานอย่างไร

โมเดลซูเปอร์เรโซลูชันรันทั้งหมดบนอุปกรณ์ของคุณ ไม่ใช่บนคลาวด์ ไม่ใช่บนเซิร์ฟเวอร์ใด บนโทรศัพท์หรือแล็ปท็อปในมือคุณ

อุปกรณ์สมัยใหม่แรงอย่างน่าขันสำหรับ AI บนอุปกรณ์ Neural Engine ของ Apple บนชิปซีรีส์ M ทำได้ 15.8 ล้านล้านการดำเนินการต่อวินาที Hexagon NPU ของ Qualcomm บนชิป Snapdragon รุ่นล่าสุดอยู่ในระดับเดียวกัน โปรเซสเซอร์ AI เฉพาะทางเหล่านี้ว่างอยู่เกือบตลอดเวลา เรากำลังนำมันมาทำงาน

การอนุมานจะรันในไปป์ไลน์การเรนเดอร์ ระหว่างการถอดรหัสกับการแสดงผล โมเดลเห็นเฟรม 1080p และส่งออกเฟรม 4K งบความหน่วงต่ำกว่า 3 มิลลิวินาที — ต้นแบบที่ทำตามนี้ไม่ได้จะไม่วางจำหน่าย

และเพราะทุกอย่างรันในเครื่อง:

• ไม่มีข้อมูลออกจากอุปกรณ์ของคุณ — เนื้อหาหน้าจอของคุณเป็นส่วนตัว
• ไม่ต้องใช้อินเทอร์เน็ตสำหรับ AI — โมเดลทำงานแบบออฟไลน์
• ไม่มีค่าสมัครสมาชิกสำหรับฟีเจอร์ AI — มันอยู่ในตัวแอป
• ไม่มีต้นทุนเซิร์ฟเวอร์ — ขยายได้ไม่จำกัดเพราะผู้ใช้ทุกคนนำพลังประมวลผลของตัวเองมา

สอดคล้องกับปรัชญาความเป็นส่วนตัวมาก่อนของ Remio เราไม่ต้องการข้อมูลของคุณ เราไม่แม้แต่อยากเห็นเนื้อหาหน้าจอของคุณ AI บนอุปกรณ์ทำให้เรามอบฟีเจอร์ล้ำสมัยได้ โดยไม่รู้อะไรเลยว่าคุณกำลังทำอะไร

ทำไมสิ่งนี้ใช้ได้เฉพาะบนแอปเนทีฟ

นี่คือส่วนที่ผูกทุกอย่างเข้าด้วยกัน — และเป็นเหตุผลที่เราเขียนบทความทั้งบทความเรื่องการไปทางเนทีฟ

เพื่อรันโครงข่ายประสาทในไปป์ไลน์การเรนเดอร์โดยไม่เพิ่มความหน่วงที่มองเห็นได้ คุณต้องมี:

1. การเข้าถึง Neural Engine หรือ NPU ต้องใช้ API เนทีฟ — CoreML บน Apple, NNAPI บน Android ไม่มี Web API สำหรับ Neural Engine แอป Electron เข้าถึงไม่ได้
2. การผสานกับไปป์ไลน์ GPU เฟรมที่อัปสเกลต้องไปยังจอแสดงผลโดยตรงโดยไม่มีการคัดลอกเพิ่ม Metal และ Vulkan ให้ทำได้ WebGL ไม่ให้การควบคุมระดับนี้
3. เวลาต่ำกว่า 3 ms ทุกมิลลิวินาทีที่เพิ่มมีผลในไปป์ไลน์สตรีมมิงเรียลไทม์ ตัวเก็บขยะของ JavaScript เพียงอย่างเดียวก็ทำให้เกิดการหยุดที่คาดเดาไม่ได้ โค้ดเนทีฟให้เวลาที่แน่นอน

แอป Electron ต้องถอดรหัสวิดีโอในไปป์ไลน์สื่อของ Chromium ดึงเฟรมไปยัง JavaScript เรียก Neural Engine ด้วยวิธีใดวิธีหนึ่ง (เป็นไปไม่ได้ถ้าไม่มี native binding) รับเฟรมที่อัปสเกลกลับมา และแสดงผ่านคอมโพสิเตอร์ของ Chromium ทุกขั้นตอนเพิ่มความหน่วงและความซับซ้อน โอเวอร์เฮดรวมน่าจะอยู่ที่ 15 ถึง 25 มิลลิวินาที — ช้าเกินไปสำหรับการใช้แบบเรียลไทม์

ซูเปอร์เรโซลูชันในไปป์ไลน์สตรีมมิงไม่ใช่แค่ปัญหา AI แต่เป็นปัญหาวิศวกรรมระบบ และวิศวกรรมระบบต้องการโค้ดเนทีฟ

นี่คือเหตุผลที่ เมื่อผ่านไปสองปีของการสร้าง Remio ยังไม่มีรีโมทเดสก์ท็อปที่ใช้ Electron ตัวใดวางจำหน่ายการอัปสเกลด้วย AI ไม่ใช่ว่าพวกเขาไม่อยากทำ สถาปัตยกรรมไม่เอื้อให้ทำ

ความท้าทายทางเทคนิค และวิธีที่เรากำลังแก้

เราจะไม่แกล้งทำเป็นว่าง่าย มีความท้าทายจริง

ความหน่วงของโมเดล โมเดลต้องรันภายใน 3 ms ต่อเฟรมที่ 60 fps ซึ่งไม่เหลือที่ว่างสำหรับสถาปัตยกรรมที่บวม เราใช้โมเดลคอนโวลูชันที่ปรับให้เหมาะสม — ไม่ใช่ทรานส์ฟอร์เมอร์ ซึ่งช้าเกินไปสำหรับการอนุมานต่อเฟรม — ที่ปรับมาเฉพาะสำหรับหน่วยประมวลผลของ Neural Engine

ความหลากหลายของเนื้อหา เนื้อหารีโมทเดสก์ท็อปต่างจากเนื้อหาเกมมาก ตัวอักษร สเปรดชีต ตัวแก้ไขโค้ด การเล่นวิดีโอ เครื่องมือออกแบบ — โมเดลต้องรับมือกับทั้งหมด เราฝึกกับชุดข้อมูลที่รวมองค์ประกอบ UI ของเดสก์ท็อปโดยเฉพาะ ไม่ใช่แค่ภาพธรรมชาติ

เสถียรภาพตามเวลา การอัปสเกลทีละเฟรมอาจทำให้เกิดการกะพริบ วงการเกมแก้ด้วยการสะสมตามเวลา — ใช้ข้อมูลจากเฟรมก่อนหน้าซ้ำ เรากำลังสำรวจเทคนิคที่คล้ายกัน โดยป้อนเวกเตอร์การเคลื่อนไหวจากโคเดกวิดีโอเข้าสู่โมเดลอัปสเกล

ประสิทธิภาพพลังงาน การรันโครงข่ายประสาท 60 ครั้งต่อวินาทีบนโทรศัพท์ฟังดูแพง แต่ Neural Engine ออกแบบมาเพื่อสิ่งนี้พอดี — ประหยัดพลังงานกว่า GPU สำหรับการดำเนินการเมทริกซ์ ต้นแบบในห้องทดลองระยะแรกชี้ว่าเสียแบตเตอรี่เพียงเลขหลักเดียวเล็กน้อย

ความท้าทายที่ตรงไปตรงมา: ทำไมเรื่องนี้ยากกว่าเกม

เราพูดถึง DLSS และซูเปอร์เรโซลูชันของเกมเป็นแรงบันดาลใจ — และมันก็เป็นเช่นนั้น แต่ความซื่อสัตย์ทางปัญญาบังคับให้เราอธิบายว่าทำไมการอัปสเกลรีโมทเดสก์ท็อปจึงเป็นปัญหาที่ยากกว่าโดยพื้นฐาน

DLSS ในเกมมีข้อได้เปรียบที่ไม่แฟร์ เอนจินเกมให้ข้อมูลอันอุดมแก่ AI ซึ่งไม่มีอยู่ในโลกของเรา:

• เวกเตอร์การเคลื่อนไหว เอนจินรู้ว่าทุกวัตถุขยับไปที่ไหนระหว่างเฟรมอย่างแม่นยำ เราได้วิดีโอที่ถูกบีบอัดโดยไม่มีข้อมูลการเคลื่อนไหวระดับฉาก
• บัฟเฟอร์ความลึก DLSS รู้ว่าพิกเซลไหนใกล้และไกล เราเห็นภาพ 2 มิติแบนๆ
• ประวัติตามเวลา DLSS สะสมรายละเอียดข้ามหลายเฟรมโดยใช้ข้อมูลจากเอนจิน เราทำงานจากเฟรมที่ถูกบีบอัดทีละเฟรมซึ่งอาจมีอาร์ติแฟกต์ต่างกันในแต่ละครั้ง
• ฮาร์ดแวร์เฉพาะทาง Tensor Core ของ NVIDIA ให้ 384+ TOPS ที่ปรับมาสำหรับงานนี้โดยเฉพาะ Neural Engine บนมือถือแรงแต่ถูกออกแบบมาเพื่อวัตถุประสงค์อื่น

กล่าวอีกอย่างคือ ซูเปอร์เรโซลูชันของเกมคือการสร้างใหม่แบบมีผู้นำทางพร้อมข้อมูลเสริมอันอุดม การอัปสเกลรีโมทเดสก์ท็อปคือซูเปอร์เรโซลูชันแบบมองไม่เห็นต้นทางจากวิดีโอที่บีบอัดแบบสูญเสียข้อมูล — จุดเริ่มต้นที่ยากกว่ามาก

นี่ไม่ได้หมายความว่าแนวทางผิด แม้การปรับปรุงคุณภาพภาพเพียงเล็กน้อยที่บิตเรตต่ำลงก็ประหยัดแบนด์วิดท์ได้จริง แต่เราอยากโปร่งใส: เพดานคุณภาพของการอัปสเกลแบบมองไม่เห็นต้นทางต่ำกว่าที่ DLSS ทำได้ด้วยการผสานเอนจินเต็มรูปแบบ เรากำลังสร้างสิ่งที่มีประโยชน์จริง ไม่ได้อ้างว่าเทียบเท่ากับเทคโนโลยีที่ต่างออกไป

สิ่งนี้หมายถึงอะไรสำหรับคุณ

เมื่อ AI ซูเปอร์เรโซลูชันวางจำหน่ายใน Remio คุณจะไม่ต้องคิดถึงมัน ไม่มีสวิตช์ ไม่มีการตั้งค่า ไม่มี "โหมด AI" แอปจะทำโดยอัตโนมัติ:

• ตรวจจับแบนด์วิดท์ที่คุณมี
• เลือกความละเอียดการเข้ารหัสที่เหมาะสมที่สุด
• อัปสเกลบนอุปกรณ์ให้เข้ากับหน้าจอของคุณ
• ปรับตัวแบบเรียลไทม์เมื่อสภาพเปลี่ยน

บนการเชื่อมต่อที่เร็ว อาจไม่ต้องอัปสเกลเลย บนการเชื่อมต่อที่ช้า มันจะเป็นความต่างระหว่าง "ใช้ไม่ได้" กับ "รู้สึกเหมือนนั่งอยู่หน้าคอมพิวเตอร์ของฉัน"

นั่นคือเป้าหมาย ไม่ใช่ AI ที่คุณต้องคิดถึง แต่เป็น AI ที่ทำให้ทุกอย่างทำงานดีขึ้นอย่างเงียบๆ เป็นส่วนตัว บนอุปกรณ์ที่คุณมีอยู่แล้ว

เรากำลังสำรวจเรื่องนี้ตอนนี้ — โดยไม่สัญญาวัน — ควบคู่กับไอเดียอื่นๆ ว่า AI จะพารีโมทเดสก์ท็อปไปไกลแค่ไหน มันจะวางจำหน่ายก็ต่อเมื่อทำให้ตัวอักษรคมกว่าสตรีมที่มันมาแทนที่

สตรีมน้อยลง เห็นมากขึ้น นั่นคืออนาคต