การอัปสเกลด้วยโครงข่ายประสาทบนอุปกรณ์ อยู่ระหว่างพัฒนา พิกเซลคมขึ้นจากสตรีมที่เบาลง
เรากำลังสร้างโมเดลบนอุปกรณ์ที่สร้างตัวอักษรและขอบให้คมขึ้นจากสตรีมบิตเรตต่ำ ทำงานทั้งหมดบน NPU ของอุปกรณ์คุณ ไม่เคยผ่านคลาวด์ ยังอยู่ระหว่างพัฒนาและยังไม่อยู่ในแอป นี่คือแนวคิด และสิ่งที่ทำให้เซสชัน Remio คมชัดอยู่แล้ววันนี้โดยไม่ต้องใช้มันเลย
ทำไมข้อความที่สตรีมจึงเบลอ และการอัปสเกลบนอุปกรณ์ถูกสร้างมาแก้เรื่องนี้อย่างไร
ตัวเข้ารหัสวิดีโอแบบดั้งเดิมถูกปรับมาเพื่อการเคลื่อนไหว ไม่ใช่ขอบละเอียดคอนทราสต์สูงที่ตัวอักษรและส่วนประกอบ UI ประกอบขึ้น เมื่อแบนด์วิดท์ตึง ขอบเหล่านั้นคือสิ่งแรกที่หายไป ซึ่งเป็นธรรมชาติของการบีบอัดวิดีโอบนรีโมทเดสก์ท็อปทุกตัว ไม่ใช่เฉพาะของ Remio
สตรีมรีโมทเดสก์ท็อปผ่านการบีบอัดสองครั้งก่อนถึงตาคุณ ครั้งแรก โฮสต์ย่อขนาดเมื่อความละเอียดต้นทางเกินกว่าที่ไคลเอนต์แสดงได้ เช่น MacBook Pro 14" M4 ที่เป็นโฮสต์ 3024 คูณ 1964 สตรีมไปยัง iPad mini 2266 คูณ 1488 เสียพิกเซลไปราวหนึ่งในสามก่อนที่ตัวเข้ารหัสจะเห็นเฟรมเสียอีก ครั้งที่สอง ตัวเข้ารหัสเองใช้การบีบอัดแบบสูญเสียเพื่อให้พอดีกับบิตเรตที่เครือข่ายรองรับ ทั้งสองขั้นตอนทิ้งรายละเอียดความถี่สูง ซึ่งคือสิ่งที่ทำให้ต่างกันระหว่างตัวอักษรที่คมกับรอยเลอะเลือน
แนวคิดที่เรากำลังสำรวจคือขั้นตอนกู้คืนคุณภาพที่ทำงานบนไคลเอนต์หลังถอดรหัส ดูเฟรมที่ถอดการบีบอัดแล้วและทำนายเนื้อหาความถี่สูงที่เฟรมต้นฉบับเคยมีก่อนถูกย่อและบีบผ่านตัวเข้ารหัส ต่างจากการอัปสเกลแบบ bilinear หรือ bicubic ดั้งเดิมที่ทำได้แค่ประมาณค่าจากพิกเซลที่มีอยู่ โครงข่ายประสาทที่ฝึกแล้วเรียนรู้ได้ว่าขอบ รูปตัวอักษร และรูปทรง UI ที่ความละเอียดเต็มหน้าตาเป็นอย่างไร และสร้างรายละเอียดที่การประมาณค่าธรรมดากู้คืนไม่ได้
หากได้ผลอย่างที่เราหวัง ผลจะเห็นชัดที่สุดตรงที่คุณต้องการที่สุด คือข้อความเนื้อหาขนาด 11 พอยต์ โค้ดในฟอนต์โมโนสเปซ เส้นบางในไฟล์ Figma เส้นขอบปุ่มในแถบด้านข้าง กรณีเหล่านี้คือที่ที่พิกเซลเลอะไม่กี่จุดหมายถึงความต่างระหว่าง "อ่านได้" กับ "ต้องโน้มตัวเข้าไปอ่าน" นั่นคือช่องว่างจริงในสิ่งที่ตัวเข้ารหัสที่ปรับเพื่อการเคลื่อนไหวทำได้เอง ซึ่งเป็นเหตุผลพอดีที่คุ้มค่ากับเวลาวิจัยเพื่อดูว่าโมเดลบนอุปกรณ์ปิดช่องว่างนั้นได้หรือไม่
เรายังไปไม่ถึงตรงนั้น วันนี้ คำตอบตรง ๆ ต่อ "ฉันจะรักษาความคมชัดของเซสชันบนการเชื่อมต่อแย่ได้อย่างไร" คือเอนจินบิตเรตแบบปรับอัตโนมัติของ Remio ซึ่งอ่านเครือข่ายของคุณอยู่แล้วและเลือกช่วงที่ทำให้ภาพคมเท่าที่การเชื่อมต่อยอมให้ โดยไม่ทำให้หน่วงพุ่ง การอัปสเกลด้วยโครงข่ายประสาทจะเป็นอีกชั้นหนึ่งเพิ่มบนนั้น ไม่ใช่สิ่งที่มาแทน
ไคลเอนต์เนทีฟจริง ไม่ใช่เว็บวิวที่ห่อไว้
ทุกไคลเอนต์ของ Remio เป็นแอปเนทีฟ 100% บนแพลตฟอร์มของมัน ไม่มี Electron ไม่มีแซนด์บ็อกซ์เบราว์เซอร์คั่นกลาง นั่นคือเหตุผลที่มันคุยตรงกับเฟรมเวิร์กฮาร์ดแวร์ที่โมเดลอัปสเกลด้วยโครงข่ายประสาทต้องใช้อยู่แล้ว คือ Core ML และ Neural Engine บน Apple Silicon, NNAPI บนอุปกรณ์ Android ที่มี NPU เฉพาะ หากเราสร้างสิ่งนี้ มันจะเสียบเข้ากับสถาปัตยกรรมที่มีอยู่แล้วสำหรับการจับภาพ เข้ารหัส และถอดรหัส ไม่มีการวนผ่านคลาวด์ ไม่ต้องต่อรันไทม์แยกเพิ่ม
นั่นคือเหตุผลทั้งหมดที่บนอุปกรณ์เป็นเวอร์ชันเดียวของแนวคิดนี้ที่เราจะพิจารณา การเดินทางไปกลับผ่านคลาวด์จะเพิ่มความหน่วงที่ปรัชญาไร้บัฟเฟอร์ของ Remio ไม่ยอมรับ ดังนั้นโมเดลใดที่เราออกวางจำหน่ายต้องรันในเครื่อง ไม่เช่นนั้นก็ไม่ออกวางจำหน่ายเลย
บน Apple Silicon ซึ่งคือ Mac ซีรีส์ M ทุกเครื่อง iPad Pro, iPad Air และ iPhone Pro รุ่นล่าสุด Core ML ส่งโมเดลที่คอมไพล์แล้วไปยัง Neural Engine ได้ ซึ่งเป็นโคโปรเซสเซอร์เฉพาะที่อยู่ข้าง CPU และ GPU บนไดเดียวกัน สร้างมาสำหรับการคูณเมทริกซ์ขนาดเล็กที่ซ้ำ ๆ ซึ่งโครงข่ายประสาทใช้เวลาส่วนใหญ่ไปกับมัน ด้วยกำลังไฟเพียงเศษเสี้ยวของที่ GPU ใช้ นั่นเป็นเป้าหมายที่มีความสามารถและมีประสิทธิภาพสำหรับโมเดลชนิดที่แนวคิดนี้ต้องการพอดี เพียงแต่ยังไม่ได้เชื่อมต่อ
บน Android NNAPI ให้อุปกรณ์ที่รองรับ เช่น Pixel ที่ใช้ Google Tensor, Galaxy และ OnePlus รุ่นล่าสุด การส่งไปยัง NPU ฮาร์ดแวร์แบบเดียวกัน บนทั้งสองแพลตฟอร์ม อุปกรณ์รุ่นเก่าที่ไม่มี NPU เร็วพอจะถอดรหัสแบบ 1:1 เหมือนที่ Remio ทำงานทุกที่ในวันนี้ คือไม่เคยบล็อกสตรีมเพื่อรอฮาร์ดแวร์ที่ไม่มี
ทั้งหมดนั้นไม่ใช่คำสัญญาเรื่องวันที่ออกวางจำหน่าย แต่เป็นเหตุผลที่เราคิดว่างานวิจัยนี้คุ้มค่า ข้อกำหนดเบื้องต้นด้านสถาปัตยกรรมที่ยากมีอยู่แล้ว ซึ่งเป็นจุดเริ่มต้นที่ผิดปกติจริง ๆ สำหรับฟีเจอร์แบบนี้
สิ่งที่เราต้องพิสูจน์ก่อนสิ่งนี้จะออกวางจำหน่าย
เราจะไม่แปะฟีเจอร์ AI เข้าไปเพียงเพราะ "AI" ขายได้ นี่คือคำถามตรง ๆ ที่เราต้องมีคำตอบที่ดีก่อน
มันชนะสิ่งที่เรามีอยู่แล้วอย่างชัดเจนไหม เอนจินบิตเรตแบบปรับอัตโนมัติของ Remio อ่านการเชื่อมต่อของคุณและเลือกช่วงที่ทำให้ภาพคมเท่าที่เครือข่ายอนุญาตอยู่แล้ว โมเดลโครงข่ายประสาทจะคู่ควรกับที่ของมันก็ต่อเมื่อกู้คืนรายละเอียดเกินกว่าเกณฑ์พื้นฐานนั้นในระดับที่คนสังเกตได้จริง ไม่ใช่ชัยชนะในเบนช์มาร์กที่หายไปเมื่อมองที่ระยะปกติ
มันกินแบตเตอรี่มากบนโทรศัพท์หรือแท็บเล็ตไหม การรันโมเดลบนทุกเฟรมที่ถอดรหัสตลอดทั้งเซสชันมีต้นทุนพลังงานจริง เราอยากให้ต้นทุนนั้นเล็กพอที่ไม่มีใครต้องคิดถึง หรือมีพฤติกรรม "อัตโนมัติ" ที่ชัดเจนและตรงไปตรงมา ซึ่งใช้แบตเตอรี่เฉพาะเมื่อมีสิ่งที่คุ้มกู้คืน พร้อมสวิตช์ปิดจริงสำหรับคนที่ไม่อยากจ่ายเลย
มันยังซื่อตรงกับสิ่งที่ทำอยู่ไหม โมเดลที่สร้างรายละเอียดที่ดูสมเหตุสมผลจากพิกเซลที่ถูกบีบอัด ต่างจากโมเดลที่คิดเนื้อหาที่ไม่เคยมีอยู่ขึ้นมา สำหรับรีโมทเดสก์ท็อป ที่สิ่งที่คุณเห็นต้องตรงกับสิ่งที่อยู่บนโฮสต์จริง ความแตกต่างนั้นไม่ใช่ของแถม แต่คือโมเดลความไว้วางใจทั้งหมด สิ่งใดที่เราออกวางจำหน่ายต้องสร้างขึ้นใหม่จากของจริง ไม่เคยจินตนาการขึ้นเอง
จนกว่าเราจะตอบทั้งสามข้อด้วยตัวเลขจริง ไม่ใช่การคาดการณ์ สิ่งนี้ยังเป็นแนวคิดวิจัยบนหน้านี้ ไม่ใช่สวิตช์ในแอป
สิ่งที่ทำให้ภาพคมอยู่แล้ว โดยไม่ต้องใช้ AI
คุณไม่ต้องมีโครงการวิจัยเพื่อให้ได้เซสชัน Remio ที่คมชัดวันนี้ วิศวกรรมธรรมดาสี่ชิ้นที่ใช้งานจริงทำงานนั้นอยู่แล้ว
H.265 ฮาร์ดแวร์ตลอดทางหมายถึงตัวเข้ารหัสบนโฮสต์และตัวถอดรหัสบนไคลเอนต์ของคุณทำงานบนวงจรวิดีโอเฉพาะ ไม่ใช่ CPU เหตุผลเดียวกับที่วิดีโอ 4K เล่นลื่นบนโทรศัพท์ที่จะสะดุดถ้าพยายามถอดรหัสด้วยซอฟต์แวร์ พื้นที่เหลือนั้นทำให้ Remio รักษารายละเอียดที่บิตเรตซึ่งโคเดกซอฟต์แวร์รักษาไม่ไหว
เอนจินบิตเรตแบบปรับอัตโนมัติคือชิ้นที่ทำงานที่การอัปสเกลด้วยโครงข่ายประสาทกำลังถูกสำรวจเพื่อช่วยจริง ๆ มันวัดการเชื่อมต่อของคุณตอนเริ่มเซสชันและเลือกช่วงบิตเรตสูงสุดที่การเชื่อมต่อนั้นรองรับได้โดยไม่ทำให้หน่วงพุ่ง แทนที่จะปล่อยให้สตรีมอดอยากอย่างเงียบ ๆ อ่านว่าคุณภาพแบบปรับอัตโนมัติทำงานอย่างไร →
จอเสมือนและตัวเรนเดอร์ไร้บัฟเฟอร์ทำให้ครบ เพราะจอที่ Remio สตรีมมีขนาดพอดีหน้าต่างของคุณ ไม่ใช่จอเต็มของโฮสต์ คุณจึงไม่เคยมองสำเนาที่ย่อจากสิ่งที่ใหญ่กว่า และเพราะตัวเรนเดอร์วาดเฟรมที่ถอดรหัสใหม่สุดเสมอ ทิ้งเฟรมเก่าแทนที่จะไล่ตาม ไม่มีอะไรที่คุณเห็นเก่าเมื่อถึงหน้าจอ เมื่อรวมทั้งสี่ เซสชันส่วนใหญ่ไม่ต้องการขั้นตอนกู้คืนคุณภาพเลย
หลักการที่สิ่งนี้ถูกสร้างมาเพื่อยึดถือ
การตลาดของ AI เชิงสร้างสรรค์ทำให้เกิดความคาดหวังว่า "การเพิ่มคุณภาพด้วย AI" หมายถึงการประดิษฐ์รายละเอียด ก่อนเราจะใส่โมเดลแบบนี้ใน Remio มันต้องผ่านรายการสั้น ๆ ที่ตรงไปตรงมา
มันจะไม่แต่ง UI ที่หายไปขึ้นมา หากปุ่มถูกตัดที่ขอบสตรีมเพราะตัวเข้ารหัสทิ้งบริเวณหนึ่ง โมเดลที่คิดส่วนที่เหลือของปุ่มขึ้นมาไม่ควรอยู่ในรีโมทเดสก์ท็อป คุณต้องไว้ใจได้ว่าสิ่งที่เห็นบน iPad ตรงกับสิ่งที่อยู่บนโฮสต์จริง โมเดลเชิงสร้างสรรค์ที่เติมเนื้อหาที่ไม่เคยมีจะทำลายความไว้วางใจนั้น เราจึงจะออกวางจำหน่ายเฉพาะโมเดลที่สร้างขึ้นใหม่จากพิกเซลที่ถูกเข้ารหัสจริง ไม่ใช่โมเดลที่ประดิษฐ์
มันจะไม่อ้างว่าเพิ่มอัตราเฟรม อัตราเฟรมบน Remio ถูกกำหนดโดยอัตราจับภาพของโฮสต์และความสามารถของเครือข่ายในการส่งเฟรมให้ทันเวลา นั่นเป็นงานของตัวเรนเดอร์ไร้บัฟเฟอร์ที่ใช้งานอยู่แล้ว ไม่ใช่ตัวอัปสเกล โมเดลใดที่เราสร้างจะให้เฟรมที่คมขึ้นหนึ่งเฟรมต่อหนึ่งเฟรมที่ถอดรหัส ไม่มากกว่านั้น
มันจะไม่ถูกเสนอว่าแก้การเล่นวิดีโอบนโฮสต์ หากคุณดูหนังบน Mac ระยะไกล สิ่งที่สตรีมคือสิ่งที่ตัวถอดรหัสวิดีโอของโฮสต์เองเรนเดอร์ ที่ความละเอียดของโฮสต์ ขั้นตอนกู้คืนคุณภาพบนสตรีมไม่ได้ทำให้ต้นทางที่โฮสต์สร้างไว้แล้วดีขึ้น หากอยากดูหนังคมขึ้น คำแนะนำตรง ๆ ยังเหมือนวันนี้ คือเล่นบนอุปกรณ์ไคลเอนต์ ไม่ใช่บนโฮสต์
และมันจะไม่ถูกขายเป็นสิ่งทดแทนเครือข่ายที่ดี การเชื่อมต่อ LAN โดยตรงจะคมกว่าการเชื่อมต่อ WAN ที่ถูกจำกัดเสมอ ไม่ว่าจะอัปสเกลเพิ่มเท่าไร เอนจินบิตเรตแบบปรับอัตโนมัติที่ Remio ใช้งานวันนี้ให้ภาพที่ดีที่สุดเท่าที่การเชื่อมต่อจริงของคุณรองรับอยู่แล้ว สิ่งใดที่เราสร้างที่นี่จะเป็นหลักประกันเพิ่มสำหรับเครือข่ายแย่ ไม่ใช่สิ่งทดแทนเครือข่ายที่ดี
คำถามที่พบบ่อย
คำถามที่เกิดขึ้นเกี่ยวกับการอัปสเกลด้วยโครงข่ายประสาทบนอุปกรณ์ พร้อมคำตอบตรงไปตรงมาด้านล่าง
วันนี้ Remio มีการอัปสเกลด้วยโครงข่ายประสาทบนอุปกรณ์ไหม
ถ้าคุณสร้างมัน จะมีอะไรออกจากอุปกรณ์ของฉันไหม
ทำไมสำรวจสิ่งนี้แทนที่จะออกวางจำหน่ายเลย
อะไรทำให้ข้อความและโค้ดคมบน Remio ตอนนี้
คุณจะบอกไหมว่าเมื่อไหร่จะออกวางจำหน่าย
เร็วและคมชัดวันนี้ การอัปสเกลด้วยโครงข่ายประสาทกำลังมา
ติดตั้ง Remio เพื่อสตรีม H.265 ฮาร์ดแวร์ตลอดทาง เอนจินบิตเรตแบบปรับอัตโนมัติที่อ่านเครือข่ายของคุณ และจอเสมือนขนาดพอดีหน้าต่างของคุณ ทั้งหมดใช้งานได้แล้ว การอัปสเกลด้วยโครงข่ายประสาทบนอุปกรณ์ยังเป็นแนวคิดวิจัยบนหน้านี้ ไม่ได้สัญญาวันที่ และหน้านี้จะบอกอย่างตรงไปตรงมาทันทีที่เปลี่ยนไป