लैब में पल रहा एक विचार — कभी और तीखे पिक्सल।
हम परख रहे हैं कि क्या कम बिटरेट वाली स्ट्रीम से ज़्यादा तीखा टेक्स्ट और किनारे दोबारा बनाने वाला कोई मॉडल, पूरी तरह आपके डिवाइस के NPU पर चल सकता है — क्लाउड पर कभी नहीं। अभी कुछ शिप नहीं हुआ है, और हम कोई तारीख़ भी नहीं दे रहे। यहाँ विचार समझाया गया है, और यह भी कि इनमें से किसी के बिना भी आज Remio का सेशन कैसे तीखा रहता है।
स्ट्रीम किया गया टेक्स्ट धुंधला क्यों पड़ता है, और हमें क्यों लगता है कि अपस्केलिंग मदद कर सकती है।
क्लासिकल वीडियो एनकोडर गति (मोशन) के हिसाब से ट्यून होते हैं, न कि उन बारीक, हाई-कॉन्ट्रास्ट किनारों के लिए जिनसे टेक्स्ट और UI बने होते हैं। जब बैंडविड्थ घटती है, तो सबसे पहले यही किनारे जाते हैं — यह वीडियो कम्प्रेशन का स्वभाव है, किसी भी रिमोट डेस्कटॉप पर, सिर्फ़ Remio पर नहीं।
रिमोट-डेस्कटॉप स्ट्रीम आपकी आँखों तक पहुँचने से पहले दो बार कम्प्रेशन से गुज़रती है। पहला, जब सोर्स रिज़ॉल्यूशन आपके क्लाइंट की स्क्रीन से ज़्यादा हो, तो होस्ट उसे डाउनस्केल करता है — 3024 × 1964 पर चल रहा M4 MacBook Pro 14" अगर 2266 × 1488 वाले iPad mini पर स्ट्रीम हो, तो एनकोडर के फ़्रेम देखने से पहले ही लगभग एक-तिहाई पिक्सल कम हो चुके होते हैं। दूसरा, नेटवर्क जितना बिटरेट ढो सके उसमें फ़िट करने के लिए एनकोडर ख़ुद भी लॉसी कम्प्रेशन लगाता है। दोनों चरण बारीक डिटेल हटा देते हैं — वही डिटेल जो एक साफ़ अक्षर और एक धुंधले धब्बे के बीच का फ़र्क़ तय करती है।
जिस विचार को हम परख रहे हैं, वह क्वालिटी-रिकवरी का एक चरण है जो डिकोड के बाद क्लाइंट पर चलेगा: यह डिकम्प्रेस हुए फ़्रेम को देखकर अंदाज़ा लगाएगा कि डाउनस्केल होने और एनकोडर से निचुड़ने से पहले असली फ़्रेम में कौन-सा हाई-फ़्रीक्वेंसी कंटेंट था। क्लासिकल बाइलिनियर या बाइक्यूबिक अपस्केलिंग सिर्फ़ मौजूद पिक्सल से इंटरपोलेट कर सकती है, लेकिन ट्रेन किया गया न्यूरल नेटवर्क सीख सकता है कि किनारे, अक्षर और UI के आकार पूरे रिज़ॉल्यूशन पर कैसे दिखते हैं — और वह डिटेल दोबारा बना सकता है जो सादा इंटरपोलेशन नहीं लौटा पाता।
अगर यह हमारी उम्मीद के मुताबिक़ काम करे, तो असर वहीं सबसे ज़्यादा दिखेगा जहाँ आपको सबसे ज़्यादा ज़रूरत है: 11-पॉइंट का बॉडी टेक्स्ट, मोनोस्पेस फ़ॉन्ट में कोड, Figma फ़ाइल की बारीक लकीरें, साइडबार में बटनों की आउटलाइन। इन जगहों पर कुछ धुंधले पिक्सल का मतलब है "पढ़ने लायक" और "झुककर देखना पड़ रहा है" के बीच का फ़र्क़। कोई भी मोशन-ट्यून्ड एनकोडर अकेले यह कमी नहीं भर पाता — और इसीलिए यह रिसर्च का समय देने लायक है कि क्या ऑन-डिवाइस मॉडल इसे भर सकता है।
हम अभी वहाँ नहीं पहुँचे हैं। आज, "ख़राब कनेक्शन पर सेशन तीखा कैसे रखें" का ईमानदार जवाब Remio का एडैप्टिव बिटरेट इंजन है — वह आपका नेटवर्क पढ़ता है और वह दायरा चुनता है जो कनेक्शन की हद तक तस्वीर को सबसे तीखा रखे, बिना लैग बढ़ाए। न्यूरल अपस्केलिंग उसके ऊपर एक अतिरिक्त परत होगी, उसका विकल्प नहीं।
असली नेटिव क्लाइंट, न कि वेब व्यू में लपेटा हुआ ऐप।
Remio का हर क्लाइंट अपने प्लेटफ़ॉर्म पर 100% नेटिव ऐप है — न Electron, न बीच में कोई ब्राउज़र सैंडबॉक्स। इसीलिए वह उन्हीं हार्डवेयर फ़्रेमवर्क से सीधे बात करता है जो न्यूरल अपस्केलिंग मॉडल को चाहिए होंगे: Apple Silicon पर Core ML और Neural Engine, और समर्पित NPU वाले Android डिवाइस पर NNAPI। अगर हम इसे बनाते हैं, तो यह पहले से मौजूद कैप्चर, एनकोड और डिकोड वाले ढाँचे में सीधे जुड़ जाएगा — न क्लाउड का चक्कर, न अलग से जोड़ा गया कोई रनटाइम।
बस यही वजह है कि इस विचार का सिर्फ़ ऑन-डिवाइस रूप ही हम विचार में लेंगे। क्लाउड का राउंड-ट्रिप वह लेटेंसी जोड़ेगा जिसे Remio का ज़ीरो-बफ़रिंग सिद्धांत मंज़ूर नहीं करता — इसलिए हम जो भी मॉडल शिप करें, उसे लोकल चलना होगा, वरना वह शिप ही नहीं होगा।
Apple Silicon पर — हर M-सीरीज़ Mac, iPad Pro, iPad Air और हालिया iPhone Pro पर — Core ML एक कम्पाइल्ड मॉडल को Neural Engine पर भेज सकता है। यह CPU और GPU के बगल में उसी चिप पर बैठा एक समर्पित को-प्रोसेसर है, जो उन छोटे, बार-बार दोहराए जाने वाले मैट्रिक्स गुणनफलों के लिए बना है जिनमें न्यूरल नेटवर्क अपना ज़्यादातर समय बिताते हैं — और GPU के मुक़ाबले बहुत कम वॉटेज पर। इस विचार को जैसे मॉडल की ज़रूरत होगी, उसके लिए यह सक्षम और कुशल ठिकाना है — बस इसे अभी जोड़ा नहीं गया है।
Android पर NNAPI समर्थित डिवाइसों — Google Tensor वाले Pixel, हालिया Galaxy और OnePlus फ़ोन — को इसी तरह हार्डवेयर NPU तक पहुँचाता है। दोनों प्लेटफ़ॉर्म पर, जिन पुराने डिवाइसों में पर्याप्त तेज़ NPU नहीं है, वे बस 1:1 डिकोडिंग पर लौट आएँगे — ठीक वैसे जैसे Remio आज हर जगह करता है: जो हार्डवेयर वहाँ है ही नहीं, उसके इंतज़ार में वह स्ट्रीम को कभी नहीं रोकता।
इसमें से कुछ भी शिप की तारीख़ का वादा नहीं है। यह उस वजह का बयान है जिससे हमें लगता है कि यह रिसर्च करने लायक है — कठिन ढाँचागत शर्त पहले से मौजूद है, और ऐसी फ़ीचर के लिए यह वाक़ई असामान्य शुरुआती स्थिति है।
इसे शिप करने से पहले हमें क्या साबित करना होगा।
हम सिर्फ़ इसलिए कोई AI फ़ीचर नहीं जोड़ेंगे कि "AI" बिकता है। ये वे ईमानदार सवाल हैं जिनके अच्छे जवाब हमें पहले चाहिए होंगे।
क्या यह हमारे पास पहले से मौजूद चीज़ से साफ़ तौर पर बेहतर है? Remio का एडैप्टिव बिटरेट इंजन पहले ही आपका कनेक्शन पढ़कर वह दायरा चुनता है जो नेटवर्क की हद तक तस्वीर को सबसे तीखा रखे। न्यूरल मॉडल अपनी जगह तभी बनाएगा जब वह उस आधार से आगे इतना डिटेल लौटाए कि लोगों को सचमुच नज़र आए — ऐसी बेंचमार्क जीत नहीं जो आम देखने की दूरी पर ग़ायब हो जाए।
क्या यह फ़ोन या टैबलेट की बैटरी पर ठीक-ठाक बोझ डालता है? हर डिकोड हुए फ़्रेम पर, पूरे सेशन भर, कोई भी मॉडल चलाने की पावर क़ीमत असली होती है। हम चाहेंगे कि वह क़ीमत इतनी छोटी हो कि किसी को उसके बारे में सोचना ही न पड़े — या फिर एक साफ़, ईमानदार "Auto" व्यवहार हो जो बैटरी तभी ख़र्च करे जब लौटाने लायक कुछ हो, और जो यह क़ीमत चुकाना ही न चाहे उसके लिए असली ऑफ़ स्विच हो।
क्या यह अपने काम के बारे में ईमानदार रहता है? जो मॉडल कम्प्रेस्ड पिक्सल से भरोसेमंद लगने वाला डिटेल दोबारा बनाता है, वह उस मॉडल से अलग काम करता है जो ऐसा कंटेंट गढ़ देता है जो कभी था ही नहीं। रिमोट डेस्कटॉप में, जहाँ जो आप देखते हैं उसे होस्ट पर जो असल में है उससे मेल खाना ज़रूरी है, यह भेद "अच्छा हो तो बेहतर" वाली बात नहीं — यही पूरा भरोसे का ढाँचा है। हम जो भी शिप करें, उसे दोबारा बनाना होगा, मनगढ़ंत नहीं।
जब तक हम तीनों सवालों के जवाब अनुमानों से नहीं, असली आँकड़ों से नहीं दे पाते, यह इस पेज पर एक रिसर्च विचार ही रहेगा — ऐप में कोई टॉगल नहीं।
तस्वीर को पहले से क्या तीखा रखता है — बिना किसी AI के।
आज तीखा Remio सेशन पाने के लिए आपको किसी रिसर्च प्रोजेक्ट की ज़रूरत नहीं। सादी इंजीनियरिंग के चार हिस्से, जो आज शिप हो रहे हैं, यह काम पहले से कर रहे हैं।
शुरू से अंत तक हार्डवेयर H.265 का मतलब है कि होस्ट का एनकोडर और आपके क्लाइंट का डिकोडर, दोनों CPU पर नहीं बल्कि समर्पित वीडियो सिलिकॉन पर चलते हैं — ठीक उसी वजह से जैसे वह फ़ोन 4K वीडियो आराम से चला लेता है जो उसे सॉफ़्टवेयर से डिकोड करने में हाँफ जाता। यही गुंजाइश Remio को वह डिटेल उस बिटरेट पर थामने देती है जो कोई सॉफ़्टवेयर कोडेक नहीं झेल सकता।
एडैप्टिव बिटरेट इंजन वही असली काम करता है जिसमें मदद के लिए न्यूरल अपस्केलिंग को परखा जा रहा है: यह सेशन की शुरुआत में आपका कनेक्शन नापता है और वह सबसे ऊँचा बिटरेट दायरा चुनता है जो वह कनेक्शन बिना लैग स्पाइक के सँभाल सके, बजाय इसके कि स्ट्रीम को चुपचाप भूखा रखे। पढ़ें कि एडैप्टिव क्वालिटी कैसे काम करती है →
वर्चुअल डिस्प्ले और ज़ीरो-बफ़रिंग रेंडरर इसे पूरा करते हैं। Remio जो डिस्प्ले स्ट्रीम करता है, वह होस्ट के पूरे मॉनिटर की बजाय ठीक आपकी विंडो के आकार का होता है, इसलिए आप कभी किसी बड़ी चीज़ की डाउनस्केल की हुई कॉपी नहीं देख रहे होते। और रेंडरर हमेशा सबसे नया डिकोड हुआ फ़्रेम बनाता है — पुराने फ़्रेमों को पकड़ने की जगह छोड़ देता है — इसलिए जो भी आप देखते हैं, आपकी स्क्रीन तक पहुँचते-पहुँचते पुराना नहीं पड़ता। इन चारों के बीच, ज़्यादातर सेशनों को क्वालिटी-रिकवरी चरण की ज़रूरत ही नहीं पड़ती।
वे सिद्धांत जिन पर हम इसे कसेंगे, अगर कभी शिप किया।
जनरेटिव AI की मार्केटिंग ने यह उम्मीद बना दी है कि "AI एन्हांसमेंट" का मतलब डिटेल गढ़ना है। Remio में ऐसा कोई मॉडल रखने से पहले, उसे एक छोटी, ईमानदार सूची पार करनी होगी।
यह ग़ायब UI को मनगढ़ंत नहीं बनाएगा। अगर स्ट्रीम के किनारे पर कोई बटन इसलिए कटा है कि एनकोडर ने एक हिस्सा छोड़ दिया, तो बटन का बाक़ी हिस्सा गढ़ देने वाला मॉडल रिमोट डेस्कटॉप में ठीक नहीं बैठता। आपको भरोसा चाहिए कि आपके iPad पर जो दिख रहा है वह होस्ट पर असल में मौजूद चीज़ से मेल खाता है — जो जनरेटिव मॉडल ऐसा कंटेंट भर दे जो कभी था ही नहीं, वह यह भरोसा तोड़ेगा, इसलिए हम सिर्फ़ वही मॉडल शिप करेंगे जो असल में एनकोड हुए पिक्सल से दोबारा बनाता हो, गढ़ता न हो।
यह फ़्रेम रेट बढ़ाने का दावा नहीं करेगा। Remio में फ़्रेम रेट होस्ट की कैप्चर रेट और नेटवर्क की समय पर फ़्रेम पहुँचाने की क्षमता से तय होता है — यह उस ज़ीरो-बफ़रिंग रेंडरर का काम है जो पहले से शिप हो रहा है, अपस्केलर का नहीं। हम जो भी मॉडल बनाएँगे, वह हर डिकोड हुए फ़्रेम से एक ज़्यादा तीखा फ़्रेम बनाएगा, इससे ज़्यादा कुछ नहीं।
इसे होस्ट पर वीडियो प्लेबैक सुधारने वाली चीज़ के रूप में पेश नहीं किया जाएगा। अगर आप अपने रिमोट Mac पर कोई फ़िल्म देख रहे हैं, तो जो स्ट्रीम होता है वह वही है जो होस्ट के अपने वीडियो डिकोडर ने रेंडर किया — होस्ट के रिज़ॉल्यूशन पर। स्ट्रीम पर लगा क्वालिटी-रिकवरी चरण उस सोर्स को बेहतर नहीं बना सकता जो होस्ट पहले ही बना चुका है; फ़िल्म ज़्यादा तीखी देखनी हो तो ईमानदार सलाह आज जैसी ही रहती है: उसे होस्ट पर नहीं, अपने क्लाइंट डिवाइस पर चलाएँ।
और इसे कभी अच्छे नेटवर्क के विकल्प के रूप में नहीं बेचा जाएगा। सीधा LAN कनेक्शन, ऊपर से कितनी भी अपस्केलिंग लगा लें, दबे हुए WAN कनेक्शन से हमेशा ज़्यादा तीखा रहेगा — Remio का आज शिप हो रहा एडैप्टिव बिटरेट इंजन आपके असली कनेक्शन की हद तक सबसे अच्छी तस्वीर पहले ही दे देता है। यहाँ हम जो भी बनाएँ, वह ख़राब नेटवर्क के लिए अतिरिक्त बीमा होगा, अच्छे नेटवर्क का विकल्प नहीं।
आम सवाल
ऑन-डिवाइस न्यूरल अपस्केलिंग को लेकर उठने वाले सवाल — नीचे ईमानदार जवाब।
क्या ऑन-डिवाइस न्यूरल अपस्केलिंग आज Remio में उपलब्ध है?
अगर आप इसे बनाते हैं, तो क्या इसमें से कुछ भी मेरे डिवाइस से बाहर जाएगा?
इसे सीधे शिप करने की बजाय परख क्यों रहे हैं?
अभी Remio पर टेक्स्ट और कोड को तीखा क्या रखता है?
क्या आप बताएँगे कि यह कब शिप होगा?
आज तेज़ और तीखा। और तीखा बनाने के तरीक़े परख रहे हैं।
Remio इंस्टॉल करें: शुरू से अंत तक हार्डवेयर H.265 स्ट्रीमिंग, आपका नेटवर्क पढ़ने वाला एडैप्टिव बिटरेट इंजन, और ठीक आपकी विंडो के आकार का वर्चुअल डिस्प्ले — सब आज शिप हो रहा है। ऑन-डिवाइस न्यूरल अपस्केलिंग इस पेज पर अब भी एक रिसर्च विचार है; कोई तारीख़ का वादा नहीं, और जिस पल यह बदलेगा, यह पेज ईमानदारी से बता देगा।