एजेंट के लिए तैयार — यह रहा वह runtime जिसे हम डिज़ाइन कर रहे हैं।
आज Remio में कोई एजेंट SDK नहीं है, और हम किसी तारीख का वादा नहीं कर रहे। जो पहले से मौजूद है, वही वजह है कि हमें लगता है कि इसे बनाना सार्थक है: Remio की नेटिव इनपुट और स्क्रीन-कैप्चर पाइपलाइन आज भी असली Mac, PC या Linux मशीन पर बैठे किसी इंसान के लिए काम कर रही है। यह पेज आगे की राह का ईमानदार डिज़ाइन है — और वे सुरक्षा-पटरियाँ, जिनके लिए हम कुछ भी शिप होने से पहले प्रतिबद्ध हैं।
एजेंट को असली स्क्रीन क्यों चाहिए।
जो एजेंट सिर्फ़ वेब फ़ॉर्म भरता है, उसके लिए ब्राउज़र सैंडबॉक्स काफ़ी है। लेकिन जैसे ही काम नेटिव ऐप्स तक पहुँचता है, सैंडबॉक्स की हद आ जाती है। असली डेस्कटॉप सबसे साफ़-सुथरा एजेंट runtime है — जो इंसान इस्तेमाल करता है, एजेंट भी कर सकता है।
जो एजेंट सिर्फ़ headless ब्राउज़र के अंदर रहता है, वह Final Cut नहीं खोल सकता, Finder से वीडियो फ़ाइल खींचकर किसी क्रिएटिव टूल में नहीं डाल सकता, Preview में PDF पर हस्ताक्षर नहीं कर सकता, .dmg या .exe इंस्टॉलर नहीं चला सकता, किसी दूसरे ऐप को स्क्रीन-रिकॉर्डिंग की अनुमति नहीं दे सकता, सिस्टम के फ़ाइल पिकर से फ़ाइल नहीं चुन सकता, और OS का अचानक आया कोई modal डायलॉग झेल नहीं सकता। असली वर्कफ़्लो का ज़्यादातर हिस्सा इन्हीं पलों में रहता है — और headless-ब्राउज़र एजेंट यहीं चुपचाप नाकाम हो जाता है।
वर्चुअलाइज़्ड कंटेनर (बड़ी लैब्स का “agent computer” पैटर्न) इनमें से कुछ कमियाँ भरते हैं, पर अपनी कमियाँ भी साथ लाते हैं। इमेज आमतौर पर एक न्यूनतम Linux डेस्कटॉप होती है जिसमें मुट्ठी भर ऐप्स पहले से इंस्टॉल होते हैं; इस दायरे से बाहर की कोई भी चीज़ पहुँच से बाहर रहती है। कंटेनर का यूज़र के असली काम से कोई सिलसिला नहीं होता — उनके इंस्टॉल किए ऐप्स, लॉग-इन किए अकाउंट, सेव की गई फ़ाइलें, दी गई अनुमतियाँ, कुछ भी नहीं। एजेंट का हर रन एक खाली मशीन से शुरू होता है, जो यूज़र की अपनी मशीन नहीं है।
Remio का डिज़ाइन दूसरा रास्ता लेता है। हम जो runtime बना रहे हैं, उसके ज़रिए जुड़ा एजेंट यूज़र का असली डेस्कटॉप पाएगा — यानी वही Mac, PC या Linux मशीन जिस पर यूज़र काम करता है — उसी रिमोट-डेस्कटॉप सेशन से जो आज कोई इंसान इस्तेमाल करता है। यूज़र के इंस्टॉल किए हर ऐप वहाँ होंगे। यूज़र के लॉग-इन किए हर अकाउंट वहाँ होंगे। हर फ़ाइल वहाँ होगी। एजेंट किसी बनावटी माहौल का किरायेदार नहीं होगा; वह यूज़र के असली वर्कस्टेशन पर मेहमान होगा, जब तक यूज़र उसे अंदर आने दे — और एक पल भी ज़्यादा नहीं।
वह पाइपलाइन जो एजेंट इस्तेमाल करेगा — आज ही इंसानों के लिए चल रही है।
आज Remio यूज़र जो भी क्लिक, कीस्ट्रोक और स्क्रॉल भेजता है, वह होस्ट पर OS के अपने नेटिव इनपुट सबसिस्टम से ही पहुँचता है — ठीक वही इवेंट जो कोई असली माउस या कीबोर्ड पैदा करता। यह पाइपलाइन काल्पनिक नहीं है; यही आज असली Mac, PC या Linux मशीन पर Remio को इंसान के लिए काम करने लायक बनाती है। और संयोग से नहीं, यही वह आधार भी है जिसमें agent runtime जुड़ेगा: एजेंट के लिए कोई अलग API नहीं, किसी विंडो की इवेंट क्यू में ठूँसे गए बनावटी कीस्ट्रोक नहीं, असली क्लिक की जगह खड़ा कोई accessibility शिम नहीं।
डिज़ाइन की प्रतिबद्धता: अगर यह शिप हुआ, तो एजेंट का इनपुट होस्ट पर इंसान के इनपुट से अलग नहीं पहचाना जा सकेगा — क्योंकि वह वही पाइपलाइन इस्तेमाल करेगा, एजेंट के लिए अलग से बनाई गई कोई समानांतर पाइपलाइन नहीं।
यह सुनने में जितना लगता है, उससे ज़्यादा मायने रखता है, और इसीलिए हमें लगता है कि Remio का आर्किटेक्चर agent runtime के लिए सिर्फ़ सुविधाजनक नहीं, सचमुच अच्छा शुरुआती बिंदु है। जो एजेंट प्लेटफ़ॉर्म इनपुट को ऐप्लिकेशन लेयर पर नकली तरीके से भेजते हैं — किसी विंडो की इवेंट क्यू में बनावटी कीस्ट्रोक, या UI एलिमेंट को सीधे चलाने वाली accessibility API — वे बार-बार सीमाओं से टकराते हैं: सुरक्षित फ़ील्ड इनपुट ठुकरा देते हैं, नेटिव शॉर्टकट गलत चल जाते हैं, ऐप्स के बीच ड्रैग-एंड-ड्रॉप नहीं चलता, फ़ोकस प्रबंधन उलझ जाता है। OS-स्तर की इनपुट पाइपलाइन से गुज़रने पर आज चल रहे इंसानी सेशन के लिए ये सारी दिक्कतें पहले ही निकल जाती हैं। इसे एजेंट सेशन तक बढ़ाना वह डिज़ाइन का काम है जो हमें अभी करना है — लेकिन मुश्किल हिस्सा संभालने वाला आधार पहले से शिप हो रहा है।
विशेषाधिकार की सीमा, डिज़ाइन के हिसाब से, बिना बदले आगे जाएगी। होस्ट की Accessibility और Input Monitoring अनुमतियाँ, जो किसी इंसान ने Remio Host ऐप को एक बार दी हैं, आज भी इंसानी सेशन के भेजे हर इनपुट इवेंट पर पहरा देती हैं। डिज़ाइन की प्रतिबद्धता यह है कि एजेंट सेशन भी बिल्कुल उसी अनुमति से बँधा रहेगा — एजेंट के अपने नाम की कोई अलग अनुमति नहीं, और उस दरवाज़े से चौड़ा कोई दरवाज़ा नहीं जो इंसान ने ऐप के लिए पहले ही खोल रखा है।
स्क्रीन एक्सेस, और एजेंट उसका इस्तेमाल कैसे करेगा इसका डिज़ाइन।
Remio की स्क्रीन-कैप्चर पाइपलाइन आज भी किसी इंसानी क्लाइंट को होस्ट का लाइव व्यू स्ट्रीम करती है — पूरे फ़्रेम, हार्डवेयर से एन्कोड किए हुए, रियल टाइम में। agent runtime को इसी डेटा के कुछ और रूप चाहिए होंगे: माँगने पर एक स्टिल कैप्चर, एक छोटा हिस्सा, स्क्रीन पर जो है उसका स्ट्रक्चर्ड रीड। इनमें से कोई भी अतिरिक्त रूप अभी शिप हुए कोड में नहीं है।
आज जो शिप होता है वह लाइव स्ट्रीम है: होस्ट की स्क्रीन, लगातार कैप्चर होती हुई, हार्डवेयर में एन्कोड होकर, उसी एन्क्रिप्टेड चैनल से पहुँचती है जो कोई इंसानी क्लाइंट पहले से इस्तेमाल करता है। agent runtime अपने स्टिल कैप्चर के लिए यही पाइपलाइन फिर से इस्तेमाल करेगा — माँगने पर एक अकेला फ़्रेम, या सिर्फ़ वह हिस्सा जहाँ मॉडल को पहले से पता है कि देखना है — दूसरा, अलग कैप्चर रास्ता खड़ा करने के बजाय। यह दोबारा इस्तेमाल करना एक डिज़ाइन फ़ैसला है जो हमने तय कर लिया है, आज क्या मौजूद है इसका दावा नहीं।
जो एजेंट पिक्सल के बजाय टेक्स्ट पर बेहतर तर्क करते हैं, उनके लिए डिज़ाइन में एक ट्रांसक्रिप्ट मोड का खाका है: स्क्रीन का टेक्स्ट bounding box के साथ लौटाया जाए, जो प्लेटफ़ॉर्म के अपने OCR से बने (macOS पर Vision framework, Windows पर Windows OCR API), बीच में किसी विज़न मॉडल के बिना। इसमें से कुछ भी बनाया नहीं गया है। यह सूची में इसलिए है कि इससे एजेंट किसी टेक्स्ट मैच को सटीक क्लिक में बदल पाएगा, और अपने मॉडल को एक भी फ़्रेम भेजना नहीं पड़ेगा — अगर हम इसे अच्छी तरह बनाएँ, तो यह दक्षता में सचमुच की बढ़त है।
सबसे बारीक स्ट्रक्चर्ड एक्सेस के लिए, डिज़ाइन में फ़ोकस वाली विंडो के OS accessibility ट्री को पढ़ने का भी खाका है — वही ट्री जिस पर स्क्रीन रीडर चलता है: बटन, टेक्स्ट फ़ील्ड, मेन्यू और भूमिकाओं का लेबल लगा पदानुक्रम। यह भी अभी मौजूद नहीं है। और हम जिन भी रूपों का खाका बना रहे हैं, उन सब में इनपुट पाइपलाइन वाला वही नियम आगे चलेगा: एजेंट सेशन ठीक उतना ही देखेगा जितना होस्ट की स्क्रीन-रिकॉर्डिंग अनुमति आज किसी इंसानी सेशन को देखने देती है, उससे ज़्यादा नहीं। अगर किसी डिस्प्ले के लिए वह अनुमति बंद है, तो एजेंट को उस डिस्प्ले से कुछ नहीं मिलेगा — ठीक वैसे ही जैसे आज इंसानी क्लाइंट को नहीं मिलता।
वे सुरक्षा-पटरियाँ जिनके लिए हम एजेंट कोड लिखने से पहले प्रतिबद्ध हैं।
ये ऐसे फ़ीचर नहीं हैं जिन्हें बाद में बनाकर उम्मीद करें कि सही बन जाएँ। ये वे शर्तें हैं जिन्हें पूरा Agent Runtime डिज़ाइन, कुछ भी शिप होने से पहले, पूरा करेगा — अभी तय की गईं, जब इनके इर्द-गिर्द डिज़ाइन करने के लिए कोई कोड है ही नहीं।
हर Remio सेशन — इंसान का हो या एजेंट का — एक ही तरह शुरू होगा: कोई इंसान होस्ट की स्क्रीन से छह अंकों का कोड पढ़ेगा और क्लाइंट में दर्ज करेगा। ऐसा कोई डिज़ाइन विचाराधीन नहीं है जिसमें एजेंट अपना सेशन खुद बनाए, कोई ऐसा टोकन रखे जिसे वह चुपचाप रिफ़्रेश कर ले, या उस पल के बाद भी पहुँच बढ़ाए जब उसे पेयर करने वाला इंसान उसे खत्म करने का फ़ैसला करे। अगला एजेंट रन चाहेगा कि इंसान फिर से पेयर करे — हर बार एक नया human-in-the-loop पल, डिज़ाइन से ही।
जब तक एजेंट सेशन चालू है, होस्ट और क्लाइंट दोनों पर एक स्थायी, साफ़ दिखने वाला संकेतक रहेगा — और एक Stop कंट्रोल जो सेशन को तुरंत खत्म कर दे, और जिस तक वही पहुँच सके जो होस्ट के कीबोर्ड पर बैठा है, सिर्फ़ वही नहीं जिसने उसे शुरू किया। एजेंट की हर कार्रवाई एक ऑडिट लॉग में लिखी जाएगी जिसे इंसान देख सके। इनमें से कुछ भी आज शिप हुए कोड में मौजूद नहीं है; यह वह कसौटी है जिसे डिज़ाइन को पार करना है।
अनुमति की सीमा की कहानी वही है जो ऊपर इनपुट और स्क्रीन वाले हिस्सों में है: एजेंट सेशन ठीक वही होस्ट के OS-स्तर की अनुमतियाँ विरासत में पाएगा जिनका इंसानी सेशन आज पालन करता है — Screen Recording, Accessibility — उससे चौड़ी कोई नहीं। उसे अपनी कोई ऊँची अनुमति नहीं मिलेगी, और उसके पास उस दायरे को चौड़ा करने का कोई रास्ता नहीं होगा जो इंसान ने Remio ऐप के लिए पहले ही तय कर दिया है। अगर हमारे डिज़ाइन की कोई क्षमता उस सीमा के अंदर नहीं समाती, तो वह शिप नहीं होगी।
अभी कोई SDK नहीं — हम जिस रूप की ओर डिज़ाइन कर रहे हैं, वह यह है।
Remio ने एजेंट के लिए कोई SDK, API सतह या कनेक्शन स्पेक अभी प्रकाशित नहीं किया है। हमारे पास बस बुनियादी क्षमताओं की एक छोटी सूची है, जिस पर डिज़ाइन बार-बार लौटता है — इनपुट, स्क्रीन एक्सेस, स्ट्रक्चर्ड UI रीड — और एक प्रतिबद्धता कि जो भी शिप होगा, वह पहले दिन से model-agnostic होगा।
जो रूप हमें बार-बार मिलता है, वह जान-बूझकर छोटा है: इनपुट के लिए कुछ बुनियादी क्रियाएँ (एक क्लिक, एक कुंजी), विज़न के लिए कुछ (एक स्टिल फ़्रेम, एक क्षेत्र), और एक स्ट्रक्चर्ड UI रीड के लिए। यह खाका है, स्पेक नहीं — इसमें से कुछ भी शिप नहीं हुआ है, और सटीक इंटरफ़ेस अभी खुला है। अभी हम जिसके लिए प्रतिबद्ध हैं वह रूप है, सिंटैक्स नहीं।
Model-agnostic होना एक डिज़ाइन आवश्यकता है, कोई ऐसी आकांक्षा नहीं जिस तक हम बाद में पहुँचेंगे। जो भी शिप होगा, वह एक ही तरह काम करेगा, चाहे वर्कफ़्लो की योजना बनाने वाला मॉडल Claude हो, GPT हो, Gemini हो या कुछ ऐसा जिसे आप खुद चलाते हों। हम इसे किसी एक वेंडर के tool-calling फ़ॉर्मैट के इर्द-गिर्द नहीं बना रहे, क्योंकि जिस पल हम runtime को किसी एक मॉडल के इंटरफ़ेस से बाँध देते हैं, हमने गलत तरह का वादा कर दिया होता है।
डेस्कटॉप runtime और एजेंट का अपना runtime दो अलग चीज़ें हैं, और हम इन्हें ऐसा ही रखना चाहते हैं। Remio वह चीज़ होगा जो एजेंट की कार्रवाइयों को असली डेस्कटॉप तक पहुँचाए; मॉडल, योजना बनाने का लूप, और वह कहाँ चले, यह सब पूरी तरह उसी पर रहेगा जो एजेंट बनाता है। हम मॉडल खुद होस्ट करने, उनकी मीटरिंग करने या उन तक पहुँच पर रोक लगाने की योजना नहीं बना रहे।
यह डिज़ाइन किसके लिए नहीं बना है।
असली-डेस्कटॉप runtime कुछ एजेंट वर्कफ़्लो के लिए सही रूप होगा और कुछ के लिए गलत। यह रहा छोटा, ईमानदार बँटवारा — इनमें से कुछ भी शिप होने से पहले ही।
Remio ऐसे एजेंट के लिए नहीं बना है जिसे सिर्फ़ एक वेब ब्राउज़र चाहिए — पेज स्क्रैप करना, फ़ॉर्म भरना, डैशबोर्ड पढ़ना। एक पूरा रिमोट-डेस्कटॉप सेशन ब्राउज़र टैब की ज़रूरत से कहीं ज़्यादा है, और Remio उस श्रेणी में मुकाबला करने की कोशिश नहीं कर रहा।
Remio ऐसे एजेंट के लिए नहीं बना है जिसे दर्जनों डिस्पोज़ेबल माहौल चाहिए — हर टास्क के लिए एक, हर बार नई स्थिति, समानांतर निष्पादन। Remio एक स्थायी, इंसान से पेयर किए गए सेशन के इर्द-गिर्द बना है, जो ठीक उलटा रूप है: कम कन्करेंसी, ज़्यादा निरंतरता, असली यूज़र संदर्भ।
अगर हम Agent Runtime को वैसे बनाएँ जैसा यह पेज बताता है, तो वह तब सही जवाब होगा जब एजेंट को नेटिव ऐप्स वाला असली OS डेस्कटॉप चाहिए, यूज़र का असली इंस्टॉल किया सॉफ़्टवेयर, यूज़र के असली अकाउंट और फ़ाइलें, और एक human-in-the-loop सेशन सीमा। विकलांगता वाले यूज़र के लिए डेस्कटॉप चलाने वाले accessibility एजेंट। असली OS ऐप्स पर AI-सहायता वाला QA। ऐसे एजेंटिक वर्कफ़्लो जिन्हें यूज़र के पास पहले से मौजूद कोई ख़ास नेटिव टूल इस्तेमाल करना पड़े। कोई भी टास्क जिसके लिए स्वाभाविक रूप यही हो: “मेरी असली मशीन इस्तेमाल करो, उसकी हर चीज़ के साथ, जबकि मैं निगरानी करता हूँ।” ऐसे मामलों के लिए, शिप होने पर, Remio ही runtime होगा।
हम जिस Agent Runtime को डिज़ाइन कर रहे हैं, उसके बारे में आम सवाल।
इस डिज़ाइन से अक्सर उठने वाले पाँच सवाल — नीचे ईमानदार जवाब हैं, उनमें भी जहाँ ईमानदार जवाब है “अभी नहीं।”
क्या मैं आज Remio के ज़रिए Claude, GPT या किसी दूसरे AI एजेंट से अपना कंप्यूटर कंट्रोल करवा सकता हूँ?
क्या कोई एजेंट बिना इंसान के, अपने आप Remio सेशन शुरू कर सकता है?
होस्ट को कैसे पता चलेगा कि इंसान की जगह एजेंट जुड़ा है?
क्या कोई एजेंट इंसानी सेशन से ज़्यादा कुछ देख या छू सकेगा?
Remio के Agent Runtime के साथ कौन-से AI मॉडल काम करेंगे?
आज असली: इंसानों के लिए एक तेज़, निजी डेस्कटॉप। कभी आगे: उनके एजेंट के लिए भी।
अपने Mac, PC या Linux मशीन तक पहुँचने के सबसे तेज़ और सबसे निजी तरीके के लिए Remio इंस्टॉल करें — नेटिव इनपुट, नेटिव स्क्रीन एक्सेस, एंड-टू-एंड एन्क्रिप्शन, अकाउंट की ज़रूरत नहीं। इस पेज पर बताया गया Agent Runtime शिप नहीं हुआ है, और हम किसी तारीख का वादा नहीं कर रहे — लेकिन यही आर्किटेक्चर इसकी सबसे बड़ी वजह है कि हमें इसे बनाना सार्थक लगता है।