Gerçek bir uzak masaüstünde yapay zekâ ajanları — Agent Runtime, geliştirilmekte.
Agent Runtime geliştirilmektedir — henüz bir ajan SDK'sı yok. Var olan şey, onu kurmaya değer kılan nedendir: Remio'nun yerel girdi ve ekran yakalama hattı, gerçek bir Mac, PC veya Linux makinesinin başındaki bir insan için bugün zaten çalışıyor. Bu sayfa, sıradakinin dürüst tasarımı — ve herhangi biri yayına girmeden önce taahhüt ettiğimiz güvenceler.
Ajanların neden gerçek bir ekrana ihtiyacı var.
Yalnızca web formlarını dolduran bir ajan için tarayıcı korumalı alanı yeterlidir. İş yerel uygulamalara geçtiği an korumalı alan yolun sonuna gelir. Gerçek bir masaüstü en temiz ajan çalışma ortamıdır — bir insanın kullandığını ajan da kullanabilir.
Yalnızca başsız bir tarayıcının içinde yaşayan bir ajan Final Cut'ı açamaz, Finder'dan bir video dosyasını yaratıcı bir araca sürükleyemez, Önizleme'de bir PDF'yi imzalayamaz, bir .dmg veya .exe yükleyicisini çalıştıramaz, başka bir uygulamaya ekran kaydı izni veremez, sistem dosya seçicisiyle dosya seçemez ve işletim sisteminden gelen beklenmedik bir kalıcı iletişim kutusunda ayakta kalamaz. Gerçek iş akışlarının çoğunun aslında yaşadığı anlar bunlardır — ve başsız tarayıcı ajanının sessizce başarısız olduğu yerler.
Sanallaştırılmış kapsayıcılar (büyük laboratuvarların "ajan bilgisayarı" kalıbı) bu boşlukların bir kısmını kapatır ama kendi boşluklarını getirir. İmaj genellikle bir avuç uygulamanın önceden kurulu olduğu asgari bir Linux masaüstüdür; o ayak izinin dışındaki her şeye ulaşılamaz. Kapsayıcının kullanıcının gerçek işiyle bir sürekliliği yoktur — kurulu uygulamaları, oturum açmış hesapları, kayıtlı dosyaları, verilmiş izinleri. Her ajan çalıştırması, kullanıcının makinesi olmayan boş bir makineden başlar.
Remio'nun tasarımı öbür yolu izler. Geliştirdiğimiz çalışma ortamı üzerinden bağlanan bir ajan, bir insanın bugün zaten kullandığı aynı uzak masaüstü oturumu üzerinden kullanıcının gerçek masaüstünü — kullanıcının çalıştığı gerçek Mac, PC veya Linux makinesini — alırdı. Kullanıcının kurduğu her uygulama orada olurdu. Kullanıcının oturum açtığı her hesap orada olurdu. Her dosya orada olurdu. Ajan yapay bir ortamın kiracısı olmazdı; kullanıcı içeri aldığı sürece — bir an fazla değil — kullanıcının gerçek iş istasyonunda bir misafir olurdu.
Bir ajanın kullanacağı hat — insanlar için zaten çalışıyor.
Bir Remio kullanıcısının bugün gönderdiği her tıklama, tuş vuruşu ve kaydırma, host'a zaten işletim sisteminin kendi yerel girdi alt sistemi üzerinden ulaşır — fiziksel bir farenin veya klavyenin üreteceği olayın aynısı. O hat varsayımsal değil; Remio'yu şu an gerçek bir Mac, PC veya Linux makinesinde bir insan için çalıştıran şeydir. Tesadüf değil, bir ajan çalışma ortamının takılacağı zemin de tam olarak odur: ajana dönük ayrı bir API yok, bir pencerenin olay kuyruğuna enjekte edilen sentetik tuş vuruşları yok, gerçek bir tıklamanın yerini tutan erişilebilirlik katmanı yok.
Tasarım taahhüdü: yayına girerse ajan girdisi host'ta insan girdisinden ayırt edilemez olurdu — çünkü yalnızca ajanlar için kurulmuş paralel bir hat değil, aynı hattı kullanırdı.
Bu, kulağa geldiğinden daha önemlidir ve Remio'nun mimarisinin bir ajan çalışma ortamı için yalnızca elverişli değil, gerçekten iyi bir başlangıç noktası olduğunu düşünmemizin nedeni budur. Girdiyi uygulama katmanında taklit eden ajan platformları — bir pencerenin olay kuyruğuna sentetik tuş vuruşları ya da arayüz öğelerini doğrudan süren erişilebilirlik API'leri — sürekli sınırlara çarpar: korumalı alanlar girdiyi reddeder, yerel kısayollar yanlış tetiklenir, uygulamalar arasında sürükle-bırak çalışmaz, odak yönetimi karışır. İşletim sistemi düzeyindeki girdi hattından geçmek, bugün çalışan insan oturumları için bunların hepsini zaten atlatır. Bunu ajan oturumlarına genişletmek hâlâ yapmamız gereken tasarım işidir — ama zor kısmı yapan zemin şimdiden yayında.
Ayrıcalık sınırı tasarım gereği değişmeden taşınırdı. Remio Host uygulamasına bir insan tarafından bir kez verilen host'un Erişilebilirlik ve Girdi İzleme izinleri, bir insan oturumunun gönderdiği her girdi olayını zaten sınırlar. Tasarım taahhüdü, bir ajan oturumunun tam olarak aynı izinle sınırlanacağıdır — ajanın kendi başına tutabileceği ayrı bir izin yok, insanın uygulama için zaten açtığı kapıdan daha geniş bir kapı yok.
Ekran erişimi ve bir ajanın onu nasıl kullanacağının tasarımı.
Remio'nun ekran yakalama hattı bugün host'un canlı görüntüsünü bir insan istemciye zaten yayınlıyor — tam kareler, donanımla kodlanmış, gerçek zamanlı. Bir ajan çalışma ortamının aynı verinin birkaç biçimine daha ihtiyacı olurdu: istek üzerine bir durağan görüntü, daha küçük bir bölge, ekrandakilerin yapılandırılmış bir okunuşu. Bu ek biçimlerin hiçbiri henüz yayındaki kodda yok.
Bugün yayında olan şey canlı yayındır: host'un ekranı sürekli yakalanır, donanımla kodlanır ve bir insan istemcinin zaten kullandığı aynı şifreli kanal üzerinden iletilir. Bir ajan çalışma ortamı, ikinci ve ayrı bir yakalama yolu kurmak yerine kendi durağan yakalamaları için — istek üzerine tek bir kare ya da bir modelin zaten bakacağını bildiği bölge — aynı hattı yeniden kullanırdı. Bu yeniden kullanım, üzerinde karar verdiğimiz bir tasarım tercihidir; bugün var olana dair bir iddia değildir.
Pikselden çok metin üzerinden daha iyi akıl yürüten ajanlar için tasarım bir transkript modu taslağı sunar: ekrandaki metin, döngüde bir görsel model yerine platformun kendi OCR'ı (macOS'ta Vision çerçevesi, Windows'ta Windows OCR API'si) ile üretilen sınırlayıcı kutularla döndürülür. Bunun hiçbiri kurulmadı. Listede olmasının nedeni, bir ajanın bir metin eşleşmesini modeline hiç kare göndermeden kesin bir tıklamaya çevirmesine izin vermesi — iyi kurarsak gerçek bir verimlilik kazancı.
En yüksek doğrulukta yapılandırılmış erişim için tasarım ayrıca, odaktaki pencere için işletim sisteminin erişilebilirlik ağacının okunmasını da taslaklar — bir ekran okuyucunun dolaştığı aynı ağaç: düğmelerin, metin alanlarının, menülerin ve rollerin etiketli bir hiyerarşisi. Bunun da hiçbiri henüz yok. Ve taslağını çizdiğimiz her sürümde girdi hattındaki aynı kural taşınır: bir ajan oturumu, host'un ekran kaydı izninin bir insan oturumuna zaten gösterdirdiği şeyin tam olarak aynısını görür, fazlasını değil. Bir ekran için o izin kapalıysa ajan o ekrandan hiçbir şey almaz — bugün bir insan istemcinin alacağı gibi.
Ajan kodunu yazmadan önce taahhüt ettiğimiz güvenceler.
Bunlar sonradan kurup doğru yapmayı umduğumuz özellikler değil. Agent Runtime tasarımının tamamının, herhangi biri yayına girmeden önce karşılaması gereken kısıtlardır — etraflarında tasarım yapılacak kod henüz yokken, şimdi kararlaştırıldı.
Her Remio oturumu — insan veya ajan — aynı şekilde başlardı: bir insan, host'un ekranında gösterilen QR kodunu tarar ya da Device ID ve PIN'i Remio'ya yazar. Bir ajanın kendi oturumunu oluşturduğu, sessizce yenileyebildiği bir belirteç tuttuğu ya da erişimi onu eşleştiren insanın bitirmeye karar verdiği andan sonrasına uzattığı hiçbir tasarım değerlendirmede yok. Bir sonraki ajan çalıştırması için insanın yeniden eşleştirmesi gerekirdi — her seferinde, tasarım gereği, yeni bir döngüde-insan anı.
Bir ajan oturumu etkinken hem host hem istemci kalıcı, yanlış anlaşılmaz bir gösterge — ve oturumu hemen bitiren bir Durdur denetimi — gösterirdi; bu denetime yalnızca oturumu başlatan kişi değil, host'un klavyesinin başındaki herkes ulaşabilirdi. Ajanın yaptığı her eylem, insanın inceleyebileceği bir denetim günlüğüne yazılırdı. Bunların hiçbiri bugün yayındaki kodda yok; tasarımın aşması gereken çıtadır.
İzin sınırı, yukarıdaki girdi ve ekran bölümleriyle aynı hikâyedir: bir ajan oturumu, bir insan oturumunun zaten saydığı host'un işletim sistemi düzeyindeki izinlerini — Ekran Kaydı, Erişilebilirlik — tam olarak miras alırdı, daha genişini değil. Kendi yükseltilmiş iznini almaz, insanın Remio uygulaması için zaten belirlediği zarfı genişletmenin bir yolu olmazdı. Tasarladığımız bir yetenek o sınırın içine sığmıyorsa yayına girmez.
Henüz SDK yok — tasarladığımız şeklin özeti.
Remio henüz bir ajan SDK'sı, bir API yüzeyi ya da ajanlar için bir bağlantı belirtimi yayımlamadı. Elimizdeki, tasarımın sürekli döndüğü kısa bir ilkel yetenekler listesi — girdi, ekran erişimi, yapılandırılmış arayüz okumaları — ve yayına girecek her şeyin ilk günden modelden bağımsız olacağı taahhüdü.
Sürekli vardığımız şekil bilerek küçüktür: girdi için birkaç ilkel (bir tıklama, bir tuş), görme için birkaç ilkel (bir durağan kare, bir bölge), yapılandırılmış arayüz okuması için bir ilkel. Bu bir belirtim değil, bir taslaktır — hiçbiri yayına girmedi ve kesin arayüz hâlâ açık. Şimdi taahhüt ettiğimiz şey sözdizimi değil, şekildir.
Modelden bağımsızlık, bir gün ulaşacağımız bir arzu değil, bir tasarım gereksinimidir. Yayına girecek her şey, iş akışını planlayan model Claude, GPT, Gemini ya da kendi çalıştırdığınız bir şey olsun, aynı şekilde çalışırdı. Bunu tek bir sağlayıcının araç çağırma biçimi etrafında kurmuyoruz; çünkü çalışma ortamını tek bir modelin arayüzüne kilitlediğimiz an, yanlış türde bir söz vermiş oluruz.
Masaüstü çalışma ortamı ile ajanın kendi çalışma ortamı iki farklı şeydir ve böyle kalmasını amaçlıyoruz. Remio, bir ajanın eylemlerini gerçek bir masaüstüne ulaştıran şey olurdu; model, planlama döngüsü ve nerede çalıştığı tümüyle ajanı kuran kişiye kalırdı. Modellere erişimi kendimiz barındırmayı, ölçmeyi veya kapılamayı planlamıyoruz.
Bu tasarımın neler için kurulmadığı.
Gerçek masaüstü çalışma ortamı bazı ajan iş akışları için doğru şekil, bazıları için yanlış olurdu. İşte kısa ve dürüst ayrım — hiçbiri yayına girmeden önce bile.
Remio yalnızca bir web tarayıcısına ihtiyaç duyan bir ajan için — sayfa kazıma, form doldurma, panoları okuma — kurulmadı. Bütün bir uzak masaüstü oturumu bir tarayıcı sekmesinin ihtiyacından fazladır ve Remio o kategoride rekabet etmeye çalışmıyor.
Remio onlarca tek kullanımlık ortama ihtiyaç duyan bir ajan için — görev başına bir tane, her seferinde taze durum, paralel yürütme — kurulmadı. Remio, bunun tersi bir şekle, kalıcı bir insanla eşleşmiş oturuma dayanır: düşük eşzamanlılık, yüksek süreklilik, gerçek kullanıcı bağlamı.
Agent Runtime'ı bu sayfanın anlattığı gibi kurarsak, ajanın yerel uygulamalı gerçek bir işletim sistemi masaüstüne, kullanıcının gerçekte kurulu yazılımlarına, kullanıcının gerçek hesaplarına ve dosyalarına ve döngüde insan oturum sınırına ihtiyaç duyduğu durumda doğru yanıt olurdu. Engelli bir kullanıcı için masaüstünü süren erişilebilirlik ajanları. Gerçek işletim sistemi uygulamalarında yapay zekâ destekli QA. Kullanıcının zaten sahip olduğu belirli bir yerel aracı kullanmak zorunda olan ajan iş akışları. "Ben denetlerken, üzerindeki her şeyle gerçek makinemi kullan"ın doğal çerçeve olduğu her görev. Bu durumlar için, yayına girdiğinde Remio çalışma ortamı olurdu.
Tasarladığımız Agent Runtime hakkında sık sorulan sorular.
Bu tasarımın doğurma eğiliminde olduğu beş soru — dürüst yanıtlar aşağıda; dürüst yanıtın "henüz değil" olduğu sorular da dahil.
Bugün Remio üzerinden bilgisayarımı denetlemek için Claude, GPT veya başka bir yapay zekâ ajanı kullanabilir miyim?
Bir ajan, insan olmadan kendi başına bir Remio oturumu başlatabilir mi?
Host, bir insan yerine bir ajanın bağlı olduğunu nasıl bilir?
Bir ajan, bir insan oturumunun zaten görebileceğinden veya erişebileceğinden fazlasını görüp erişebilir mi?
Remio'nun Agent Runtime'ı hangi yapay zekâ modelleriyle çalışırdı?
Bugün gerçek: sizin için hızlı, özel bir masaüstü. Yakında: yapay zekâ ajanlarınız için aynı masaüstü.
Kendi Mac, PC veya Linux makinenize ulaşmanın en hızlı ve en özel yolu için Remio'yu kurun — yerel girdi, yerel ekran erişimi, uçtan uca şifreleme, hesap gerekmez. Bu sayfada anlatılan Agent Runtime yayına girmedi ve bir tarih sözü vermiyoruz — ama aynı mimari, onu kurmaya değer bulmamızın tam nedenidir.