Remio'yu yapay zeka ajanları için geliştirmedik. Ama ajanların neye ihtiyaç duyduğuna — gerçek bir ekrana bakan gözlere, gerçek bir klavyede çalışan ellere, ikisi arasında güvenli bir tünele — baktıkça, uzak masaüstü tam da eksik olan arayüz gibi görünüyor.
Yapay zekanın bilgisayar kullandığı çağ
Geçtiğimiz yıl yapay zeka dünyasında temel bir şey değişti. Dil modelleri artık yalnızca metin üreten araçlar olmaktan çıktı. Bilgisayar kullanmaya başladılar.
Anthropic, Claude Computer Use'u yayınladı. OpenAI'nin ajanları tarayıcılarda gezinebiliyor. Google'ın Gemini'si Android ile etkileşime giriyor. Eğilim çok net: yapay zeka ajanlarının giderek daha fazla ekranları görmesi, düğmelere tıklaması ve gerçek uygulamalara yazı yazması gerekiyor.
Ama kimsenin konuşmadığı bir sorun var: bir yapay zeka ajanı bir bilgisayara aslında nasıl ulaşır?
Ajanların ekrana ihtiyaç duyduğu yerler
Altyapıdan söz etmeden önce işin kendisine bakın. İnsanların ajanlardan istediği işlerin çoğu düzgün bir API çağrısı değil. Durum dolu bir ekran, koşullu alanları olan bir form, ihtiyacınız olanı HTTP üzerinden sunmayan bir uygulama. Ajanın gözlere ihtiyacı var. Bugün çoğu sistemde karanlıkta parmaklarıyla yol arıyor.
01Vergi beyannamesi vermek
Ajanın çok sayfalı bir formun 12. satırını görmesi, beyan durumu için doğru açılır listeyi seçmesi ve göndermeden önce toplamların güncellendiğini doğrulaması gerekir. Arkadaki vergi yazılımının herkese açık bir API'si yok — arayüzün kendisi tek yol.
Uzak masaüstü canlı formu gösterir. Ajan alanları okur, doldurur ve göndere tıklamadan önce toplamın güncellendiğini izler.
02Karmaşık bir gezi ayarlamak
Birden çok site, farklı yerleşimler, müsaitliğe bağlı tarihler, bir sitede kendiliğinden dolan ama diğerinde dolmayan bir sadakat numarası. API'ler bunun bir kısmını karşılar — hiçbir zaman hepsini değil.
Uzak masaüstü ajana bir insanın kullanacağı tarayıcının aynısını verir. Sekmeler arasında sonuçları karşılaştırır ve ödemeden önce nihai fiyatı ekranda doğrular.
03Sözleşme incelemek
PDF, değişiklik izleme, düzeltme işaretleri ve yorumlar içeren bir masaüstü uygulamasında duruyor. Ajanın kenar notlarını okuması, satır içi notları izlemesi ve bir avukatın kabul edebileceği ya da reddedebileceği düzenlemeler önermesi gerekir.
Uzak masaüstü belgeyi avukatın gördüğü haliyle aktarır. Ajan not düşer, avukat onaylar; hepsi tek bir görünümde.
04Tarayıcıdaki bir düzenleyicide hata ayıklamak
Bir hata yalnızca Figma'da tuval belirli bir yakınlaştırmadayken, belirli bir eklenti çalıştıktan sonra ortaya çıkıyor. Hiçbir başsız araç bunu yeniden üretemez. Ajanın mühendisin gördüğünü görmesi gerekir.
Uzak masaüstü ajana canlı düzenleyiciyi verir. Adımları yeniden uygular, bozuk kareyi yakalar ve ekip için temiz bir yeniden üretim kaydı açar.
Mevcut yaklaşımlar ve neden yetersiz oldukları
Şu anda arayüzlerle etkileşime girmesi gereken yapay zeka ajanlarının seçenekleri sınırlı:
- Tarayıcı otomasyonu — Playwright ve Selenium gibi araçlar web uygulamalarını yönetebilir. Ama Photoshop'u, Xcode'u ya da herhangi bir yerel uygulamayı kullanamazlar. Web, insanların bilgisayarda yaptıklarının yalnızca küçük bir kısmı.
- Sanal makineler — Ekransız bir sanal makine açıp ajanı ona yönlendirirsiniz. Bu işe yarar ama yavaş ve pahalıdır; üstelik sanal makine yalıtılmış bir kum havuzudur — dosyalarınızın, uygulamalarınızın ve bağlamınızın bulunduğu gerçek bilgisayarınız değil.
- Yerel SDK'lar — Ajanı doğrudan makinede çalıştırırsınız. Bu, ajan yazılımını yerel olarak kurmayı gerektirir ve çok az yalıtımla derin sistem erişimi tanır.
Her yaklaşımın aynı temel sınırı var: bunun için tasarlanmadılar. Tarayıcı otomasyonu yalnızca tarayıcılarda çalışır. Sanal makineler pahalı kum havuzlarıdır. Yerel SDK'lar güvenlik kaygıları doğurur.
Peki bir varlığın başka bir bilgisayarı güvenli, gerçek zamanlı ve her ağ üzerinden görmesini ve kontrol etmesini sağlamak için zaten kurulmuş bir altyapı olsaydı?
Gözümüzün önündeki uzak masaüstü
Bir uzak masaüstünün aslında ne yaptığını düşünün:
- Ana bilgisayarın ekran görüntülerini yakalar
- Bunları uzaktaki istemciye gerçek zamanlı aktarır
- Giriş komutlarını (fare tıklamaları, klavye, kaydırma) kabul eder
- Bu girişleri ana bilgisayarın işletim sistemine yerel olarak iletir
- Her şeyi uçtan uca şifreler
Şimdi bir yapay zeka ajanının bilgisayarı kullanmak için neye ihtiyaç duyduğunu düşünün:
- Ekranda ne olduğunu görmek (ekran görüntüsü)
- Ne yapacağına karar vermek (ajanın işi)
- Tıklamak, yazmak, kaydırmak (giriş iletimi)
- Sonucu görmek (sonraki ekran görüntüsü)
- Her şeyi güvende tutmak
Bu aynı döngü. Uzak masaüstü özünde, bir yapay zeka ajanının ihtiyaç duyduğu arayüz katmanının tam kendisidir.
Ajanın gözlere ihtiyacı var. Bugün çoğu sistemde karanlıkta parmaklarıyla yol arıyor — uzak masaüstü ise onun nihayet görmesini sağlayan katman.
Remio'nun mimarisi neden bu işe özellikle uygun
Her uzak masaüstü buna aynı ölçüde hazır değil. Çoğu, ekrana bakan insanlar için yapıldı; milisaniye aralıklarla komut gönderen API tabanlı ajanlar için değil. Remio'da ise doğru parçalar zaten yerinde.
Yerel giriş iletimi
Remio girişi erişilebilirlik hileleriyle ya da sanal klavyelerle taklit etmez. Hassas, yerel düzeyde fare ve klavye iletimi için işletim sisteminin kendi giriş hattını kullanır. İşletim sistemi bir insanla Remio arasındaki farkı ayırt edemez. Bir yapay zeka ajanı da aynı yeteneği devralır.
Ekran görüntüsü yakalama
Remio ana bilgisayarı ekranı zaten saniyede 120 kareyle 6K'ya kadar yakalıyor ve tek tek kareleri istek üzerine sunabiliyor. Bir yapay zeka ajanının tam kare hızına ihtiyacı yok — her eylem için hızlıca teslim edilen tek bir temiz ekran görüntüsü yeter. Yakalama hattı zaten çalışırken bu çok kolay.
Hız için tasarlanmış bir protokol
İstemci ile ana bilgisayar arasındaki her komut, milisaniyenin altında çözümlenen, kopyalamasız bir ikili biçimle taşınır. Bir yapay zeka ajanı "(500, 300) konumuna tıkla" gönderdiğinde, bu komut önemsiz bir yükle çözümlenip uygulanır. JSON ayrıştırma yok, XML yok.
Doğrudan şifreli bağlantı
İki cihaz arasında her şey uçtan uca şifrelidir — varsayılan olarak doğrudan eşler arası, yalnızca ağınız gerektirdiğinde şifreli bir aktarıcıyla. Ajanın komutları ve ekran verisi sunucularımıza okunabilir biçimde asla uğramaz; aktarıcı bile yalnızca şifreli veriyi görür. Bir ajan gerçek iş bilgisayarınızla, dosyalarınızla ve uygulamalarınızla etkileşime girerken bu çok önemli.
Uygulama başlatma
Remio bağlı bir istemci için ana makinede uygulama başlatabiliyor zaten. Ajanlara yönelik bir API olduğunda, bir ajan "Terminal'i aç" diyebilir ve Remio bunu yapar — hazır olan uygulama başlatma altyapısını yeniden icat etmeye gerek kalmadan.
Bu nasıl görünebilir
Şu iş akışını düşünün:
Claude'a şunu söylüyorsunuz: "Mac'ime git, mali raporu Excel'de aç, 4. çeyrek rakamlarını bu verilerle güncelle, PDF olarak dışa aktar ve ekibe e-postayla gönder."
Claude, Remio'nun API'si üzerinden Mac'inize bağlanır. Masaüstünüzü görür. Excel'i açar. Doğru dosyaya gider. Hücreleri günceller. Dışa aktarır. Mail'i açar. E-postayı gönderir. Her adım görünür, denetlenebilir ve uçtan uca şifrelidir.
Sanal makine yok. Yalnızca tarayıcı sınırlaması yok. Gerçek bilgisayarınız, gerçek uygulamalarınız, gerçek dosyalarınız — zaten var olan güvenli bir tünel üzerinden yapay zeka tarafından kontrol ediliyor.
Zor kısımlar zaten tamam
Güvenilir bir uzak masaüstü geliştirmek yıllar sürer. Ekran yakalama hattı. Video kodlama. Her işletim sisteminin tuhaflığında çalışan giriş iletimi. Ev yönlendiricileri ve güvenlik duvarları üzerinden doğrudan eşler arası bağlantılar. Şifreleme. Gecikme optimizasyonu.
Bunların hepsi Remio'da zaten var. Ajanlara yönelik bir platformun sıfırdan yeni bir ürün olması gerekmez — zaten var olan altyapıya yeni bir arayüz olur. Ekranı izleyen bir insan yerine kareleri bir yapay zeka ajanı işler. Fareyi oynatan bir insan yerine bir API çağrısı koordinatları gönderir.
Geriye yapılacak olan API katmanının kendisi: yapay zeka ajanlarının bağlanmasını, ekran görüntüsü istemesini, komut göndermesini ve sonuç almasını sağlayan temiz, kimlik doğrulamalı bir arayüz. Bu henüz yok. Ciddi bir mühendislik işi, ama alttaki altyapının karmaşıklığının yalnızca küçük bir kısmı.
Dürüst bir değerlendirme
Bu konuda henüz erken araştırma aşamasındayız. Gerçek zorluklar var:
- Güvenlik modeli — Bir yapay zeka ajanına bilgisayarınıza erişimi güvenle nasıl verirsiniz? Hangi izinleri alır? Erişimi nasıl geri alırsınız? Bu dikkatli bir tasarım gerektirir.
- Ekran görüntüsü hızı — Yapay zeka modelleri görüntüleri insanların videoyu işlemesinden daha yavaş işler. Etkileşim biçimi farklı: ekran görüntüsü gönder, ajanın kararını bekle, uygula, tekrarla. Bu döngüyü iyileştirmek önemli.
- Hatadan kurtulma — Bir yapay zeka ajanı yanlış düğmeye tıkladığında nasıl toparlanır? Bu Remio'dan çok bir yapay zeka sorunu, ama platformun bunu düzgün biçimde desteklemesi gerekir.
Bunların çözüldüğünü iddia etmiyoruz. Ama altyapı temeli — işin zor kısmı — zaten orada.
Tesadüfi platform
Remio'yu yapay zeka ajanları için geliştirmedik. Ama inşa ettiklerimize — yerel giriş iletimi, gerçek zamanlı ekran yakalama, doğrudan uçtan uca şifreli bağlantı, hız için ayarlanmış ikili protokol — baktığımızda, yapay zekanın bilgisayar kullanımı için daha iyi bir temel hayal etmek zor.
Bazen en iyi ürünler beklenmedik kesişimlerden doğar. Uzak masaüstü teknolojisi ile yapay zeka ajanlarının bir araya gelmesi ilk bakışta belli değildi. Ama her iki tarafın neye ihtiyaç duyduğuna baktıkça bu birleşim kaçınılmaz görünüyor.
Yapay zeka ajanlarının ekrana ihtiyacı var. Remio ekranları sağlıyor — güvenli, yerel, gerçek zamanlı, her ağ üzerinden. Eksik parça hep oradaydı. Sadece neyin eksiği olduğunu bilmiyorduk.
Bu alanı aktif olarak keşfediyoruz. Gerçek bilgisayarlarla etkileşime girmesi gereken yapay zeka ajanları geliştiriyorsanız, sizden haber almak isteriz. Gelecek hepimizin beklediğinden daha hızlı gelebilir.
