Agen AI di remote desktop sungguhan — Agent Runtime, dalam pengembangan.

Agen yang hanya hidup di dalam browser headless tidak bisa membuka Final Cut, tidak bisa menyeret file video dari Finder ke alat kreatif, tidak bisa menandatangani PDF di Preview, tidak bisa menjalankan installer .dmg atau .exe, tidak bisa memberi aplikasi lain izin perekaman layar, tidak bisa memilih file dengan pemilih file sistem, dan tidak bisa bertahan dari dialog modal tak terduga dari OS. Di momen-momen inilah sebagian besar alur kerja nyata berada — dan di situlah agen browser headless diam-diam gagal.

Kontainer tervirtualisasi (pola "komputer agen" dari laboratorium-laboratorium besar) menutup sebagian celah itu, tetapi membawa celahnya sendiri. Image-nya biasanya desktop Linux minimal dengan segelintir aplikasi terpasang; apa pun di luar itu tak terjangkau. Kontainer tidak punya kesinambungan dengan pekerjaan nyata pengguna — aplikasi yang terpasang, akun yang sedang masuk, file yang tersimpan, izin yang telah diberikan. Setiap eksekusi agen dimulai dari mesin kosong yang bukan mesin pengguna.

Rancangan Remio mengambil jalan lain. Agen yang terhubung lewat runtime yang kami bangun akan mendapat desktop asli pengguna — Mac, PC, atau mesin Linux yang benar-benar dipakai pengguna bekerja — lewat sesi remote desktop yang sama dengan yang sudah dipakai manusia hari ini. Setiap aplikasi yang dipasang pengguna akan ada. Setiap akun yang sedang masuk akan ada. Setiap file akan ada. Agen bukan penyewa lingkungan buatan; ia tamu di workstation asli pengguna, selama pengguna mengizinkannya masuk — dan tidak semenit pun lebih lama.

Yang dirilis hari ini adalah stream langsung: layar host, ditangkap terus-menerus, dienkode di perangkat keras, dan dikirim lewat kanal terenkripsi yang sama yang sudah dipakai klien manusia. Runtime agen akan memakai ulang pipeline yang sama untuk tangkapan diamnya sendiri — satu frame sesuai permintaan, atau hanya wilayah yang sudah diketahui model untuk dilihat — alih-alih membangun jalur tangkapan kedua yang terpisah. Pemakaian ulang itu adalah pilihan rancangan yang telah kami putuskan, bukan klaim tentang apa yang ada hari ini.

Untuk agen yang bernalar lebih baik pada teks daripada piksel, rancangan menggambarkan mode transkrip: teks di layar dikembalikan bersama kotak pembatas, dihasilkan dengan OCR bawaan platform (framework Vision di macOS, Windows OCR API di Windows) tanpa model visi dalam prosesnya. Belum ada yang dibangun. Ini ada dalam daftar karena memungkinkan agen mengubah kecocokan teks menjadi klik presisi tanpa pernah mengirim frame ke modelnya — keuntungan efisiensi yang nyata, jika kami membangunnya dengan baik.

Untuk akses terstruktur dengan fidelitas tertinggi, rancangan juga menggambarkan pembacaan pohon aksesibilitas OS untuk jendela yang sedang fokus — pohon yang sama yang dilalui pembaca layar: hierarki berlabel berisi tombol, kolom teks, menu, dan peran. Ini pun belum ada. Dan di setiap versi yang kami gambarkan, aturan yang sama dari pipeline input terbawa: sesi agen akan melihat persis apa yang sudah diizinkan oleh izin perekaman layar host kepada sesi manusia, tidak lebih. Jika izin itu mati untuk suatu layar, agen tidak akan mendapat apa pun dari layar itu — sama seperti klien manusia hari ini.

Setiap sesi Remio — manusia atau agen — akan dimulai dengan cara yang sama: manusia memindai kode QR, atau mengetik Device ID dan PIN yang tampil di layar host, ke dalam Remio. Tidak ada rancangan yang dipertimbangkan di mana agen membuat sesinya sendiri, memegang token yang bisa diperbarui diam-diam, atau memperpanjang akses melewati saat manusia yang memasangkannya memutuskan mengakhirinya. Eksekusi agen berikutnya akan membutuhkan manusia memasangkan lagi — momen human-in-the-loop yang baru, setiap kali, secara rancangan.

Selama sesi agen aktif, host maupun klien akan menampilkan indikator permanen yang tak mungkin terlewat — dan kontrol Stop yang mengakhiri sesi seketika, dapat dijangkau oleh siapa pun yang duduk di keyboard host, bukan hanya orang yang memulainya. Setiap tindakan agen akan dicatat dalam log audit yang bisa ditinjau manusia. Tak satu pun ini ada di kode yang dirilis hari ini; inilah standar yang harus dipenuhi rancangannya.

Batas izin mengikuti kisah yang sama dengan bagian input dan layar di atas: sesi agen akan mewarisi persis izin tingkat OS host yang sudah dihormati sesi manusia — Perekaman Layar, Aksesibilitas — tidak lebih luas. Ia tidak akan mendapat izin tinggi sendiri, dan tidak punya jalan untuk memperlebar batas yang sudah ditetapkan manusia untuk aplikasi Remio. Jika sebuah kemampuan yang kami rancang tidak muat dalam batas itu, ia tidak dirilis.

Bentuk yang terus kami temui sengaja dibuat kecil: beberapa primitif untuk input (satu klik, satu tombol), beberapa untuk penglihatan (satu frame diam, satu wilayah), satu untuk pembacaan UI terstruktur. Itu sketsa, bukan spesifikasi — belum ada yang dirilis, dan antarmuka persisnya masih terbuka. Yang kami komitmenkan sekarang adalah bentuknya, bukan sintaksnya.

Agnostik terhadap model adalah persyaratan rancangan, bukan aspirasi yang akan kami capai nanti. Apa pun yang dirilis akan bekerja dengan cara yang sama baik model yang merencanakan alur kerjanya Claude, GPT, Gemini, maupun sesuatu yang Anda jalankan sendiri. Kami tidak membangunnya di sekitar format pemanggilan alat satu vendor, karena begitu runtime dikunci pada antarmuka satu model, kami telah membuat janji yang salah.

Runtime desktop dan runtime agen itu sendiri adalah dua hal berbeda, dan kami berniat mempertahankannya begitu. Remio akan menjadi penghubung yang membawa tindakan agen ke desktop sungguhan; model, loop perencanaan, dan tempat menjalankannya sepenuhnya tetap di tangan siapa pun yang membangun agen. Kami tidak berencana menghosting, mengukur, atau membatasi akses ke model sendiri.

Remio tidak dibuat untuk agen yang hanya butuh browser web — mengambil data halaman, mengisi formulir, membaca dasbor. Satu sesi remote desktop utuh lebih dari yang dibutuhkan tab browser, dan Remio tidak berusaha bersaing di kategori itu.

Remio tidak dibuat untuk agen yang butuh puluhan lingkungan sekali pakai — satu per tugas, kondisi baru setiap kali, eksekusi paralel. Remio dibangun di sekitar sesi permanen yang dipasangkan manusia, yang berbentuk sebaliknya: konkurensi rendah, kesinambungan tinggi, konteks pengguna sungguhan.

Jika kami membangun Agent Runtime seperti yang dijelaskan halaman ini, ia akan menjadi jawaban yang tepat ketika agen membutuhkan desktop OS sungguhan dengan aplikasi native, perangkat lunak yang benar-benar terpasang milik pengguna, akun dan file asli pengguna, serta batas sesi human-in-the-loop. Agen aksesibilitas yang menjalankan desktop bagi pengguna penyandang disabilitas. QA berbantuan AI pada aplikasi OS sungguhan. Alur kerja agentik yang harus memakai alat native tertentu yang sudah dimiliki pengguna. Tugas apa pun yang kerangka alaminya adalah "pakai mesin saya yang asli, dengan semua isinya, selagi saya mengawasi". Untuk kasus-kasus itu, setelah dirilis, Remio akan menjadi runtime-nya.