Kami tidak membangun Remio untuk agen AI. Tetapi semakin kami melihat apa yang dibutuhkan agen — mata yang melihat layar sungguhan, tangan yang mengetik di keyboard sungguhan, dan terowongan aman di antara keduanya — semakin jelas bahwa remote desktop adalah antarmuka yang selama ini hilang.
Era computer use oleh AI
Ada sesuatu yang mendasar berubah di dunia AI selama setahun terakhir. Model bahasa tidak lagi sekadar penghasil teks. Mereka mulai menggunakan komputer.
Anthropic merilis Claude Computer Use. Agen OpenAI bisa menjelajahi browser. Gemini dari Google berinteraksi dengan Android. Polanya jelas: agen AI makin sering perlu melihat layar, mengklik tombol, dan mengetik di aplikasi sungguhan.
Tetapi ada masalah yang jarang dibicarakan: bagaimana sebenarnya agen AI bisa sampai ke sebuah komputer?
Di mana agen membutuhkan layar
Sebelum membahas infrastruktur, lihat dulu pekerjaannya. Sebagian besar yang diminta orang dari agen bukanlah panggilan API yang rapi. Yang ada adalah layar penuh status, formulir dengan kolom bersyarat, aplikasi yang tidak membuka apa yang Anda butuhkan lewat HTTP. Agen butuh mata. Hari ini, di kebanyakan tumpukan teknologi, ia hanya meraba-raba dalam gelap.
01Mengisi laporan pajak
Agen perlu melihat baris 12 pada formulir multi-halaman, memilih menu tarik-turun status pelaporan yang tepat, dan memastikan total terperbarui sebelum mengirim. Perangkat lunak pajaknya tidak punya API publik — GUI-nya adalah antarmukanya.
Remote desktop menampilkan formulir secara langsung. Agen membaca kolom, mengisinya, dan memantau total berjalan berubah sebelum menekan kirim.
02Memesan perjalanan yang rumit
Banyak situs, tata letak berbeda, tanggal yang bergantung ketersediaan, nomor keanggotaan yang terisi otomatis di satu situs tetapi tidak di situs lain. API mencakup sebagian — tidak pernah semuanya.
Remote desktop memberi agen browser yang sama dengan yang dipakai manusia. Ia membandingkan hasil antar tab dan memastikan harga akhir di layar sebelum membayar.
03Meninjau kontrak
PDF-nya ada di aplikasi desktop dengan pelacakan perubahan, redline, dan komentar. Agen perlu membaca margin, mengikuti catatan sebaris, dan mengusulkan suntingan yang bisa diterima atau ditolak oleh pengacara.
Remote desktop mengalirkan dokumen persis seperti yang dilihat pengacara. Agen memberi anotasi dan pengacara menyetujui, semuanya dalam satu tampilan.
04Men-debug editor di dalam browser
Sebuah bug hanya muncul saat kanvas di Figma berada pada zoom tertentu, setelah plugin tertentu berjalan. Tidak ada alat headless yang bisa mereproduksinya. Agen harus melihat apa yang dilihat insinyur.
Remote desktop memberi agen akses ke editor yang sedang berjalan. Ia mereproduksi langkah-langkahnya, menangkap frame yang rusak, dan membuat laporan repro yang rapi untuk tim.
Pendekatan saat ini dan mengapa kurang memadai
Saat ini, agen AI yang perlu berinteraksi dengan GUI hanya punya pilihan terbatas:
- Otomatisasi browser — Alat seperti Playwright dan Selenium bisa menjalankan aplikasi web. Tetapi mereka tidak bisa memakai Photoshop, Xcode, atau aplikasi native apa pun. Web hanyalah sebagian kecil dari yang sebenarnya dikerjakan orang di komputer.
- Mesin virtual — Jalankan VM headless, arahkan agen ke sana. Cara ini berhasil, tetapi lambat, mahal, dan VM-nya adalah sandbox terisolasi — bukan komputer Anda yang sebenarnya dengan file, aplikasi, dan konteks Anda.
- SDK lokal — Jalankan agen langsung di mesin. Ini mengharuskan pemasangan perangkat lunak agen secara lokal dan memberi akses sistem yang dalam dengan isolasi minimal.
Setiap pendekatan punya keterbatasan mendasar yang sama: semuanya tidak dirancang untuk ini. Otomatisasi browser hanya bekerja di browser. VM adalah sandbox yang mahal. SDK lokal menimbulkan masalah keamanan.
Bagaimana jika ada infrastruktur yang sudah dibangun agar satu pihak bisa melihat dan mengendalikan komputer lain — dengan aman, secara real time, lewat jaringan apa pun?
Remote desktop, tersembunyi di depan mata
Pikirkan apa yang sebenarnya dilakukan remote desktop:
- Menangkap tangkapan layar komputer host
- Mengalirkannya ke klien jarak jauh secara real time
- Menerima perintah input (klik mouse, keyboard, scroll)
- Menyuntikkan input tersebut ke OS host secara native
- Mengenkripsi semuanya dari ujung ke ujung
Sekarang pikirkan apa yang dibutuhkan agen AI untuk memakai komputer:
- Melihat isi layar (tangkapan layar)
- Memutuskan apa yang dilakukan (tugas agen)
- Klik, ketik, scroll (injeksi input)
- Melihat hasilnya (tangkapan layar berikutnya)
- Menjaga semuanya tetap aman
Itu adalah siklus yang sama. Pada intinya, remote desktop persis merupakan lapisan antarmuka yang dibutuhkan agen AI.
Agen butuh mata. Hari ini, di kebanyakan tumpukan teknologi, ia meraba-raba dalam gelap — dan remote desktop adalah lapisan yang akhirnya membuatnya bisa melihat.
Mengapa arsitektur Remio sangat cocok
Tidak semua remote desktop sama siapnya untuk ini. Kebanyakan dibuat untuk manusia yang menatap layar, bukan untuk agen berbasis API yang mengirim perintah dalam hitungan milidetik. Remio kebetulan sudah memiliki komponen yang tepat.
Injeksi input native
Remio tidak mensimulasikan input lewat trik aksesibilitas atau keyboard virtual. Remio memakai jalur input bawaan sistem operasi untuk injeksi mouse dan keyboard yang presisi pada tingkat native. OS tidak bisa membedakan manusia dari Remio. Agen AI mewarisi kemampuan yang sama.
Penangkapan layar
Host Remio sudah menangkap layar hingga 6K pada 120 FPS dan bisa mengirim frame tunggal sesuai permintaan. Agen AI tidak butuh frame rate penuh — ia butuh satu tangkapan layar yang bersih per aksi, dikirim cepat. Itu sangat mudah ketika jalur penangkapannya sudah berjalan.
Protokol yang dirancang untuk kecepatan
Setiap perintah antara klien dan host berjalan lewat format biner zero-copy yang diurai dalam waktu di bawah satu milidetik. Ketika agen AI mengirim "klik di (500, 300)", perintah itu diurai dan dijalankan dengan beban yang nyaris tak terasa. Tanpa parsing JSON, tanpa XML.
Koneksi langsung terenkripsi
Semuanya terenkripsi dari ujung ke ujung antara kedua perangkat — peer-to-peer langsung secara default, dengan relay terenkripsi hanya bila jaringan Anda memerlukannya. Perintah agen dan data layar tidak pernah menyentuh server kami dalam bentuk yang bisa dibaca; bahkan relay hanya melihat ciphertext. Ini sangat penting ketika agen berinteraksi dengan komputer kerja, file, dan aplikasi Anda yang sebenarnya.
Peluncuran aplikasi
Remio sudah bisa meluncurkan aplikasi di mesin host untuk klien yang terhubung. Begitu API untuk agen tersedia, agen bisa berkata "buka Terminal" dan Remio mewujudkannya — tanpa menciptakan ulang saluran peluncuran aplikasi yang sudah ada.
Seperti apa wujudnya
Bayangkan alur kerja berikut:
Anda berkata kepada Claude: "Buka Mac saya, buka laporan keuangan di Excel, perbarui angka Q4 dengan data ini, ekspor sebagai PDF, dan kirim lewat email ke tim."
Claude terhubung ke Mac Anda lewat API Remio. Ia melihat desktop Anda. Ia membuka Excel. Ia menuju file yang tepat. Ia memperbarui sel. Ia mengekspor. Ia membuka Mail. Ia mengirim email. Setiap langkah terlihat, dapat diaudit, dan terenkripsi dari ujung ke ujung.
Tanpa mesin virtual. Tanpa batasan hanya-browser. Komputer Anda yang sebenarnya, aplikasi Anda yang sebenarnya, file Anda yang sebenarnya — dikendalikan oleh AI lewat terowongan aman yang sudah ada.
Bagian tersulitnya sudah selesai
Membangun remote desktop yang andal membutuhkan kerja bertahun-tahun. Jalur penangkapan layar. Pengodean video. Injeksi input yang berjalan di setiap keunikan OS. Koneksi peer-to-peer langsung melewati router dan firewall rumah. Enkripsi. Optimasi latensi.
Semua itu sudah ada di Remio. Platform untuk agen tidak perlu menjadi produk baru yang dibangun dari nol — ia akan menjadi antarmuka baru ke infrastruktur yang sudah ada. Alih-alih manusia yang menonton layar, agen AI yang memproses frame. Alih-alih manusia yang menggerakkan mouse, sebuah panggilan API yang mengirim koordinat.
Yang tersisa untuk dibangun adalah lapisan API itu sendiri: antarmuka bersih dan terautentikasi yang memungkinkan agen AI terhubung, meminta tangkapan layar, mengirim perintah, dan menerima hasil. Itu belum ada. Ini pekerjaan rekayasa yang berarti, tetapi hanya sebagian kecil dari kompleksitas infrastruktur di bawahnya.
Penilaian yang jujur
Kami masih dalam tahap awal riset soal ini. Ada tantangan nyata:
- Model keamanan — Bagaimana memberi agen AI akses ke komputer Anda dengan aman? Izin apa yang ia dapat? Bagaimana mencabut aksesnya? Ini perlu dirancang dengan cermat.
- Laju tangkapan layar — Model AI memproses gambar lebih lambat daripada manusia memproses video. Pola interaksinya berbeda: kirim tangkapan layar, tunggu keputusan agen, jalankan, ulangi. Mengoptimalkan siklus ini penting.
- Pemulihan dari kesalahan — Ketika agen AI mengklik tombol yang salah, bagaimana ia pulih? Ini lebih merupakan masalah AI daripada masalah Remio, tetapi platform perlu mendukungnya dengan baik.
Kami tidak berpura-pura semua ini sudah terpecahkan. Tetapi fondasi infrastrukturnya — bagian yang sulit — sudah ada.
Platform yang tak disengaja
Kami tidak membangun Remio untuk agen AI. Tetapi melihat apa yang sudah kami bangun — injeksi input native, penangkapan layar real-time, koneksi langsung terenkripsi dari ujung ke ujung, protokol biner yang disetel untuk kecepatan — sulit membayangkan fondasi yang lebih baik untuk computer use oleh AI.
Kadang produk terbaik lahir dari persilangan yang tak terduga. Teknologi remote desktop dan agen AI tampaknya tidak otomatis cocok. Tetapi semakin Anda melihat kebutuhan masing-masing pihak, semakin tak terelakkan kombinasinya.
Agen AI butuh layar. Remio menyediakan layar — dengan aman, secara native, real time, lewat jaringan apa pun. Bagian yang hilang itu selalu ada. Kami hanya tidak tahu apa yang kurang tanpanya.
Kami aktif menjajaki bidang ini. Jika Anda sedang membangun agen AI yang perlu berinteraksi dengan komputer sungguhan, kami ingin mendengar kabar dari Anda. Masa depan mungkin tiba lebih cepat dari perkiraan kita semua.
