AI เอเจนต์ก็ต้องมีหน้าจอ: ทำไมรีโมทเดสก์ท็อปคือชิ้นที่ขาดหายไป

เราไม่ได้สร้าง Remio เพื่อ AI เอเจนต์ แต่ยิ่งดูสิ่งที่เอเจนต์ต้องการ คือดวงตาที่มองหน้าจอจริง มือที่แตะคีย์บอร์ดจริง และอุโมงค์ที่ปลอดภัยเชื่อมระหว่างกัน ก็ยิ่งดูเหมือนว่ารีโมทเดสก์ท็อปคืออินเทอร์เฟซที่ขาดหายไปมาตลอด

ยุคของ AI ที่ใช้คอมพิวเตอร์

บางอย่างเปลี่ยนไปอย่างพื้นฐานในโลก AI เมื่อปีที่ผ่านมา โมเดลภาษาไม่ได้เป็นแค่ตัวสร้างข้อความอีกต่อไป พวกมันเริ่มใช้คอมพิวเตอร์

Anthropic ออก Claude Computer Use เอเจนต์ของ OpenAI ท่องเบราว์เซอร์ได้ Gemini ของ Google โต้ตอบกับ Android รูปแบบนั้นชัดเจน: AI เอเจนต์ต้องเห็นหน้าจอ คลิกปุ่ม และพิมพ์ลงในแอปจริงมากขึ้นเรื่อย ๆ

แต่นี่คือปัญหาที่ไม่มีใครพูดถึง: AI เอเจนต์จะเข้าถึงคอมพิวเตอร์ได้อย่างไร

ที่ที่เอเจนต์ต้องมีหน้าจอ

ก่อนคุยเรื่องโครงสร้างพื้นฐาน ลองดูตัวงานเอง งานส่วนใหญ่ที่คนขอให้เอเจนต์ทำไม่ใช่การเรียก API เรียบร้อย แต่เป็นหน้าจอที่เต็มไปด้วยสถานะ ฟอร์มที่มีช่องแบบมีเงื่อนไข แอปที่ไม่เปิดสิ่งที่คุณต้องการผ่าน HTTP เอเจนต์ต้องมีดวงตา วันนี้ในสแตกส่วนใหญ่ มันมีแต่นิ้วที่คลำในความมืด

01ยื่นแบบภาษี

เอเจนต์ต้องเห็นบรรทัดที่ 12 ของฟอร์มหลายหน้า เลือกดรอปดาวน์สถานะการยื่นให้ถูก และตรวจว่ายอดรวมอัปเดตก่อนส่ง ซอฟต์แวร์ภาษีเบื้องหลังไม่มี API สาธารณะ GUI คืออินเทอร์เฟซ

รีโมทเดสก์ท็อปแสดงฟอร์มสด เอเจนต์อ่านช่อง กรอก และดูยอดรวมที่อัปเดตก่อนกดส่ง

02จองทริปที่ซับซ้อน

หลายเว็บไซต์ เลย์เอาต์ต่างกัน วันที่ที่ขึ้นกับที่ว่าง หมายเลขสมาชิกที่กรอกอัตโนมัติบนเว็บหนึ่งแต่อีกเว็บไม่ได้ API ครอบคลุมบางส่วน แต่ไม่เคยครบทั้งหมด

รีโมทเดสก์ท็อปให้เอเจนต์ใช้เบราว์เซอร์เดียวกับที่คนใช้ มันเปรียบเทียบผลลัพธ์ข้ามแท็บและยืนยันราคาสุดท้ายบนหน้าจอก่อนชำระเงิน

03ตรวจสัญญา

PDF อยู่ในแอปเดสก์ท็อปที่มี track changes การแก้ไขสีแดง และคอมเมนต์ เอเจนต์ต้องอ่านขอบหน้ากระดาษ ตามโน้ตแทรก และเสนอการแก้ไขที่ทนายยอมรับหรือปฏิเสธได้

รีโมทเดสก์ท็อปสตรีมเอกสารตามที่ทนายเห็น เอเจนต์ใส่หมายเหตุและทนายอนุมัติ ทั้งหมดในมุมมองเดียว

04ดีบักตัวแก้ไขในเบราว์เซอร์

บั๊กปรากฏเฉพาะเมื่อแคนวาสอยู่ที่ระดับซูมหนึ่งใน Figma หลังปลั๊กอินตัวหนึ่งทำงาน ไม่มีเครื่องมือ headless ใดทำซ้ำได้ เอเจนต์ต้องเห็นสิ่งที่วิศวกรเห็น

รีโมทเดสก์ท็อปให้เอเจนต์เข้าตัวแก้ไขสด มันทำตามขั้นตอนซ้ำ จับเฟรมที่เสีย และส่งขั้นตอนทำซ้ำที่สะอาดให้ทีม

แนวทางปัจจุบันและเหตุที่ยังไม่พอ

ตอนนี้ AI เอเจนต์ที่ต้องโต้ตอบกับ GUI มีทางเลือกจำกัด:

• ระบบอัตโนมัติของเบราว์เซอร์ เครื่องมืออย่าง Playwright และ Selenium ควบคุมเว็บแอปได้ แต่ใช้ Photoshop, Xcode หรือแอปเนทีฟใด ๆ ไม่ได้ เว็บเป็นเพียงเศษเสี้ยวของสิ่งที่คนทำบนคอมพิวเตอร์จริง
• เครื่องเสมือน เปิด VM แบบ headless แล้วชี้เอเจนต์ไปที่มัน ใช้ได้ แต่ช้า แพง และ VM เป็นแซนด์บ็อกซ์ที่แยกขาด ไม่ใช่คอมพิวเตอร์จริงของคุณที่มีไฟล์ แอป และบริบทของคุณ
• SDK ในเครื่อง รันเอเจนต์บนเครื่องโดยตรง ต้องติดตั้งซอฟต์แวร์เอเจนต์ในเครื่อง และให้สิทธิ์เข้าถึงระบบลึกโดยมีการแยกขาดน้อยที่สุด

ทุกแนวทางมีข้อจำกัดพื้นฐานเดียวกัน: ไม่ได้ถูกออกแบบมาสำหรับสิ่งนี้ ระบบอัตโนมัติของเบราว์เซอร์ใช้ได้แค่ในเบราว์เซอร์ VM คือแซนด์บ็อกซ์ราคาแพง SDK ในเครื่องก่อให้เกิดความกังวลด้านความปลอดภัย

จะเป็นอย่างไรหากมีโครงสร้างพื้นฐานที่สร้างไว้แล้วเพื่อให้สิ่งหนึ่งเห็นและควบคุมคอมพิวเตอร์อีกเครื่อง อย่างปลอดภัย แบบเรียลไทม์ บนเครือข่ายใดก็ได้

รีโมทเดสก์ท็อป ซ่อนอยู่ต่อหน้าต่อตา

ลองคิดว่ารีโมทเดสก์ท็อปทำอะไรจริง ๆ:

• จับภาพหน้าจอของคอมพิวเตอร์โฮสต์
• สตรีมไปยังไคลเอนต์ระยะไกลแบบเรียลไทม์
• รับคำสั่งอินพุต (คลิกเมาส์ คีย์บอร์ด เลื่อน)
• ฉีดอินพุตเหล่านั้นเข้า OS ของโฮสต์แบบเนทีฟ
• เข้ารหัสทุกอย่างแบบ end-to-end

ทีนี้ลองคิดว่า AI เอเจนต์ต้องการอะไรเพื่อใช้คอมพิวเตอร์:

• เห็นสิ่งที่อยู่บนหน้าจอ (สกรีนช็อต)
• ตัดสินใจว่าจะทำอะไร (งานของเอเจนต์)
• คลิก พิมพ์ เลื่อน (การฉีดอินพุต)
• เห็นผลลัพธ์ (สกรีนช็อตถัดไป)
• รักษาทุกอย่างให้ปลอดภัย

มันคือลูปเดียวกัน รีโมทเดสก์ท็อปในแก่นของมันคือชั้นอินเทอร์เฟซที่ AI เอเจนต์ต้องการพอดี

เอเจนต์ต้องมีดวงตา วันนี้ในสแตกส่วนใหญ่ มันมีแต่นิ้วที่คลำในความมืด และรีโมทเดสก์ท็อปคือชั้นที่ทำให้มันได้เห็นเสียที

ทำไมสถาปัตยกรรมของ Remio จึงเหมาะอย่างโดดเด่น

รีโมทเดสก์ท็อปไม่ได้พร้อมสำหรับเรื่องนี้เท่ากันทุกตัว ส่วนใหญ่ถูกสร้างมาสำหรับคนที่จ้องหน้าจอ ไม่ใช่เอเจนต์ที่ขับด้วย API ยิงคำสั่งทุกมิลลิวินาที Remio บังเอิญมีชิ้นส่วนที่ถูกต้องอยู่แล้ว

การฉีดอินพุตแบบเนทีฟ

Remio ไม่ได้จำลองอินพุตผ่านวิธีลัดของ accessibility หรือคีย์บอร์ดเสมือน แต่ใช้ไปป์ไลน์อินพุตของระบบปฏิบัติการเองสำหรับการฉีดเมาส์และคีย์บอร์ดที่แม่นยำระดับเนทีฟ OS แยกไม่ออกระหว่างมนุษย์กับ Remio AI เอเจนต์สืบทอดความสามารถเดียวกันนี้

การจับภาพหน้าจอ

โฮสต์ Remio จับภาพหน้าจออยู่แล้ว สูงสุด 6K ที่ 120 FPS และส่งเฟรมเดี่ยวตามต้องการได้ AI เอเจนต์ไม่ต้องการอัตราเฟรมเต็ม ต้องการสกรีนช็อตที่สะอาดหนึ่งภาพต่อหนึ่งการกระทำ ส่งอย่างเร็ว ซึ่งง่ายมากเมื่อไปป์ไลน์จับภาพทำงานอยู่แล้ว

โปรโตคอลที่ออกแบบเพื่อความเร็ว

ทุกคำสั่งระหว่างไคลเอนต์กับโฮสต์เดินทางในรูปแบบไบนารีแบบ zero-copy ที่แยกวิเคราะห์ในเวลาต่ำกว่ามิลลิวินาที เมื่อ AI เอเจนต์ส่ง "คลิกที่ (500, 300)" คำสั่งนั้นถูกแยกวิเคราะห์และทำงานโดยมีภาระเกือบเป็นศูนย์ ไม่มีการแยกวิเคราะห์ JSON ไม่มี XML

การเชื่อมต่อตรงที่เข้ารหัส

ทุกอย่างเข้ารหัสแบบ end-to-end ระหว่างสองอุปกรณ์ โดยค่าเริ่มต้นเป็นแบบเพียร์ทูเพียร์ตรง และใช้รีเลย์ที่เข้ารหัสก็ต่อเมื่อเครือข่ายของคุณต้องการ คำสั่งของเอเจนต์และข้อมูลหน้าจอไม่เคยแตะเซิร์ฟเวอร์ของเราในรูปแบบที่อ่านได้ แม้แต่รีเลย์ก็เห็นแค่ข้อมูลเข้ารหัส ซึ่งสำคัญมากเมื่อเอเจนต์โต้ตอบกับคอมพิวเตอร์ทำงานจริง ไฟล์ และแอปพลิเคชันของคุณ

การเปิดแอป

Remio เปิดแอปพลิเคชันบนเครื่องโฮสต์ให้ไคลเอนต์ที่เชื่อมต่ออยู่ได้แล้ว เมื่อมี API ที่หันหาเอเจนต์ เอเจนต์จะสั่ง "เปิด Terminal" แล้วให้ Remio ทำให้เกิดขึ้นได้ โดยไม่ต้องสร้างระบบเปิดแอปที่มีอยู่แล้วใหม่

หน้าตาที่อาจเป็น

ลองนึกถึงเวิร์กโฟลว์นี้:

คุณบอก Claude: "ไปที่ Mac ของฉัน เปิดรายงานการเงินใน Excel อัปเดตตัวเลข Q4 ด้วยข้อมูลนี้ ส่งออกเป็น PDF แล้วอีเมลให้ทีม"

Claude เชื่อมต่อกับ Mac ของคุณผ่าน API ของ Remio มันเห็นเดสก์ท็อปของคุณ เปิด Excel ไปที่ไฟล์ที่ถูก อัปเดตเซลล์ ส่งออก เปิด Mail ส่งอีเมล ทุกขั้นตอนมองเห็นได้ ตรวจสอบได้ และเข้ารหัสแบบ end-to-end

ไม่มีเครื่องเสมือน ไม่มีข้อจำกัดเฉพาะเบราว์เซอร์ คอมพิวเตอร์จริงของคุณ แอปจริงของคุณ ไฟล์จริงของคุณ ควบคุมโดย AI ผ่านอุโมงค์ปลอดภัยที่มีอยู่แล้ว

ส่วนที่ยากทำเสร็จแล้ว

การสร้างรีโมทเดสก์ท็อปที่เชื่อถือได้ใช้เวลาหลายปี ไปป์ไลน์จับภาพหน้าจอ การเข้ารหัสวิดีโอ การฉีดอินพุตที่ใช้ได้กับทุกความแปลกของ OS การเชื่อมต่อเพียร์ทูเพียร์ตรงผ่านเราเตอร์ในบ้านและไฟร์วอลล์ การเข้ารหัส การปรับความหน่วงให้เหมาะสม

ทั้งหมดนั้นมีอยู่แล้วใน Remio แพลตฟอร์มที่หันหาเอเจนต์ไม่จำเป็นต้องเป็นผลิตภัณฑ์ใหม่ที่สร้างตั้งแต่ศูนย์ แต่จะเป็นอินเทอร์เฟซใหม่ของโครงสร้างพื้นฐานที่มีอยู่ แทนที่มนุษย์ดูหน้าจอ AI เอเจนต์จะประมวลผลเฟรม แทนที่มนุษย์ขยับเมาส์ การเรียก API จะส่งพิกัด

สิ่งที่ยังต้องสร้างคือชั้น API เอง: อินเทอร์เฟซที่สะอาดและยืนยันตัวตนได้ ให้ AI เอเจนต์เชื่อมต่อ ขอสกรีนช็อต ส่งคำสั่ง และรับผลลัพธ์ ซึ่งยังไม่มี เป็นงานวิศวกรรมที่มีนัยสำคัญ แต่เป็นเศษเสี้ยวของความซับซ้อนของโครงสร้างพื้นฐานเบื้องล่าง

การประเมินอย่างตรงไปตรงมา

เราอยู่ในการวิจัยระยะเริ่มต้นเรื่องนี้ มีความท้าทายจริง:

• โมเดลความปลอดภัย จะให้ AI เอเจนต์เข้าถึงคอมพิวเตอร์ของคุณอย่างปลอดภัยได้อย่างไร มันได้สิทธิ์อะไร จะเพิกถอนการเข้าถึงอย่างไร ต้องออกแบบอย่างรอบคอบ
• อัตราสกรีนช็อต โมเดล AI ประมวลผลภาพช้ากว่าที่มนุษย์ประมวลผลวิดีโอ รูปแบบการโต้ตอบต่างกัน: ส่งสกรีนช็อต รอการตัดสินใจของเอเจนต์ ทำ แล้ววนซ้ำ การปรับลูปนี้ให้เหมาะสมสำคัญ
• การกู้คืนจากข้อผิดพลาด เมื่อ AI เอเจนต์คลิกผิดปุ่ม มันกู้คืนอย่างไร นี่เป็นปัญหาของ AI มากกว่าของ Remio แต่แพลตฟอร์มต้องรองรับอย่างราบรื่น

เราไม่ได้ทำเป็นว่าสิ่งเหล่านี้แก้ได้แล้ว แต่รากฐานโครงสร้างพื้นฐาน ซึ่งเป็นส่วนยาก มีอยู่แล้ว

แพลตฟอร์มโดยบังเอิญ

เราไม่ได้สร้าง Remio เพื่อ AI เอเจนต์ แต่เมื่อดูสิ่งที่เราสร้าง คือการฉีดอินพุตแบบเนทีฟ การจับภาพหน้าจอแบบเรียลไทม์ การเชื่อมต่อตรงที่เข้ารหัสแบบ end-to-end โปรโตคอลไบนารีที่ปรับเพื่อความเร็ว ก็ยากจะนึกถึงรากฐานที่ดีกว่าสำหรับการใช้คอมพิวเตอร์ของ AI

บางครั้งผลิตภัณฑ์ที่ดีที่สุดเกิดจากจุดตัดที่ไม่คาดคิด เทคโนโลยีรีโมทเดสก์ท็อปกับ AI เอเจนต์ไม่ได้เข้ากันอย่างชัดเจน แต่ยิ่งดูสิ่งที่แต่ละฝั่งต้องการ ก็ยิ่งดูเหมือนการรวมกันเป็นสิ่งที่หลีกเลี่ยงไม่ได้

AI เอเจนต์ต้องมีหน้าจอ Remio ให้หน้าจอ อย่างปลอดภัย แบบเนทีฟ แบบเรียลไทม์ บนเครือข่ายใดก็ได้ ชิ้นที่ขาดหายอยู่ตรงนั้นมาตลอด เราแค่ไม่รู้ว่ามันขาดไปเพื่ออะไร

เรากำลังสำรวจพื้นที่นี้อย่างกระตือรือร้น หากคุณกำลังสร้าง AI เอเจนต์ที่ต้องโต้ตอบกับคอมพิวเตอร์จริง เรายินดีรับฟัง อนาคตอาจมาเร็วกว่าที่ใครในพวกเราคาด