AI เอเจนต์บนรีโมทเดสก์ท็อปจริง Agent Runtime อยู่ระหว่างพัฒนา

เอเจนต์ที่อยู่แต่ในเบราว์เซอร์แบบ headless เปิด Final Cut ไม่ได้ ลากไฟล์วิดีโอจาก Finder เข้าเครื่องมือครีเอทีฟไม่ได้ เซ็น PDF ใน Preview ไม่ได้ รันตัวติดตั้ง .dmg หรือ .exe ไม่ได้ ให้สิทธิ์บันทึกหน้าจอแก่แอปอื่นไม่ได้ เลือกไฟล์ด้วยตัวเลือกไฟล์ของระบบไม่ได้ และรับมือกับกล่องโต้ตอบที่ OS เด้งขึ้นมาโดยไม่คาดคิดไม่ได้ นี่คือช่วงเวลาที่เวิร์กโฟลว์จริงส่วนใหญ่อยู่ และเป็นจุดที่เอเจนต์เบราว์เซอร์ headless พลาดอย่างเงียบ ๆ

คอนเทนเนอร์เสมือน (รูปแบบ "คอมพิวเตอร์ของเอเจนต์" จากห้องแล็บใหญ่ ๆ) อุดช่องว่างเหล่านั้นได้บ้าง แต่ก็นำปัญหาของตัวเองมาด้วย อิมเมจมักเป็นเดสก์ท็อป Linux ขั้นต่ำที่ติดตั้งแอปไว้ไม่กี่ตัว อะไรนอกขอบเขตนั้นเข้าถึงไม่ได้ คอนเทนเนอร์ไม่มีความต่อเนื่องกับงานจริงของผู้ใช้ ทั้งแอปที่ติดตั้ง บัญชีที่ล็อกอินไว้ ไฟล์ที่บันทึกไว้ และสิทธิ์ที่ให้ไว้ ทุกครั้งที่เอเจนต์ทำงานจะเริ่มจากเครื่องว่างเปล่าที่ไม่ใช่เครื่องของผู้ใช้

การออกแบบของ Remio ไปอีกทาง เอเจนต์ที่เชื่อมต่อผ่านรันไทม์ที่เรากำลังสร้างจะได้เดสก์ท็อปจริงของผู้ใช้ คือเครื่อง Mac, PC หรือ Linux ที่ผู้ใช้ทำงานอยู่จริง ผ่านเซสชันรีโมทเดสก์ท็อปเดียวกับที่คนใช้อยู่แล้วทุกวันนี้ ทุกแอปที่ผู้ใช้ติดตั้งจะอยู่ตรงนั้น ทุกบัญชีที่ผู้ใช้ล็อกอินไว้จะอยู่ตรงนั้น ทุกไฟล์จะอยู่ตรงนั้น เอเจนต์จะไม่ใช่ผู้เช่าของสภาพแวดล้อมสังเคราะห์ แต่เป็นแขกบนเวิร์กสเตชันจริงของผู้ใช้ตราบเท่าที่ผู้ใช้อนุญาตให้เข้า และไม่นานไปกว่านั้นแม้แต่ชั่วขณะเดียว

สิ่งที่ใช้งานได้วันนี้คือสตรีมสด คือหน้าจอของโฮสต์ที่ถูกจับภาพอย่างต่อเนื่อง เข้ารหัสด้วยฮาร์ดแวร์ และส่งผ่านช่องทางเข้ารหัสเดียวกับที่ไคลเอนต์ของคนใช้อยู่แล้ว รันไทม์ของเอเจนต์จะใช้ไปป์ไลน์เดียวกันนี้ซ้ำสำหรับการจับภาพนิ่งของตัวเอง เช่น หนึ่งเฟรมตามต้องการ หรือแค่ขอบเขตที่โมเดลรู้อยู่แล้วว่าต้องมอง แทนที่จะตั้งเส้นทางจับภาพที่สองแยกออกมา การใช้ซ้ำนั้นเป็นทางเลือกในการออกแบบที่เราตกลงแล้ว ไม่ใช่คำกล่าวอ้างว่ามีอยู่แล้วในวันนี้

สำหรับเอเจนต์ที่ใช้เหตุผลกับข้อความได้ดีกว่าพิกเซล การออกแบบร่างโหมดถอดข้อความไว้ คือส่งข้อความบนหน้าจอกลับมาพร้อมกรอบล้อม สร้างด้วย OCR ของแพลตฟอร์มเอง (เฟรมเวิร์ก Vision บน macOS, Windows OCR API บน Windows) แทนที่จะให้โมเดลภาพอยู่ในลูป ยังไม่ได้สร้างสิ่งนี้เลย ที่มันอยู่ในรายการเพราะจะทำให้เอเจนต์เปลี่ยนข้อความที่ตรงกันเป็นการคลิกที่แม่นยำได้โดยไม่ต้องส่งเฟรมไปให้โมเดลเลย ซึ่งเป็นการประหยัดจริง หากเราสร้างมันได้ดี

สำหรับการเข้าถึงแบบมีโครงสร้างที่ละเอียดที่สุด การออกแบบยังร่างการอ่านทรี accessibility ของ OS สำหรับหน้าต่างที่โฟกัสอยู่ด้วย คือทรีเดียวกับที่โปรแกรมอ่านหน้าจอเดินผ่าน เป็นลำดับชั้นที่มีป้ายกำกับของปุ่ม ช่องข้อความ เมนู และบทบาท สิ่งนี้ก็ยังไม่มีเช่นกัน และในทุกเวอร์ชันที่เราร่างไว้ กฎเดียวกันจากไปป์ไลน์อินพุตก็ยังใช้ เซสชันของเอเจนต์จะเห็นเท่าที่สิทธิ์บันทึกหน้าจอของโฮสต์อนุญาตให้เซสชันของคนเห็นอยู่แล้วเท่านั้น ไม่เกินนั้น หากปิดสิทธิ์นั้นสำหรับจอใด เอเจนต์จะไม่ได้อะไรกลับมาจากจอนั้น เหมือนกับที่ไคลเอนต์ของคนเป็นอยู่วันนี้

ทุกเซสชันของ Remio ไม่ว่าของคนหรือเอเจนต์ จะเริ่มด้วยวิธีเดียวกัน คือมนุษย์สแกนคิวอาร์โค้ด หรือพิมพ์ Device ID และ PIN ที่แสดงบนหน้าจอโฮสต์ลงใน Remio ไม่มีการออกแบบใดที่กำลังพิจารณาซึ่งให้เอเจนต์สร้างเซสชันเอง ถือโทเค็นที่ต่ออายุได้อย่างเงียบ ๆ หรือขยายการเข้าถึงเกินช่วงเวลาที่มนุษย์ผู้จับคู่ตัดสินใจจบ การรันเอเจนต์ครั้งถัดไปจะต้องให้มนุษย์จับคู่อีกครั้ง เป็นช่วงที่มีมนุษย์ร่วมควบคุมใหม่ทุกครั้ง ตามการออกแบบ

ขณะที่เซสชันของเอเจนต์ทำงานอยู่ ทั้งโฮสต์และไคลเอนต์จะแสดงตัวบ่งชี้ที่คงอยู่และชัดเจน พร้อมปุ่มหยุดที่จบเซสชันทันที ซึ่งใครก็ตามที่นั่งอยู่หน้าคีย์บอร์ดของโฮสต์เข้าถึงได้ ไม่ใช่แค่คนที่เริ่มเซสชัน ทุกการกระทำของเอเจนต์จะถูกบันทึกลงบันทึกการตรวจสอบที่มนุษย์ตรวจดูได้ ไม่มีสิ่งใดในนี้อยู่ในโค้ดที่ออกวางจำหน่ายวันนี้ แต่เป็นมาตรฐานที่การออกแบบต้องผ่านให้ได้

ขอบเขตสิทธิ์เป็นเรื่องเดียวกับส่วนอินพุตและหน้าจอข้างต้น เซสชันของเอเจนต์จะสืบทอดสิทธิ์ระดับ OS ของโฮสต์ที่เซสชันของคนเคารพอยู่แล้วทุกประการ คือ Screen Recording และ Accessibility ไม่กว้างกว่านั้น จะไม่ได้สิทธิ์ยกระดับของตัวเอง และจะไม่มีทางขยายขอบเขตที่มนุษย์ตั้งไว้สำหรับแอป Remio แล้ว หากความสามารถที่เรากำลังออกแบบไม่สามารถอยู่ภายในขอบเขตนั้นได้ ก็ไม่ออกวางจำหน่าย

รูปทรงที่เรากลับมาลงเอยเสมอนั้นเล็กโดยตั้งใจ คือพื้นฐานสองสามอย่างสำหรับอินพุต (คลิก กดแป้น) สองสามอย่างสำหรับการมองเห็น (เฟรมนิ่ง ขอบเขต) และอย่างหนึ่งสำหรับการอ่าน UI แบบมีโครงสร้าง นั่นคือภาพร่าง ไม่ใช่สเปก ยังไม่มีอะไรออกวางจำหน่าย และอินเทอร์เฟซที่แน่นอนยังเปิดอยู่ สิ่งที่เรามุ่งมั่นตอนนี้คือรูปทรง ไม่ใช่ไวยากรณ์

การไม่ผูกกับโมเดลเป็นข้อกำหนดของการออกแบบ ไม่ใช่ความตั้งใจที่จะทำทีหลัง สิ่งที่ออกวางจำหน่ายจะทำงานเหมือนกันไม่ว่าโมเดลที่วางแผนเวิร์กโฟลว์จะเป็น Claude, GPT, Gemini หรือสิ่งที่คุณรันเอง เราไม่ได้สร้างมันรอบรูปแบบการเรียกเครื่องมือของผู้ให้บริการรายเดียว เพราะเมื่อเราล็อกรันไทม์ไว้กับอินเทอร์เฟซของโมเดลเดียว เราก็ให้คำมั่นผิดแบบ

รันไทม์ของเดสก์ท็อปกับรันไทม์ของเอเจนต์เองเป็นสองสิ่งที่ต่างกัน และเราตั้งใจจะคงไว้เช่นนั้น Remio จะเป็นสิ่งที่นำการกระทำของเอเจนต์ไปสู่เดสก์ท็อปจริง ส่วนโมเดล ลูปการวางแผน และที่ที่มันรัน จะเป็นของผู้สร้างเอเจนต์ทั้งหมด เราไม่ได้วางแผนที่จะโฮสต์ คิดมิเตอร์ หรือควบคุมการเข้าถึงโมเดลเอง

Remio ไม่ได้สร้างมาสำหรับเอเจนต์ที่ต้องการแค่เว็บเบราว์เซอร์ เช่น ดึงข้อมูลจากหน้าเว็บ กรอกฟอร์ม อ่านแดชบอร์ด เซสชันรีโมทเดสก์ท็อปทั้งเซสชันเกินกว่าที่แท็บเบราว์เซอร์ต้องการ และ Remio ไม่ได้พยายามแข่งในหมวดนั้น

Remio ไม่ได้สร้างมาสำหรับเอเจนต์ที่ต้องการสภาพแวดล้อมใช้แล้วทิ้งหลายสิบแบบ หนึ่งต่องาน สถานะใหม่ทุกครั้ง รันขนาน Remio สร้างรอบเซสชันที่มนุษย์จับคู่และคงอยู่ ซึ่งเป็นรูปทรงตรงข้าม คือการทำงานพร้อมกันน้อย ความต่อเนื่องสูง บริบทผู้ใช้จริง

หากเราสร้าง Agent Runtime ตามที่หน้านี้อธิบาย มันจะเป็นคำตอบที่ถูกต้องเมื่อเอเจนต์ต้องการเดสก์ท็อป OS จริงพร้อมแอปเนทีฟ ซอฟต์แวร์ที่ผู้ใช้ติดตั้งจริง บัญชีและไฟล์จริงของผู้ใช้ และขอบเขตเซสชันที่มีมนุษย์ร่วมควบคุม เช่น เอเจนต์ด้าน accessibility ที่ควบคุมเดสก์ท็อปให้ผู้ใช้ที่มีความพิการ การทดสอบคุณภาพด้วย AI ช่วยบนแอป OS จริง เวิร์กโฟลว์เอเจนต์ที่ต้องใช้เครื่องมือเนทีฟเฉพาะที่ผู้ใช้มีอยู่แล้ว และงานใดก็ตามที่กรอบตามธรรมชาติคือ "ใช้เครื่องจริงของฉัน พร้อมทุกอย่างในนั้น ขณะที่ฉันดูแล" สำหรับกรณีเหล่านั้น เมื่อออกวางจำหน่าย Remio จะเป็นรันไทม์