เอเจนต์ GUI บนมือถือเทียบกับโฟลว์ Android แบบกำหนด

เอเจนต์ GUI บนมือถือสามารถแสดงสดบนหน้าจอที่ไม่คุ้นเคยได้ Android Flow ที่กำหนดตามเส้นทางที่ได้รับการตรวจสอบ ใช้คู่มือการตัดสินใจนี้เพื่อเลือกแนวทางที่เหมาะสมสำหรับแต่ละงาน

คำตอบสั้นๆ: เลือกความไม่แน่นอนหรือความสามารถในการทำซ้ำ

เลือกเอเจนต์ GUI บนมือถือเมื่อเป้าหมายชัดเจนแต่เส้นทางไม่ชัดเจน เจ้าหน้าที่สามารถตรวจสอบหน้าจอปัจจุบัน ตัดสินใจดำเนินการต่อไป และปรับเปลี่ยนเมื่อแอปนำเสนอตัวเลือกที่ไม่คุ้นเคย เลือก Android Flow ที่กำหนดไว้เมื่อเข้าใจงานแล้ว และคุณต้องการลำดับที่ได้รับการตรวจสอบเดียวกันเพื่อทำงานอีกครั้งโดยมีเงื่อนไขที่มองเห็นได้ การเปลี่ยนภาพ และกฎการหยุด

ไม่มีวิธีการใดมาแทนที่วิธีอื่น ตัวแทนมีประโยชน์สำหรับการสำรวจและการวางแผน Flow มีประโยชน์สำหรับการดำเนินการผลิต คำถามเชิงปฏิบัติไม่ใช่ว่าเทคโนโลยีใดฟังดูฉลาดกว่า มันเป็นจำนวนอิสระที่รันไทม์ควรมีหลังจากงานเริ่มต้นขึ้น

• ใช้ตัวแทนสำหรับงานปลายเปิดและมีความเสี่ยงต่ำที่อาจต้องมีการตีความหรือเปลี่ยนเส้นทาง
• ใช้โฟลว์ที่กำหนดสำหรับ QA ซ้ำ การตรวจสอบ การเก็บหลักฐาน หรือการดำเนินธุรกิจที่ได้รับอนุมัติ
• ใช้เวิร์กโฟลว์แบบไฮบริดเมื่อ AI สามารถช่วยร่างขั้นตอนได้ แต่บุคคลควรตรวจสอบการดำเนินการที่แน่นอนก่อนที่จะดำเนินการซ้ำ

ภาพรวมเอเจนต์ GUI บนมือถือเทียบกับโฟลว์ที่กำหนด

ตารางจะอธิบายรูปแบบการดำเนินการ ไม่ใช่ป้ายกำกับถาวรสำหรับทุกผลิตภัณฑ์ ระบบเอเจนต์บางระบบเพิ่มนโยบาย ตัวตรวจสอบ หรือรูทีนย่อยแบบสคริปต์ เครื่องมือ Flow บางอย่างใช้ AI ในระหว่างการเขียน ขอบเขตที่เป็นประโยชน์คือจุดที่ตัดสินใจดำเนินการต่อไป: แบบไดนามิกระหว่างการรัน หรืออย่างชัดเจนก่อนการรัน

อะไรทำให้เอเจนต์ GUI มือถือแตกต่าง

เอเจนต์ GUI มือถือจะสังเกต เหตุผล ดำเนินการ และตรวจสอบความคืบหน้าซ้ำๆ แทนที่จะได้รับลำดับที่สมบูรณ์ กลับได้รับเป้าหมาย เช่น "ค้นหาคำสั่งซื้อล่าสุดและเปิดหน้าการติดตาม" อาจอ่านข้อความที่มองเห็นหรือแผนผัง UI เลือกตัวควบคุม พิมพ์ เลื่อน จากนั้นประเมินหน้าจอใหม่อีกครั้ง

ความยืดหยุ่นนั้นสำคัญเมื่อไม่สามารถคาดเดาเส้นทางได้เต็มที่ ขณะนี้ Google บันทึกการพัฒนาเอเจนต์ Android ด้วย Agent Development Kit ในขณะที่ Gemini สามารถทำงานหลายขั้นตอนที่เลือกในแอป Android ที่รองรับ โปรเจ็กต์โอเพ่นซอร์ส เช่น การใช้มือถือยังสาธิตการควบคุมแอป Android และ iOS จริงด้วยภาษาธรรมชาติ ระบบเหล่านี้ไม่เหมือนกัน แต่มีระบบการตัดสินใจแบบรันไทม์ร่วมกัน

เสรีภาพแบบเดียวกันนี้สร้างปัญหาในการตรวจสอบ หน้าจออาจมีการควบคุมแบบกำหนดเองที่ไม่มีป้ายกำกับ เนื้อหาที่เปลี่ยนไป ป๊อปอัปที่ไม่คาดคิด ข้อความแจ้งสิทธิ์ หรือคำแนะนำที่ไม่ควรเชื่อถือ Google เตือนว่างานตัวแทนอาจพบคำแนะนำที่เป็นอันตรายที่ซ่อนอยู่ในเนื้อหา การวิจัยเกี่ยวกับเอเจนต์ GUI มือถือเพิ่มการตรวจสอบการดำเนินการและตัวตรวจสอบความคืบหน้ามากขึ้น เนื่องจากการวางแผนเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการดำเนินการนั้นได้รับอนุญาตหรืองานสำเร็จจริง

อะไรทำให้ Android Flow ที่กำหนดแตกต่างออกไป

โฟลว์ที่กำหนดเริ่มต้นจากขั้นตอนที่ทราบ แต่ละขั้นตอนมีความรับผิดชอบที่กำหนดไว้ และกราฟจะบันทึกสิ่งที่เกิดขึ้นหลังจากสำเร็จหรือล้มเหลว การสังเกตด้วยสายตาสามารถอนุญาตให้แตะได้ การรอสามารถทำให้จังหวะเวลาชัดเจน การสังเกตครั้งที่สองสามารถพิสูจน์ได้ว่าสถานะถัดไปมาถึงแล้ว หากสถานะที่คาดหวังหายไป Flow จะหยุดหรือตามเส้นทางการกู้คืนที่ออกแบบไว้ล่วงหน้า

การกำหนดไม่ได้หมายถึงพิกัดคงที่หรือมาโครตาบอด โฟลว์ยังคงสามารถใช้โครงสร้าง UI, OCR, การจับคู่รูปภาพ, การตรวจจับวัตถุ, เงื่อนไข, ลูป, โฟลว์ย่อย และการวิเคราะห์โดยใช้โมเดลช่วย ความแตกต่างก็คือความสามารถเหล่านี้ทำงานภายในขอบเขตที่ชัดเจน รันไทม์ไม่ได้สร้างการกระทำที่ไม่เกี่ยวข้องเพียงเพราะไม่มีปุ่มที่คาดหวัง

ในLaiCai Flowโปรไฟล์ประกอบด้วยโฟลว์ โหนด พารามิเตอร์ เอาต์พุต และการเปลี่ยนภาพ AI Planner หรือผู้ช่วยที่ใช้ MCP สามารถช่วยสร้างฉบับร่างได้ แต่โปรไฟล์ที่บันทึกไว้ยังคงสามารถตรวจสอบได้ ด้วยLaiCai Flow Insideคุณสามารถปรับใช้โปรไฟล์ที่เข้ากันได้กับโทรศัพท์ Android เพื่อดำเนินการต่อไปหลังจากที่คอมพิวเตอร์ตัดการเชื่อมต่อ Flow และ Flow Inside เป็นฟีเจอร์ภายใน LaiCai Screen Mirroring ไม่ใช่แอปแยกหรือเอเจนต์มือถือที่เป็นอิสระ

โดยที่เอเจนต์ GUI มือถือเป็นตัวเลือกที่ดีกว่า

สำรวจแอปที่ไม่คุ้นเคยหรือเปลี่ยนเส้นทาง

หากงานปลอดภัยและอินเทอร์เฟซเปลี่ยนแปลงบ่อยครั้ง เจ้าหน้าที่สามารถตรวจสอบสิ่งที่มีอยู่ได้แทนที่จะล้มเหลวในหน้าจอแรกที่ไม่คุ้นเคย สิ่งนี้มีประโยชน์ในระหว่างการค้นพบ สนับสนุนการตรวจสอบ หรือการออกแบบการทดสอบเบื้องต้น เมื่อทีมยังไม่ทราบเส้นทางที่มั่นคง

การจัดการกับเป้าหมายที่เป็นภาษาธรรมชาติด้วยคำตอบที่เป็นไปได้หลายข้อ

คำขอเช่น "ค้นหาร้านกาแฟใกล้เคียงพร้อมที่นั่งกลางแจ้งและบันทึกสองตัวเลือก" ต้องมีการตีความ การเปรียบเทียบ และอาจมีแอปหลายรายการ การเข้ารหัสทุกสาขาที่เป็นไปได้ล่วงหน้าจะทำให้วัตถุประสงค์ล้มเหลว เอเจนต์จะเหมาะกว่าเมื่อเอาต์พุตเป็นตัวเลือกที่มีเหตุผล แทนที่จะเป็นสถานะหน้าจอเดียว

การสร้างขั้นตอนการทำงานของผู้สมัคร

เจ้าหน้าที่สามารถสำรวจงานได้เพียงครั้งเดียว บันทึกหน้าจอและการดำเนินการ จากนั้นเสนอขั้นตอนที่นำมาใช้ซ้ำได้ ผลลัพธ์ควรยังคงได้รับการตรวจสอบ การค้นพบเป็นหลักฐานสำหรับการออกแบบ Flow ไม่ใช่การอนุญาตอัตโนมัติให้ทำซ้ำทุกการกระทำโดยไม่มีใครดูแล

โดยที่ Android Flow ที่กำหนดไว้คือตัวเลือกที่ดีกว่า

การตรวจสอบ QA และการถดถอยที่ทำซ้ำได้

การทดสอบควันไม่ควรตีความกรณีการทดสอบใหม่อย่างสร้างสรรค์ ควรเปิดหน้าจอที่คาดหวัง ตรวจสอบสถานะที่ต้องการ ดำเนินการตามที่อนุญาต จับหลักฐาน และหยุดเสียงดังเมื่อผลลัพธ์แตกต่างออกไป โฟลว์ที่กำหนดจะทำให้ผู้ตรวจสอบ QA มองเห็นเส้นทางและจุดล้มเหลวที่ยอมรับได้

การตรวจสอบในระยะยาวบนโทรศัพท์

กิจวัตรการตรวจสอบมักต้องมีวงจรเล็กๆ ที่เสถียร เช่น จับภาพเฟรม ตรวจสอบสภาพ บันทึกหลักฐาน รอ และทำซ้ำ หากทุกโหนดและเนื้อหาทำงานภายในเครื่อง รูทีนจะคงอยู่ในอุปกรณ์ โปรไฟล์ที่ใช้ HTTP, โมเดลระยะไกล, เว็บฮุค หรือการส่งข้อความบนคลาวด์จำเป็นต้องมีการเข้าถึงเครือข่ายสำหรับขั้นตอนเฉพาะเหล่านั้น

การดำเนินงานที่ได้รับอนุมัติพร้อมข้อกำหนดการตรวจสอบ

การตรวจสอบแอปภายใน การรวบรวมหลักฐาน และกิจวัตรการป้อนข้อมูลที่ได้รับการควบคุมจะได้รับประโยชน์จากขอบเขตอินพุตที่ได้รับการตรวจสอบและการตรวจสอบสถานะขั้นสุดท้าย ทีมสามารถตรวจสอบได้อย่างชัดเจนว่าการดำเนินการใดที่เป็นไปได้ในแต่ละรัฐ การชำระเงิน การเปลี่ยนแปลงบัญชี การลบแบบทำลายล้าง หรือข้อมูลที่ละเอียดอ่อนยังคงต้องมีเงื่อนไขที่แคบและการตรวจสอบโดยเจ้าหน้าที่

งานที่ต้องล้มเหลวอย่างคาดเดาได้

ปุ่มที่หายไปไม่ควรทำให้ระบบอัตโนมัติค้นหาสิ่งที่คล้ายกับการกดทั้งหน้าจอ โฟลว์ที่กำหนดสามารถปล่อยให้ความล้มเหลวไม่ได้รับการจัดการและหยุดลง หรือเชื่อมต่อกับพาธการกู้คืนเฉพาะโดยมีการหมดเวลาหรือขีดจำกัดความพยายาม

รูปแบบที่แข็งแกร่งที่สุดมักจะได้รับความช่วยเหลือจากเอเจนต์ และดำเนินการโฟลว์

1. อธิบายเป้าหมายผู้ใช้ อุปกรณ์ แอป การดำเนินการที่อนุญาต ขอบเขตที่ละเอียดอ่อน และหลักฐานที่จำเป็น
2. ให้ AI Planner หรือผู้ช่วยร่างโฟลว์จากความสามารถโหนดปัจจุบันและรันไทม์
3. ตรวจสอบทุกการกระทำ พารามิเตอร์ การเปลี่ยนแปลง สินทรัพย์ อินพุต การพึ่งพาเครือข่าย และเงื่อนไขการหยุด
4. ทดสอบเส้นทางแห่งความสุขและกรณีเชิงลบบนอุปกรณ์หรือโปรแกรมจำลองที่ได้รับอนุญาต
5. ปรับใช้เฉพาะโปรไฟล์ที่เข้ากันได้ จากนั้นตรวจสอบผลลัพธ์และแก้ไขกราฟเมื่อแอปเปลี่ยนแปลง

การแยกส่วนนี้จะรักษาส่วนที่เป็นประโยชน์ของ AI ไว้ นั่นคือการเปลี่ยนเป้าหมายให้เป็นโครงสร้างผู้สมัครและลดความพยายามในการตั้งค่า นอกจากนี้ยังรักษาการควบคุมการปฏิบัติงาน: โทรศัพท์จะดำเนินการตามกราฟที่ได้รับการตรวจสอบ แทนที่จะขอให้แบบจำลองสร้างแผนขึ้นมาใหม่ในทุกขั้นตอน

ในระหว่างการเตรียมการ หน้าจอAndroid ที่สะท้อนไปยังพีซีหรือ Macจะทำให้สถานะอุปกรณ์จริงมองเห็นได้สำหรับการตรวจสอบและการแก้ไขข้อบกพร่อง คู่มือเครื่องมืออัตโนมัติของ AndroidAIอธิบายการสร้าง Flow โดยใช้เดสก์ท็อปช่วย ในขณะที่บทช่วยสอนLaiCai Flow Insideครอบคลุมการปรับใช้โปรไฟล์ที่เข้ากันได้บนโทรศัพท์

รายการตรวจสอบการตัดสินใจห้าคำถาม

1. ผลลัพธ์ที่ต้องการชัดเจนแต่ไม่ทราบเส้นทางจริงๆ หรือไม่ โปรดปรานตัวแทนสำหรับการสำรวจภายใต้การดูแล
2. ตรรกะที่ยอมรับเดียวกันต้องรันหลายครั้งหรือไม่ โปรดปรานกระแสที่กำหนด
3. การกระทำที่ไม่คาดคิดสามารถก่อให้เกิดความเสียหายทางการเงิน ความเป็นส่วนตัว บัญชี หรือความเสียหายได้หรือไม่? ลดความเป็นอิสระของรันไทม์และต้องมีการตรวจสอบ
4. คุณจำเป็นต้องอธิบายให้แน่ชัดหรือไม่ว่าเหตุใดงานจึงหยุดลง ชอบการสังเกต การเปลี่ยนผ่าน บันทึก และหลักฐานที่ชัดเจน
5. โทรศัพท์จำเป็นต้องดำเนินการต่อหลังจากตัดการเชื่อมต่อจากคอมพิวเตอร์หรือไม่ ใช้รันไทม์บนอุปกรณ์ที่เข้ากันได้กับ Android และตรวจสอบการพึ่งพาทุกโหนดและเครือข่าย

หากคำตอบคละก็ให้แบ่งงาน ให้ตัวแทนจัดการค้นคว้าหรือเสนอเส้นทาง และปล่อยให้โฟลว์ที่กำหนดดำเนินการเฉพาะส่วนที่ทำซ้ำและได้รับอนุญาตเท่านั้น อย่าทำให้รันไทม์หนึ่งรายการต้องรับผิดชอบต่อทั้งการตีความแบบปลายเปิดและการดำเนินการที่ไม่สามารถย้อนกลับได้ เว้นแต่ว่าการควบคุมความเสี่ยงจะพิสูจน์ได้

คำถามที่พบบ่อยเกี่ยวกับเอเจนต์ GUI มือถือและ Android Flow

LaiCai Flow Inside เป็นตัวแทน AI บนมือถือหรือไม่

ไม่ LaiCai Flow Inside เป็นคุณสมบัติ LaiCai Screen Mirroring สำหรับการปรับใช้โปรไฟล์ LaiCai Flow ที่เข้ากันได้กับโทรศัพท์ LaiCai Android Agent ดำเนินการโหนดที่กำหนดและการเปลี่ยนภายในเครื่อง มันไม่ได้เปลี่ยนทุกงานให้กลายเป็นตัวแทนการสนทนาอัตโนมัติ

AI ยังคงสามารถใช้กับ Flow ที่กำหนดได้หรือไม่?

ใช่ AI สามารถช่วยในการวางแผนหรือใช้ภายในโหนดการวิเคราะห์ที่รองรับโดยเฉพาะ โฟลว์ที่อยู่รอบๆ ยังคงกำหนดเวลาที่ความสามารถนั้นทำงาน เอาท์พุตใดจะถูกใช้ อะไรจะเกิดขึ้นต่อไป และเมื่อระบบอัตโนมัติหยุดทำงาน

วิธีใดดีกว่าสำหรับการทดสอบอุปกรณ์เคลื่อนที่

ใช้ตัวแทน GUI เพื่อค้นหาเส้นทาง สำรวจสถานะที่ไม่คาดคิด หรือสร้างการทดสอบผู้สมัคร ใช้โฟลว์ที่กำหนดสำหรับการทดสอบควันที่ทำซ้ำได้และการตรวจสอบแบบติดตาม คู่มือการทดสอบmobile UI ที่เกี่ยวข้องอธิบายว่าทำไมสถานะอุปกรณ์ที่มองเห็น ภาพหน้าจอ และหลักฐานที่มนุษย์ตรวจสอบได้จึงยังคงมีความสำคัญ

Flow ที่กำหนดขึ้นสามารถปรับให้เข้ากับการเปลี่ยนแปลง UI ได้หรือไม่

สามารถจัดการกับรูปแบบต่างๆ ที่ได้รับการออกแบบอย่างจงใจ เช่น เทมเพลตสำรอง ข้อความ OCR ตัวเลือก UI เงื่อนไข หรือเส้นทางการกู้คืน การเปลี่ยนแปลงนอกขอบเขตเหล่านั้นควรทำให้เกิดความล้มเหลวที่มองเห็นได้และการปรับปรุงที่ได้รับการตรวจสอบแล้ว ไม่ใช่การกระทำที่ประดิษฐ์ขึ้น

เลือกปริมาณความเป็นอิสระของรันไทม์ ไม่ใช่ป้ายกำกับที่ทันสมัยที่สุด

เอเจนต์ GUI บนมือถือมีคุณค่าเนื่องจากสามารถให้เหตุผลเกี่ยวกับหน้าจอที่ไม่คุ้นเคย และเลือกเส้นทางในขณะรันไทม์ได้ Android Flows แบบกำหนดเป็นสิ่งที่มีค่าเนื่องจากทีมสามารถตรวจสอบเส้นทางที่อนุญาตก่อนที่จะรัน และสร้างตรรกะการตัดสินใจเดียวกันในภายหลัง ทางเลือกขึ้นอยู่กับความไม่แน่นอน การทำซ้ำ ความเสี่ยง และหลักฐานที่ต้องการ

สำหรับงานด้านการผลิต ค่าเริ่มต้นที่ปลอดภัยที่สุดคือให้แคบลง: ให้อิสระแก่ AI โดยที่การตีความจะสร้างมูลค่า จากนั้นแปลงการกระทำซ้ำๆ ให้เป็นโฟลว์ที่ได้รับการตรวจสอบด้วยการตรวจสอบสถานะและกฎการหยุดที่ชัดเจน LaiCai Screen Mirroring รองรับการแยกนี้ผ่าน LaiCai Flow สำหรับการสร้างเวิร์กโฟลว์ด้วยภาพ และ LaiCai Flow Inside สำหรับการดำเนินการทางฝั่งโทรศัพท์ที่รองรับ

• นักพัฒนา Android: สร้างตัวแทน ADK สำหรับ Android
• บล็อกนักพัฒนา Android: AppFunctions และเอเจนต์ AI
• วิธีใช้ราศีเมถุน: งานหลายขั้นตอนในแอพ Android
• เอเจนต์ GUI มือถือโอเพ่นซอร์สที่ใช้มือถือ
• การวิจัยเอเจนต์ GUI มือถือที่ขับเคลื่อนด้วย V-Droid ตรวจสอบ
• การตรวจสอบการดำเนินการตามลอจิกสำหรับตัวแทน GUI มือถือ
• การอภิปรายในชุมชน: ความน่าเชื่อถือของ GUI บนมือถือและข้อจำกัดของ Android UI