จับคู่ภาพแล้วคลิก
ค้นหาปุ่ม ไอคอน หรือภาพที่กำหนดบนหน้าจอแล้วคลิกให้อัตโนมัติ Flow จะตามเป้าหมายที่จับคู่ได้แม้ตำแหน่งจะเปลี่ยนไป
LaiCai Flow ใน LaiCai Screen Mirroring
Android automation ด้วย AI
เปิดแอป ค้นหาปุ่มหรือข้อความบนหน้าจอ และทำขั้นตอนที่ต้องการซ้ำ LaiCai Flow คือฟีเจอร์อัตโนมัติใน LaiCai Screen Mirroring สร้างเวิร์กโฟลว์ที่บันทึกไว้ใช้ได้แบบเห็นภาพ พร้อม AI ช่วยเมื่องานของคุณต้องการ
ไม่ต้องเขียนโปรแกรมโหนดแบบลากแล้ววางรองรับโมเดล AIAI Planner และ MCPFlow Profile ที่ใช้ซ้ำได้
เริ่มต้นใช้งาน
สร้างงาน Android ที่รันซ้ำได้
เริ่มจากงานเล็ก ๆ เช่น เปิดแอป ค้นหาปุ่มที่มองเห็น แตะปุ่มนั้น แล้วตรวจสอบหน้าจอถัดไป
- 01
ติดตั้ง LaiCai Screen Mirroring บน Windows หรือ macOS เชื่อมต่อมือถือ Android หรืออีมูเลเตอร์ที่รองรับ แล้วตรวจสอบว่าเห็นและควบคุมหน้าจอได้
- 02
เปิด LaiCai Flow แล้วสร้างเวิร์กโฟลว์ ลากแอ็กชันที่ต้องการเข้ามา หรือใช้ AI Planner หรือ MCP ช่วยเตรียมร่างจากคำอธิบายงานของคุณ
- 03
เลือกวิธีค้นหาเป้าหมาย: ภาพปุ่มที่บันทึกไว้ การจดจำข้อความ องค์ประกอบ UI ของ Android หรือโมเดลตรวจจับที่ตั้งค่าไว้ แล้วจับภาพหรือตั้งค่าอินพุตที่งานต้องใช้
- 04
เชื่อมแอ็กชันเข้ากับการตรวจสอบผลลัพธ์ กำหนดว่าจะทำอย่างไรเมื่อไม่พบเป้าหมาย เพื่อไม่ให้งานดำเนินต่อด้วยการแตะที่ไม่เกี่ยวข้อง
- 05
รันงานบนอุปกรณ์หนึ่งเครื่อง ตรวจดูหน้าจอจริง ภาพหน้าจอ ผลลัพธ์ของโหนด และบันทึกการรัน เพื่อยืนยันว่าได้ผลลัพธ์ตามที่คาดไว้
- 06
บันทึก Flow Profile แล้วรันซ้ำจากสถานะเริ่มต้นเดิม ปรับอินพุตและการตรวจสอบหน้าจอก่อนนำเวิร์กโฟลว์ไปใช้ซ้ำกับมือถือหรืออินสแตนซ์อีมูเลเตอร์อื่น
ขั้นตอนการทำงาน
ทำแอ็กชันที่ขึ้นกับหน้าจอแบบอัตโนมัติ
อ่านและวิเคราะห์ข้อความบนหน้าจอ
อ่านข้อความบนหน้า สถานะคำสั่งซื้อ เนื้อหาฟอร์ม หรือผลการค้นหา แล้วใช้ข้อความนั้นตัดสินใจ จัดหมวดหมู่ หรือไปยังขั้นตอนถัดไป
ทำแอ็กชันเดิมซ้ำ
เชื่อมแอ็กชันอย่างการเปิดแอป แตะ พิมพ์ ปัด และรอ เข้าเป็น Flow แล้วบันทึกไว้เพื่อรันขั้นตอนเดิมได้ทุกเมื่อที่ต้องการ
ทดสอบแอป Android แบบอัตโนมัติ
รันขั้นตอน UI อัตโนมัติ ตรวจสอบปุ่ม ข้อความ และผลลัพธ์ แล้วเก็บภาพหน้าจอและบันทึกการรันไว้สำหรับการทดสอบแอปและ regression testing
เปรียบเทียบระบบอัตโนมัติ
เลือกเครื่องมือ Android automation ให้เหมาะกับงาน
| งานของคุณ | LaiCai Flow | AI agent | มาโครและสคริปต์ | เฟรมเวิร์กทดสอบ |
|---|---|---|---|---|
| สร้างงาน | เชื่อมโหนดแบบภาพ โดยมี AI Planner หรือ MCP ช่วยตั้งค่าได้ | อธิบายงาน แล้วเครื่องมือที่ agent รองรับจะเป็นตัวกำหนดว่าทำอะไรได้ | บันทึกอินพุต หรือเขียนแอ็กชันและเงื่อนไขเอง | เขียนและดูแลเทสต์โดยใช้การควบคุมอุปกรณ์ของเฟรมเวิร์ก |
| ตรวจสอบหน้าจอ | ใช้การจับคู่ภาพ, OCR, องค์ประกอบ UI หรือโมเดล AI ที่ตั้งค่าไว้ | การเข้าถึงหน้าจอและเครื่องมือขึ้นอยู่กับแต่ละ agent | การเล่นซ้ำแบบตายตัวทำได้แค่ส่งอินพุตเดิม สคริปต์เพิ่มการตรวจสอบได้หากเขียนไว้ | การ assert องค์ประกอบและการตรวจสอบภาพขึ้นอยู่กับเฟรมเวิร์กและการตั้งค่า |
| ทำซ้ำและตรวจสอบ | บันทึก Flow Profile ใช้อินพุตซ้ำ และตรวจดูบันทึกการรันและภาพหน้าจอ | การตั้งเวลา ความสม่ำเสมอ และบันทึกต่างกันไปตามผลิตภัณฑ์ | ใช้ไฟล์บันทึกหรือโค้ดซ้ำ และต้องอัปเดตเมื่อแอปเปลี่ยน | ใช้ชุดเทสต์ซ้ำและตรวจดูรายงานผลการทดสอบ |
| เหมาะเป็นจุดเริ่มต้นเมื่อ | มีงาน Android ที่ทำซ้ำได้และอยากสร้างแบบเห็นภาพ | มีงานที่ได้ประโยชน์จากการตัดสินใจโดยโมเดล | มีลำดับขั้นตอนที่คงที่ หรือเวิร์กโฟลว์ที่อยากดูแลด้วยโค้ด | ทีมวิศวกรที่กำลังสร้างชุดเทสต์อัตโนมัติ |
คำถามที่พบบ่อย
คำถามที่พบบ่อยเกี่ยวกับเครื่องมือ Android automation
LaiCai Flow คืออะไร
LaiCai Flow คือฟีเจอร์ระบบอัตโนมัติ Android ใน LaiCai Screen Mirroring สร้างเวิร์กโฟลว์ที่บันทึกไว้ได้ด้วยการเชื่อมโหนดแบบภาพสำหรับการกระทำ การตรวจหน้าจอ เงื่อนไข และข้อมูลงาน รองรับการตั้งค่าโดยมี AI ช่วย และเลือกใช้โมเดล AI ภายในเวิร์กโฟลว์ที่กำลังรันได้
คู่มือ LaiCai Flowต้องเขียนโปรแกรมเป็นหรือใช้โมเดล AI ในทุกงานไหม
ไม่ต้อง สร้าง Flow ได้ด้วยการลากและเชื่อมโหนดโดยไม่ต้องเขียนโค้ด AI Planner และ MCP ช่วยตั้งค่าร่างแรกได้ ส่วนโหนด AI ระหว่างรันเป็นตัวเลือกแยกต่างหาก การกระทำพื้นฐานและการจับคู่เทมเพลตไม่ต้องใช้ LLM ส่วนขั้นตอน OCR การตรวจจับวัตถุ หรือ LLM ต้องตั้งค่าเอนจินหรือโมเดลที่เกี่ยวข้อง
Flow หาปุ่ม อ่านข้อความ หรือจดจำวัตถุได้ไหม
ได้ ใช้ภาพที่บันทึกไว้สำหรับการจับคู่เทมเพลต ใช้ OCR อ่านพื้นที่บนหน้าจอ หรือใช้องค์ประกอบ UI ของ Android เมื่อแอปเปิดให้เข้าถึง สำหรับการตรวจจับวัตถุ ให้ตั้งค่าโมเดล YOLO/ONNX ในเครื่องที่รองรับ ตรวจผลลัพธ์บนแอปจริงก่อนเชื่อมต่อกับการแตะ
ดูโหนดการจดจำโมเดล AI วิเคราะห์ภาพหน้าจอและข้อความได้ไหม
ได้ การวิเคราะห์ข้อความใช้ข้อมูลจาก OCR, API, ไฟล์ หรือผลลัพธ์ของขั้นตอนก่อนหน้าได้ โมเดลที่รองรับภาพสามารถวิเคราะห์ภาพหน้าจอที่จับไว้และส่งข้อมูลแบบมีโครงสร้างกลับมาให้ขั้นตอนถัดไปใช้ตัดสินใจ ตั้งค่าโมเดลและตรวจผลลัพธ์ก่อนนำไปใช้จริง
ทำงานอะไรบนมือถือ Android แบบอัตโนมัติได้บ้าง
Flow สามารถแตะ ปัด กดค้าง ลาก พิมพ์ข้อความ ส่งปุ่ม ใช้คลิปบอร์ด เปิดหรือปิดแอป และกลับหน้าโฮมหรือย้อนกลับ ใช้ร่วมกับการรอ เงื่อนไข ลูป และ Flow ย่อยที่นำกลับมาใช้ซ้ำได้ คำขอ HTTP คำสั่ง ADB สคริปต์ AutoJS มาโครที่บันทึกไว้ ไฟล์ และข้อมูลที่จัดเก็บไว้ก็เป็นส่วนหนึ่งของเวิร์กโฟลว์ได้
รันระบบอัตโนมัติเดียวกันบนมือถือหรืออีมูเลเตอร์หลายเครื่องได้ไหม
นำ Flow Profile ที่บันทึกไว้ไปใช้ซ้ำบนอุปกรณ์ Android ที่รองรับได้ ให้ตรวจสอบงานบนอุปกรณ์เครื่องแรกก่อน แล้วตรวจสถานะแอป เลย์เอาต์หน้าจอ แอสเซ็ต และอินพุตบนแต่ละเครื่องที่เพิ่มเข้ามา Flow ที่ใช้ได้บนหน้าจอหนึ่งไม่ได้แปลว่าผ่านการตรวจสอบบนมือถือทุกเครื่องโดยอัตโนมัติ
ควบคุมมือถือ Android หลายเครื่องคอมพิวเตอร์ต้องเชื่อมต่ออยู่ตลอดไหม
สำหรับ LaiCai Flow ต้องเชื่อมต่อ เพราะตรรกะและการวิเคราะห์ภาพทำงานบนคอมพิวเตอร์ แล้วส่งการกระทำไปยังมือถือที่เชื่อมต่ออยู่ สำหรับเวิร์กโฟลว์ที่รองรับและต้องรันบนมือถือได้เอง ให้ใช้ LaiCai Flow Inside กับ LaiCai Android Agent ขั้นตอนที่ต้องใช้เครือข่ายยังต้องเชื่อมต่อเครือข่าย
คู่มือ LaiCai Flow InsideFlow อ่านผลลัพธ์หรือแจ้งเตือนด้วยเสียงได้ไหม
ได้ การกระทำแบบพูดใช้เอนจินเสียงพูดในเครื่องคอมพิวเตอร์ที่รัน LaiCai สามารถอ่านการแจ้งเตือนหรือผลลัพธ์ออกเสียงที่คอมพิวเตอร์ได้ แต่ไม่ได้ทำให้มือถือ Android พูด