การรู้จำรูปภาพของ Android คลิกอัตโนมัติ: ตรวจสอบสถานะก่อนที่คุณจะแตะ

สร้างโฟลว์การคลิกอัตโนมัติของการจดจำรูปภาพ Android ที่ปลอดภัยยิ่งขึ้น: จับคู่สถานะปัจจุบัน แตะเป้าหมายที่ตรวจพบ รอ และตรวจสอบหน้าจอถัดไป

ตัวคลิกอัตโนมัติในการจดจำรูปภาพควรพิสูจน์สถานะหน้าจอก่อน

ตัวคลิกอัตโนมัติที่มีพิกัดคงที่จะถือว่าการควบคุมเดียวกันจะยังคงอยู่ภายใต้จุดเดียวกันทุกครั้ง สมมติฐานดังกล่าวจะพังเมื่อกล่องโต้ตอบปรากฏขึ้น ภาพเคลื่อนไหวยังคงทำงานอยู่ ขนาดการแสดงผลเปลี่ยนแปลง รายการย้าย หรือแอปเปิดในหน้าอื่น การคลิกอาจยังคงส่งได้สำเร็จ แต่เกิดการควบคุมที่ไม่ถูกต้อง

การจดจำรูปภาพช่วยปรับปรุงสิ่งนี้โดยการสังเกตหน้าจอที่มองเห็นได้ก่อนดำเนินการ แต่การตรวจจับเพียงอย่างเดียวนั้นไม่เพียงพอ ขั้นตอนการคลิกอัตโนมัติของ Android ที่เชื่อถือได้จะต้องแยกคำถามสี่ข้อ: มองเห็นเป้าหมายที่คาดหวังหรือไม่ นัดนี้แข็งแกร่งพอและอยู่ในเขตที่คาดหวังหรือไม่? แตะถึงเป้าหมายที่ตรวจพบหรือไม่ หน้าจอเข้าสู่สถานะที่คาดหวังถัดไปหรือไม่?

คู่มือนี้ใช้รูปแบบที่ตรวจสอบสถานะสำหรับระบบอัตโนมัติ Android ของอุปกรณ์on ที่มี LaiCai Flow Insideโปรไฟล์ที่เข้ากันได้และเนื้อหาภาพได้รับการจัดเตรียมและใช้งานจากคอมพิวเตอร์ จากนั้น LaiCai Android Agent จึงสามารถดำเนินการ Flow ที่ได้รับการอนุมัติในเครื่องบนโทรศัพท์ได้ เป้าหมายไม่ใช่การแตะบลายด์ที่รวดเร็วกว่า เป็นลำดับที่หยุดเมื่อหน้าจอไม่ตรงกับสมมติฐานอีกต่อไป

รูปแบบการแตะตรวจสอบสถานะห้าขั้นตอน

1. กำหนดสถานะเริ่มต้นและจับภาพเป้าหมายที่มองเห็นได้มั่นคง เช่น ปุ่มหรือไอคอนที่โดดเด่น
2. เรียกใช้การจับคู่รูปภาพหนึ่งภาพกับเฟรมปัจจุบันด้วยเกณฑ์ความเชื่อมั่นโดยเจตนาและขอบเขตการค้นหา
3. เฉพาะในกรณีที่แมตช์สำเร็จเท่านั้น ให้ส่งสี่เหลี่ยมหรือศูนย์กลางที่ตรวจพบไปยังการแตะ
4. รอการเปลี่ยนแปลงอินเทอร์เฟซแทนการตรวจสอบเฟรมเดียวกันทันที
5. สังเกตสถานะต่อไปที่คาดหวัง ประสบความสำเร็จต่อไป ไม่เช่นนั้นให้หยุด ลองใหม่อีกครั้งภายในขีดจำกัดที่ชัดเจน หรือขอให้มีการตรวจสอบ

ให้คิดว่าการแตะแต่ละครั้งเป็นการเปลี่ยนสถานะ ไม่ใช่เป็นท่าทางที่โดดเดี่ยว การสังเกตครั้งแรกคือเงื่อนไขเบื้องต้น การแตะคือการดำเนินการ การสังเกตประการที่สองคือสภาวะภายหลัง หากมีส่วนใดหายไป ระบบอัตโนมัติจะไม่สามารถแยกแยะความสำเร็จจากท่าทางที่ลงผิดหน้าจอหรือไม่มีผลใดๆ ได้

รูปแบบนี้ยังง่ายต่อการแก้ไขจุดบกพร่องอีกด้วย ความล้มเหลวก่อนที่การแตะจะชี้ไปที่เทมเพลต เกณฑ์ ขอบเขตการค้นหา หรือหน้าจอเริ่มต้น ความล้มเหลวหลังจากการแตะชี้ไปที่จังหวะเวลา การอนุญาต ท่าทางที่ถูกบล็อก กล่องโต้ตอบที่ไม่คาดคิด หรือสถานะถัดไปอื่น มาโครขนาดยาวตัวเดียวที่รายงานว่า "ล้มเหลว" เท่านั้นจะซ่อนความแตกต่างนั้นไว้

เลือกสัญญาณหน้าจอที่เหมาะสม

ใช้สัญญาณที่ง่ายที่สุดที่อธิบายสถานะได้อย่างถูกต้อง เทมเพลตรูปภาพที่บันทึกไว้เหมาะอย่างยิ่งสำหรับไอคอนที่โดดเด่นซึ่งมีลักษณะเหมือนกันทุกครั้ง OCR มักจะดีกว่าเมื่อคำนั้นคงที่ แต่รูปแบบของคำอาจเปลี่ยนแปลง ตัวเลือก UI อาจแข็งแกร่งกว่าพิกเซลเมื่อแอปเปิดเผยโครงสร้างที่เข้าถึงได้ การตรวจหาวัตถุมีประโยชน์สำหรับคลาสที่รู้จัก ไม่ใช่เป็นการทดแทนเทมเพลตปุ่มที่หายไป

คู่มือระบบอัตโนมัติ Android OCR และการจดจำภาพที่เกี่ยวข้องจะเปรียบเทียบวิธีการสังเกตเหล่านี้ในเชิงลึกมากขึ้น บทความนี้มุ่งเน้นขอบเขตการตัดสินใจบนอุปกรณ์: การสังเกตต้องสำเร็จก่อนที่ท่าทางจะใช้ผลลัพธ์ได้

สร้างรูปแบบใน LaiCai Flow Inside

1. เตรียมเทมเพลตที่เสถียรและสถานะเริ่มต้น

เลือกเป้าหมายที่มีขอบชัดเจนและมีรายละเอียดเฉพาะตัวเพียงพอที่จะแยกความแตกต่างจากส่วนควบคุมที่อยู่ใกล้เคียง หลีกเลี่ยงการจับภาพพื้นที่ขนาดใหญ่ซึ่งรวมถึงการเปลี่ยนแปลงตัวนับ การประทับเวลา ชื่อผู้ใช้ หรือภาพเคลื่อนไหว โปรไฟล์แรกและเนื้อหารูปภาพอ้างอิงได้รับการจัดเตรียมบนคอมพิวเตอร์ ในระหว่างการปรับใช้ เทมเพลตที่เข้ากันได้จะถูกรวมไว้สำหรับ LaiCai Android Agent

2. จับคู่เฟรมปัจจุบันหนึ่งครั้ง

โหนด `vision.match` จะสังเกตเฟรมปัจจุบันหนึ่งครั้ง ต้องใช้รหัสเทมเพลตที่บันทึกไว้หนึ่งรายการขึ้นไป คะแนนขั้นต่ำที่กำหนด โหมดการจับคู่ และขอบเขตอัตราส่วนหน้าจอที่สนใจ การแข่งขันที่ประสบความสำเร็จจะให้คะแนนที่ดีที่สุดและจุดกึ่งกลางและสี่เหลี่ยมที่ตรวจพบ ไม่มีการแข่งขันที่เป็นไปตามผลลัพธ์ของความล้มเหลว โหนดไม่ใช่ลูปการรอที่ซ่อนอยู่

3. แตะผลลัพธ์ที่ตรวจพบ ไม่ใช่พิกัดเก่า

เชื่อมต่อการจับคู่ที่สำเร็จกับ `pointer.tap` และใช้สี่เหลี่ยมที่ตรวจพบเป็น `positionFrom` ซึ่งโดยปกติจะมีจุดยึดตรงกลาง ซึ่งจะทำให้การกระทำนั้นเชื่อมโยงกับการสังเกตที่อนุญาต อย่าคัดลอกพิกัดจากการรันครั้งเดียว และเปลี่ยนการรันครั้งต่อไปกลับเป็นมาโครที่มีพิกัดคงที่

4. เพิ่มการรอคอยที่มองเห็นได้

หลังจากการแตะ ให้เพิ่ม `flow.wait` ที่ชัดเจนก่อนที่จะสังเกตตามหน้าจอถัดไป ระยะเวลาที่ถูกต้องขึ้นอยู่กับแอป อุปกรณ์ เครือข่าย และภาพเคลื่อนไหว การรอคอยที่มองเห็นได้สามารถตรวจสอบและปรับเปลี่ยนได้ การตรวจสอบซ้ำทันทีอาจเพียงแค่สังเกตกรอบเก่า

5. ตรวจสอบสถานะถัดไปหรือหยุด

ใช้รูปภาพที่สอง ผลลัพธ์ OCR หรือสถานะ UI เพื่อพิสูจน์ว่าอินเทอร์เฟซเปลี่ยนแปลงตามที่คาดไว้ ตัวอย่างเช่น การตรวจพบกล่องโต้ตอบ "ยืนยัน" หลังจากแตะ "ลบ" จะพิสูจน์ได้ว่าขั้นตอนการยืนยันปรากฏขึ้นเท่านั้น ไม่ได้พิสูจน์ว่ารายการถูกลบไปแล้ว การตรวจสอบในภายหลังควรยืนยันสถานะรายการสุดท้ายหรือข้อความแสดงความสำเร็จ ปล่อยให้ความล้มเหลวในการสังเกตที่ไม่ได้รับการจัดการถือเป็นความล้มเหลวจริง หรือใช้การลองใหม่แบบมีขอบเขตเมื่อการตรวจสอบซ้ำเป็นส่วนหนึ่งของข้อกำหนด

ปรับแต่งความมั่นใจ พื้นที่ค้นหา เวลา และเทมเพลต

• เริ่มจากเกณฑ์ที่วัดได้ จากนั้นทดสอบทั้งรายการที่ตรงกันจริงและตัวเลือกเท็จที่มีลักษณะคล้ายกัน ค่าที่สูงกว่านั้นเข้มงวดกว่า แต่ค่าสูงสุดที่กำหนดเองสามารถปฏิเสธขนาดที่ถูกต้องหรือการเปลี่ยนแปลงการแสดงผลได้
• จำกัดขอบเขตการค้นหาเมื่อเป้าหมายอยู่ในส่วนที่รู้จักของหน้าจอ ขอบเขตที่เล็กกว่าสามารถลดผลบวกลวงและทำงานได้ แต่ขอบเขตที่คาดเดาสามารถซ่อนเป้าหมายที่ย้ายที่ถูกต้องได้
• เลือกโหมดการจับคู่สำหรับคุณสมบัติการมองเห็นที่ยังคงมีเสถียรภาพ สีสามารถช่วยได้เมื่อสีมีความหมาย โหมดสีเทาหรือขอบอาจทนต่อการเปลี่ยนแปลงสีบางอย่าง ควรทดสอบรายละเอียดกับหน้าจอจริง
• เก็บเทมเพลตทางเลือกไว้ด้วยกันเมื่อแสดงการควบคุมเดียวกันในสถานะที่ทราบ เช่น ธีมที่เปิดใช้งานและปิดใช้งาน อย่าเพิ่มเป้าหมายที่ไม่เกี่ยวข้องในการแข่งขันรายการเดียว
• ทดสอบขนาดอุปกรณ์ การวางแนว ธีม และเวอร์ชันแอปที่แน่นอนที่จะเรียกใช้ Flow ทดสอบอีกครั้งหลังจากการอัปเดตอินเทอร์เฟซที่สำคัญ
• บันทึกจุดที่เกิดความล้มเหลว คะแนนการแข่งขัน เนื้อหาที่เลือก สี่เหลี่ยมที่ตรวจพบ ระยะเวลารอ และผลลัพธ์ในสถานะถัดไปมีประโยชน์มากกว่าข้อผิดพลาดมาโครทั่วไป

อย่าปรับแต่งเฉพาะตัวอย่างที่ประสบความสำเร็จเท่านั้น เริ่มจากหน้าจอที่คาดหวัง หน้าจอที่ไม่มีเป้าหมาย หน้าจอที่มีไอคอนคล้ายกัน การเปลี่ยนผ่านที่ช้า และป๊อปอัปที่ครอบคลุมเป้าหมาย ระบบอัตโนมัติจะเชื่อถือได้เมื่อกรณีเชิงลบหยุดลงอย่างปลอดภัย ไม่ใช่แค่เมื่อเส้นทางแห่งความสุขเสร็จสมบูรณ์เพียงครั้งเดียวเท่านั้น

การใช้งานจริงสำหรับการแตะรูปภาพที่ตรวจสอบสถานะ

QA มือถือและการทดสอบควัน

ยืนยันว่าหน้าจอที่รู้จักปรากฏขึ้น แตะตัวควบคุมหนึ่ง รอ และจับภาพสถานะถัดไป สิ่งนี้มีประโยชน์สำหรับเส้นทางทดสอบควันที่ทำซ้ำได้บนอุปกรณ์ที่ได้รับอนุญาต การสะท้อนหน้าจอAndroid ไปยังพีซีหรือ Macช่วยให้ผู้ทดสอบตรวจสอบโทรศัพท์จริงในขณะที่เตรียมและแก้ไขข้อบกพร่องของ Flow

กล่องโต้ตอบและการจัดการการกู้คืน

ตรวจหากล่องโต้ตอบการลองใหม่ การอนุญาต หรือการเชื่อมต่อที่เฉพาะเจาะจงก่อนที่จะเลือกการดำเนินการที่ตรงกัน อย่าสร้างการแตะ "ตกลง" ที่เป็นสากลเพียงคำเดียว: คำเดียวกันสามารถอนุมัติการกระทำที่แตกต่างกันมากในกล่องโต้ตอบที่ต่างกันได้

การดำเนินการแอปภายในซ้ำแล้วซ้ำอีก

สำหรับแอปธุรกิจที่ได้รับการควบคุม Flow สามารถตรวจสอบหน้าปัจจุบันก่อนที่จะเปิดรายการถัดไปหรือส่งแบบฟอร์มที่ได้รับอนุมัติ จับคู่การตรวจสอบด้วยภาพกับขอบเขตอินพุตที่ชัดเจน การตรวจสอบสถานะขั้นสุดท้าย และการแฮนด์ออฟโดยมนุษย์เพื่อหาข้อยกเว้น

กิจวัตรส่วนตัวบนอุปกรณ์

Flow ที่เข้ากันได้สามารถดำเนินการต่อบนโทรศัพท์ได้หลังจากการปรับใช้โดยไม่ต้องเชื่อมต่อเดสก์ท็อป เก็บเวิร์กโฟลว์เฉพาะในเครื่องไว้ในเครื่อง หากโปรไฟล์เรียกใช้จุดสิ้นสุด HTTP โมเดลระยะไกล เว็บฮุค หรือบริการข้อความ เวิร์กโฟลว์เฉพาะนั้นจำเป็นต้องมีการเข้าถึงเครือข่าย

สิทธิ์และขอบเขตความปลอดภัย

บน Android ระบบอัตโนมัติด้วยภาพและท่าทางอัตโนมัติใช้ความสามารถของระบบที่ละเอียดอ่อน เอกสาร Android ที่บริการการเข้าถึงต้องประกาศความสามารถด้วยท่าทางเพื่อส่งท่าทาง ในขณะที่การจับภาพหน้าจอต้องได้รับอนุญาตและวงจรการใช้งานของตัวเอง ใน LaiCai Flow Inside การจับคู่ภาพจะใช้เซสชันหน้าจอ MediaProjection ที่ใช้งานอยู่และการดำเนินการเบื้องหน้าฝั่งโทรศัพท์ การแตะใช้การเข้าถึง

ใช้ระบบอัตโนมัติเฉพาะบนอุปกรณ์ บัญชี และแอปที่คุณได้รับอนุญาตให้ดำเนินการเท่านั้น แอพหรือรุ่นอุปกรณ์บางตัวอาจบล็อกหรือเพิกเฉยต่อท่าทางการเข้าถึง การจับคู่รูปภาพที่ประสบความสำเร็จไม่ได้รับประกันว่าจะยอมรับการแตะในภายหลัง วินิจฉัยการสังเกตและการแสดงท่าทางแยกกัน

เก็บการชำระเงิน การเปลี่ยนแปลงบัญชี การลบแบบทำลายล้าง ข้อมูลส่วนตัว และการดำเนินการที่ไม่สามารถย้อนกลับได้ ไว้เบื้องหลังการตรวจสอบอย่างชัดเจนหรือเงื่อนไขที่แคบมาก อย่าใช้การคลิกอัตโนมัติเพื่อสร้างการมีส่วนร่วมปลอม หลบเลี่ยงการควบคุมแพลตฟอร์ม หรือละเมิดข้อกำหนดของแอป การไหลที่ปลอดภัยที่สุดคือสถานะที่ได้รับอนุญาต การดำเนินการ สภาวะการหยุด และหลักฐานที่มองเห็นได้ก่อนที่จะดำเนินการ

ทดสอบรายการตรวจสอบก่อนใช้งานโดยไม่ได้ตั้งใจ

1. วิ่งจากหน้าจอเริ่มต้นที่คาดหวังไว้สามครั้ง
2. เริ่มจากหน้าจอที่ไม่ถูกต้องและยืนยันว่าไม่มีการแตะเกิดขึ้น
3. ปิดบังหรือลบเป้าหมายและยืนยันว่าการจับคู่เป็นไปตามความล้มเหลว
4. นำเสนอตัวควบคุมที่ดูคล้ายกัน และตรวจสอบว่าเกณฑ์และภูมิภาคปฏิเสธ
5. ทำให้แอปหรือเครือข่ายช้าลง และยืนยันการรอและสภาวะภายหลังทำงานอย่างปลอดภัย
6. หมุนอุปกรณ์หรือเปลี่ยนขนาดการแสดงผลเฉพาะเมื่อรองรับโหมดเหล่านั้น แล้วทดสอบเทมเพลตอีกครั้ง
7. ปิดใช้งานหรือขัดจังหวะความสามารถในการจับภาพหน้าจอหรือการเข้าถึงที่จำเป็น และตรวจสอบว่ามองเห็นข้อผิดพลาดได้
8. ตรวจสอบหน้าจอสุดท้าย บันทึก ภาพหน้าจอ หรือเอาท์พุตที่พิสูจน์ผลลัพธ์ของงาน

เริ่มต้นด้วยการเปลี่ยนแปลงที่มีขอบเขตหนึ่งครั้ง เมื่อเชื่อถือได้แล้ว ให้แยกการดำเนินการแบบหลายโหนดซ้ำๆ ลงใน Flow ย่อยที่มีชื่อเล็กๆ และปล่อยให้ Flow หลักสามารถอ่านได้ บทช่วยสอนLaiCai Flow Insideอธิบายขอบเขตการเตรียมการและการนำไปใช้งาน หน้าการทำงานอัตโนมัติของ AndroidAIครอบคลุมการสร้างและการแก้ไขเวิร์กโฟลว์ที่ใช้เดสก์ท็อปช่วย

คำถามที่พบบ่อยเกี่ยวกับการคลิกอัตโนมัติของการรู้จำรูปภาพของ Android

การจดจำรูปภาพจะปลอดภัยกว่าพิกัดคงที่เสมอไปหรือไม่

จะปลอดภัยกว่าก็ต่อเมื่อมีการทดสอบเทมเพลต ขีดจำกัด ภูมิภาค เวลา และเส้นทางความล้มเหลว การทำงานที่ต่ำหรือกว้างเกินไปยังคงสามารถเลือกเป้าหมายที่ไม่ถูกต้องได้

Flow ควรจับคู่ต่อไปจนกว่ารูปภาพจะปรากฏขึ้นหรือไม่

โหนดการจับคู่รูปภาพเดียวควรสังเกตเพียงครั้งเดียว หากจำเป็นต้องรอ ให้ใช้การลองใหม่อย่างชัดเจนหรือจนกว่าโครงสร้างที่มีช่วงเวลา การหมดเวลา หรือขีดจำกัดความพยายามที่ชัดเจน เพื่อให้ลักษณะการทำงานยังคงมองเห็นได้

ตำแหน่งที่ตรวจพบสามารถนำมาใช้ในการต๊าปโดยตรงได้หรือไม่

ใช่ ใช้สี่เหลี่ยมหรือศูนย์กลางที่ตรวจพบของวิชวลโหนดที่ประสบความสำเร็จเป็นแหล่งการแตะ สิ่งนี้จะรักษาความสัมพันธ์ระหว่างการสังเกตและการกระทำ

สามารถทำงานแบบออฟไลน์ได้อย่างสมบูรณ์บนโทรศัพท์หรือไม่

สามารถทำได้เมื่อทุกโหนดและสินทรัพย์ในโปรไฟล์ที่ปรับใช้ทำงานภายในเครื่อง การจับคู่รูปภาพ การรอ ท่าทาง และการตรวจสอบในเครื่องจะยังคงอยู่ในอุปกรณ์ โมเดลระยะไกล คำขอ HTTP เว็บฮุค คลาวด์ซิงค์ หรือบริการข้อความจะเพิ่มการพึ่งพาเครือข่าย

ทำให้ทุกการแตะเป็นการเปลี่ยนแปลงสถานะที่ตรวจสอบได้

การปรับปรุงที่สำคัญอยู่ที่แนวคิด: อย่าถามเฉพาะว่าจะแตะที่ไหน ถามสิ่งที่ต้องเป็นจริงก่อนที่จะแตะ ซึ่งผลลัพธ์ที่สังเกตได้อนุญาตให้ใช้ท่าทาง ระยะเวลาในการเปลี่ยนแปลงอินเทอร์เฟซ และอะไรพิสูจน์ได้ว่าสถานะถัดไปมาถึง

LaiCai Screen Mirroring มี LaiCai Flow Inside สำหรับรูปแบบฝั่งโทรศัพท์ที่กำหนดนี้: สังเกตหนึ่งครั้ง ติดตามผลลัพธ์สำเร็จหรือล้มเหลว แตะจากผลลัพธ์อัตราส่วนหน้าจอที่ตรวจพบ รออย่างมองเห็นได้ และสังเกตอีกครั้ง จัดเตรียมและตรวจสอบโปรไฟล์ที่เข้ากันได้บนคอมพิวเตอร์ ปรับใช้กับสินทรัพย์ที่ได้รับอนุมัติ และปล่อยให้ LaiCai Android Agent รันเฉพาะสถานะและการเปลี่ยนที่คุณกำหนดไว้

• API บริการการเข้าถึงของ Android
• คู่มือบริการการเข้าถึงของ Android
• โครงการ Klick'r Smart AutoClicker
• คลิกและแก้ไขปัญหาการตรวจจับและคลิก
• มาโครการจดจำภาพ EmuloMobile
• คำขอของผู้ใช้สำหรับตัวคลิกอัตโนมัติในการจดจำรูปภาพ
• รายงานผู้ใช้เกี่ยวกับการคลิก UI ที่ไม่ถูกต้อง