เรียนรู้ว่าเมื่อใดระบบอัตโนมัติของ Android ควรใช้ตัวเลือก UI, OCR, การจับคู่เทมเพลต หรือการตรวจจับวัตถุ และวิธีหยุดอย่างปลอดภัยเมื่อหลักฐานที่มองเห็นไม่ชัดเจน LaiCai Screen Mirroring.
การแสดงภาพอัตโนมัติเริ่มต้นด้วยการตัดสินใจ ไม่ใช่การแตะ
ระบบอัตโนมัติของ Android จะเปราะบางเมื่อเวิร์กโฟลว์ถือว่าปุ่มถัดไปอยู่ในพิกัดเดียวกันเสมอ หน้าจอมือถือเปลี่ยนแปลงไปตามขนาดอุปกรณ์ ภาษา ขนาดแบบอักษร สถานะแป้นพิมพ์ การอนุญาต เวลาเครือข่าย และการอัปเดตแอป ขั้นตอนการทำงานที่ปลอดภัยยิ่งขึ้นจะสังเกตหน้าจอปัจจุบันก่อน เลือกหลักฐาน ตรวจสอบว่าผลลัพธ์ดีเพียงพอหรือไม่ จากนั้นจึงดำเนินการเท่านั้น รูปแบบการสังเกต-เลือก-การกระทำนี้เป็นรากฐานของระบบอัตโนมัติของ Visual UI
ใน LaiCai Flow โหนดการสังเกต เช่น การแยกวิเคราะห์ UI, การค้นหา UI, OCR, การจับคู่เทมเพลต และการตรวจจับวัตถุ จะไม่คลิกด้วยตัวเอง พวกเขาส่งคืนผลลัพธ์ที่มีโครงสร้าง ขั้นตอนข้อมูลที่แยกต่างหากสามารถเลือกรายการที่ดีที่สุด และขั้นตอนของตัวชี้สามารถแตะตรงกลางได้ การแยกนี้ทำให้กราฟสามารถตรวจสอบได้ และป้องกันไม่ให้ผลการจดจำกลายมาเป็นการกระทำโดยไม่แจ้งให้ทราบ
สำหรับ LaiCai Screen Mirroring คำสัญญาที่เป็นประโยชน์ไม่ใช่การรับรู้ที่สมบูรณ์แบบ เป็นขั้นตอนการทำงานอัตโนมัติของ Android ที่มองเห็นได้ ซึ่งทีมสามารถตรวจสอบภาพหน้าจอ เอาต์พุตการจดจำ เกณฑ์ บันทึก สาขา และเงื่อนไขการหยุดก่อนที่จะทำงานซ้ำบนอุปกรณ์หรือโปรแกรมจำลองที่ได้รับอนุญาต
เลือกตัวเลือก UI ก่อน OCR เมื่อโครงสร้างเชื่อถือได้
การเข้าถึงและลำดับชั้น UI ของ Android สามารถเปิดเผยข้อความ คำอธิบายเนื้อหา ขอบเขต ชื่อคลาส และคุณสมบัติที่มีโครงสร้างอื่นๆ เมื่อเป้าหมายปรากฏอย่างน่าเชื่อถือในลำดับชั้นนั้น โดยปกติแล้วตัวเลือก UI จะรักษาได้ง่ายกว่า OCR หรือการจับคู่รูปภาพ โดยยังคงมีประโยชน์สำหรับธีมต่างๆ การเปลี่ยนสีเล็กน้อย และความหนาแน่นของพิกเซลที่แตกต่างกัน
เริ่มต้นด้วยการตรวจสอบแผนผัง UI ปัจจุบัน ค้นหาข้อความคงที่หรือคำอธิบายเนื้อหา จากนั้นกรองหรือเลือกผลลัพธ์ก่อนแตะ อย่าคิดว่าวลีเช่น "ค้นหาข้อความที่มองเห็นได้" จะต้องหมายถึง OCR เสมอไป หลักฐานหน้าจอควรตัดสิน ตัวเลือกที่มีโครงสร้างจะดีกว่าเมื่อแอปเปิดเผยโครงสร้างที่มีความหมาย
ตัวเลือกยังคงมีขีดจำกัด มุมมองแคนวาส เกม พื้นผิวที่สตรีม การเรนเดอร์แบบกำหนดเอง และ WebView บางส่วนอาจเปิดเผยลำดับชั้นที่มีประโยชน์เพียงเล็กน้อย ป้ายกำกับที่แปลก็เปลี่ยนไปเช่นกัน เมื่อบุคคลมองเห็นเป้าหมายได้แต่ไม่อยู่ในแผนผัง UI OCR หรือการจดจำรูปภาพจะกลายเป็นทางเลือกที่สมเหตุสมผลแทนที่จะเป็นเครื่องมือแรกที่เป็นค่าเริ่มต้น
ใช้ OCR เมื่อมองเห็นข้อความแต่ตัวเลือกไม่พร้อมใช้งาน
OCR มีประโยชน์เมื่อมีความหมายทางธุรกิจด้วยคำที่มองเห็นได้ เช่น สถานะคำสั่งซื้อ ป้ายกำกับที่แปลเป็นภาษาท้องถิ่น ข้อความยืนยัน แบนเนอร์แสดงข้อผิดพลาด ราคา ชื่อบัญชีทดสอบ หรือผลการค้นหา Flow สามารถจับภาพหน้าจอ อ่านขอบเขตที่มีขอบเขตหรือเต็มเฟรม ทำให้ผลลัพธ์เป็นมาตรฐาน และเปรียบเทียบกับข้อความที่คาดหวังก่อนดำเนินการต่อ
OCR มีความน่าจะเป็น แบบอักษรขนาดเล็ก การบีบอัด การไล่ระดับสี ภาพเคลื่อนไหว สคริปต์ที่ผิดปกติ คอนทราสต์ต่ำ และการควบคุมที่ทับซ้อนกันอาจทำให้ความแม่นยำลดลง ภูมิภาคที่ตายตัวอาจพลาดเป้าหมายเมื่อเค้าโครง การวางแนว แป้นพิมพ์ หรือภาษามีการเปลี่ยนแปลง LaiCai จึงถือว่าภูมิภาค OCR ที่นำมาใช้ซ้ำได้นั้นเป็นทรัพย์สินที่ชัดเจน การสร้างภูมิภาคคงที่ต้องการให้ผู้ใช้เข้าใจสมมติฐานตำแหน่งนั้น
การตรวจสอบที่เชื่อถือได้จะบันทึกทั้งข้อความที่รู้จักและภาพหน้าจอที่ใช้ในการสร้าง ใช้กฎความมั่นใจขั้นต่ำ (หากมี) ยอมรับรูปแบบที่ถูกต้องชุดเล็กๆ น้อยๆ และหยุดโดยมีเหตุผลที่สามารถอ่านได้เมื่อข้อความที่จำเป็นหายไป อย่าแปลงผลลัพธ์ OCR ที่มีความมั่นใจต่ำเป็นการแตะแบบทำลายโดยตรง
ใช้การจับคู่เทมเพลตสำหรับเป้าหมายภาพที่มีเสถียรภาพ
การจับคู่เทมเพลตมีความเหมาะสมเมื่อเป้าหมายภาพที่มีเสถียรภาพไม่มีข้อความที่เชื่อถือได้หรือตัวเลือก UI: ไอคอน ตราสัญลักษณ์ ตัวควบคุมเกม กราฟิกยืนยันที่กำหนดเอง หรือปุ่มเฉพาะรูปภาพที่โดดเด่น เทมเพลตควรมาจากหน้าจอที่จับภาพจริง และโฟลว์ควรอ้างอิงเนื้อหาที่มีอยู่แทนที่จะสร้างไฟล์หรือเป้าหมาย
คุณภาพการจับคู่ขึ้นอยู่กับคุณภาพการครอบตัด ขนาด ธีม โหมดสี ภาพเคลื่อนไหว และขอบเขตการค้นหา เทมเพลตที่แน่นหนาสามารถโดดเด่นแต่เปราะบาง การครอบตัดแบบกว้างอาจรวมถึงการเปลี่ยนแปลงเนื้อหาด้วย ทีมควรทดสอบสถานะอุปกรณ์ที่สมจริงมากกว่าหนึ่งสถานะ และรักษาเกณฑ์ให้สูงพอที่จะหลีกเลี่ยงการแข่งขันที่ไม่เกี่ยวข้องโดยไม่ทำให้การเปลี่ยนแปลงตามปกติเป็นไปไม่ได้
บริบทเนื้อหา LaiCai ปัจจุบันยืนยันว่าเทมเพลตเป็นเนื้อหาที่มีชื่อที่สามารถนำมาใช้ซ้ำได้ และการจับคู่รองรับขอบเขตการค้นหาคะแนน โหมด และอัตราส่วนหน้าจอ บทความนี้ไม่ได้อ้างว่าเทมเพลตเดียวใช้งานได้ทุกที่ โหมดมืด การแปลเป็นภาษาท้องถิ่น เลย์เอาต์แบบตอบสนอง หรือการออกแบบใหม่อาจต้องใช้ตัวเลือก เทมเพลตอื่น หรือการหยุดโดยเจตนา การตรวจจับวัตถุ
ช่วยแก้ปัญหาอื่นได้ การตรวจจับวัตถุ
ไม่ใช่ OCR เวอร์ชันที่แข็งแกร่งกว่า โดยตอบคำถามอื่น: อินสแตนซ์ของคลาสที่ได้รับการฝึกอบรม เช่น บุคคล ยานพาหนะ หรือวัตถุเฉพาะผลิตภัณฑ์อยู่ที่ไหน OCR แยกข้อความ การจับคู่เทมเพลตจะมองหาความคล้ายคลึงกันของภาพ การตรวจจับค้นหาคลาสที่กำหนดโดยโมเดล
ใช้การตรวจจับเมื่อโมเดลที่มีอยู่มีคลาสที่เวิร์กโฟลว์ต้องการเท่านั้น Flow ต้องอ่านข้อมูลเมตาของโมเดลและรายการคลาสแทนการเดาป้ายกำกับ เอาต์พุตการตรวจจับยังคงต้องการตรรกะในการเลือก เช่น ความเชื่อมั่นสูงสุด จุดศูนย์กลางที่ใกล้ที่สุด หรือรายการทั้งหมดที่อยู่เหนือเกณฑ์ ก่อนที่จะดำเนินการกับตัวชี้
สำหรับปุ่มแอปทั่วไป ตัวเลือก UI, OCR หรือเทมเพลตมักจะง่ายกว่า การตรวจจับจะมีประโยชน์สำหรับวัตถุแปรผันที่รูปลักษณ์หรือตำแหน่งเปลี่ยนแปลงไป ยังคงควรทิ้งหลักฐานไว้และหยุดเมื่อความเชื่อมั่น ชั้นเรียน หรือการนับไม่เป็นไปตามความคาดหวังของเวิร์กโฟลว์
สร้างโฟลว์แบบสังเกต-เลือก-ดำเนินการที่ปลอดภัย
โฟลว์ที่ปลอดภัยสามารถแสดงเป็นขั้นตอนที่มองเห็นได้หกขั้นตอน: จับภาพสถานะ ตรวจสอบโครงสร้าง UI เลือกวิธีการจดจำที่เหมาะสม เลือกผลลัพธ์ ตรวจสอบความเชื่อมั่นหรือความหมายทางธุรกิจ และดำเนินการ หลังจากดำเนินการ ให้รออย่างชัดเจนเพื่อให้หน้าจอสงบลงและสังเกตอีกครั้ง
พิจารณาการตรวจสอบ QA การแปลเป็นภาษาท้องถิ่น เปิดบิลด์ชั่วคราว รอหน้าจอหลัก นำทางโดยใช้ตัวเลือกที่มีเสถียรภาพ จับภาพหน้าจอที่แปลแล้ว เรียกใช้ OCR บนส่วนหัว บันทึกภาพหน้าจอ และหยุดหากไม่มีวลีที่แปลเป็นภาษาท้องถิ่นที่คาดไว้ Flow สร้างหลักฐานโดยไม่เปลี่ยนแปลงข้อมูลการผลิต
รักษาการจัดการความล้มเหลวอย่างระมัดระวัง หาก UI ค้นหาไม่ส่งคืนรายการ OCR พลาดข้อความที่จำเป็น คะแนนเทมเพลตต่ำเกินไป หรือการตรวจจับพบการนับที่ไม่คาดคิด ปล่อยให้โฟลว์ล้มเหลวหรือแยกไปยังเส้นทางหลักฐานและหยุดที่ชัดเจน อย่าส่งความล้มเหลวกลับไปยังการดำเนินการเดิมในการวนซ้ำที่มองไม่เห็น
แก้ไขปัญหาการรับรู้โดยไม่ซ่อนความไม่แน่นอน
เมื่อการรับรู้ล้มเหลว ให้ตรวจสอบภาพหน้าจอและผลลัพธ์ดิบก่อน แทนที่จะลดทุกเกณฑ์ลง ยืนยันว่าแอปอยู่ในหน้าที่คาดหวัง แป้นพิมพ์หรือกล่องโต้ตอบสิทธิ์ไม่ครอบคลุมเป้าหมาย การรอนานพอ และขอบเขตการค้นหามีองค์ประกอบ
สำหรับ OCR ให้เปรียบเทียบสคริปต์ การเว้นวรรค เครื่องหมายวรรคตอน การใช้อักษรตัวพิมพ์ใหญ่ และการแทนที่อักขระที่เป็นไปได้ สำหรับเทมเพลต ให้ตรวจสอบขนาด ธีม การครอบตัด และการจับคู่ที่แข่งขันกัน สำหรับการค้นหา UI ให้ตรวจสอบว่าเป้าหมายอยู่นอกหน้าจอหรือซ่อนจากลำดับชั้น สำหรับการตรวจจับ ให้ตรวจสอบโมเดลที่เลือกและรายการคลาสจริง
เปลี่ยนตัวแปรทีละตัว และรันโพรบแบบอ่านอย่างเดียวอีกครั้งเมื่อเป็นไปได้ เกณฑ์ที่ต่ำกว่าอาจเพิ่มการเรียกคืน แต่ยังมีผลบวกลวงอีกด้วย พื้นที่ขนาดใหญ่อาจพบเป้าหมายแต่กลับมีสิ่งรบกวนสมาธิ ผลลัพธ์ที่ถูกต้องไม่ใช่ "โหนดที่ผ่าน"; เป็นหลักฐานที่ชัดเจนเพียงพอสำหรับการดำเนินการที่ได้รับอนุมัติครั้งต่อไป
เวิร์กโฟลว์เชิงปฏิบัติสำหรับ QA การแปลเป็นภาษาท้องถิ่น และการสนับสนุน ทีม QA ของ
สามารถใช้การตรวจสอบด้วยภาพสำหรับเส้นทางควัน แบนเนอร์ข้อผิดพลาด กล่องโต้ตอบการยินยอม ภาพหน้าจอ และหลักฐานการเผยแพร่ ทีมแปลสามารถเปรียบเทียบส่วนหัว ป้ายกำกับที่ถูกตัดทอน คำแปลที่ขาดหายไป และข้อความทางเลือกที่ไม่คาดคิดในอุปกรณ์และภาษาต่างๆ ทีมสนับสนุนสามารถสร้างเส้นทางที่รายงานและภาพหน้าจอมือพร้อมทั้งบันทึกให้กับนักพัฒนา
เวิร์กโฟลว์เหล่านี้ช่วยเสริมหน่วยระดับโค้ด เครื่องมือวัด และการทดสอบการรวม พวกเขาไม่ได้แทนที่พวกเขา การตรวจสอบด้วยภาพมีประโยชน์อย่างยิ่งสำหรับสถานะการแสดงผลที่บุคคลมองเห็น ในขณะที่การทดสอบระดับโค้ดยังคงดีกว่าสำหรับตรรกะภายในและการยืนยันเชิงกำหนด
ใช้ภาพรวมของเครื่องมืออัตโนมัติของ Android, คู่มือ LaiCai Flow, คู่มือการมิเรอร์หน้าจอ Android และเวิร์กโฟลว์การทดสอบแอปบนอุปกรณ์เคลื่อนที่ เป็นเส้นทางการอ่านถัดไป
รายการตรวจสอบก่อนการรันจริงครั้งแรก
ก่อนการรันจริงครั้งแรก ให้ยืนยันว่าอุปกรณ์และแอปได้รับอนุญาต สถานะเริ่มต้นมีความชัดเจน และเวิร์กโฟลว์ไม่คาดเดาแพ็คเกจ สินทรัพย์ พิกัด หรือคลาสโมเดล ตรวจสอบว่ามีการเลือกผลการจดจำทุกรายการอย่างจงใจ และการดำเนินการที่ละเอียดอ่อนจำเป็นต้องมีเงื่อนไขที่เข้มงวดหรือการตรวจสอบโดยเจ้าหน้าที่
ตรวจสอบว่าภาพหน้าจอและบันทึกไม่เปิดเผยข้อมูลส่วนตัวของลูกค้า เพิ่มขอบเขตการหยุดที่ชัดเจนก่อนการชำระเงิน การลบ การตั้งค่าบัญชี ข้อความขาออก หรือการเปลี่ยนแปลงการผลิตที่ไม่สามารถย้อนกลับได้ หลีกเลี่ยงการมีส่วนร่วมปลอม สแปม บัญชีในทางที่ผิด การหลีกเลี่ยงกฎ การขูดข้อมูลส่วนตัว และการโกงเกม
สุดท้ายชมการวิ่งครั้งแรกผ่านหน้าจอ Android แบบมิเรอร์ ตรวจสอบกราฟ สถานะ UI ข้อความ OCR คะแนนการแข่งขัน ขอบเขตที่เลือก ภาพหน้าจอ และเหตุผลในการหยุดพร้อมกัน Android OCR ที่เชื่อถือได้และการจดจำรูปภาพอัตโนมัติมาจากหลักฐานที่ตรวจสอบได้ ไม่ใช่การแสดงความมั่นใจ