Ketahui masa automasi Android harus menggunakan pemilih UI, OCR, padanan templat atau pengesanan objek—dan cara berhenti dengan selamat apabila bukti visual tidak pasti. LaiCai Screen Mirroring.
Automasi visual bermula dengan keputusan, bukan satu ketikan
Automasi Android menjadi rapuh apabila aliran kerja menganggap bahawa butang seterusnya sentiasa berada pada koordinat yang sama. Skrin mudah alih berubah dengan saiz peranti, bahasa, skala fon, keadaan papan kekunci, kebenaran, pemasaan rangkaian dan kemas kini apl. Aliran kerja yang lebih selamat mula-mula memerhatikan skrin semasa, memilih bukti, menyemak sama ada hasilnya cukup baik, dan selepas itu barulah melakukan tindakan. Corak amati-pilih-tindakan ini ialah asas automasi UI visual.
Dalam Aliran LaiCai, nod pemerhatian seperti penghuraian UI, carian UI, OCR, padanan templat dan pengesanan objek tidak mengklik dengan sendirinya. Mereka mengembalikan hasil berstruktur. Langkah data yang berasingan boleh memilih item terbaik dan langkah penunjuk boleh mengetik bahagian tengahnya. Pemisahan ini menjadikan graf boleh disemak dan menghalang hasil pengecaman daripada menjadi tindakan secara senyap.
Untuk Pencerminan Skrin LaiCai, janji berguna bukanlah pengiktirafan yang sempurna. Ia ialah aliran kerja automasi Android yang boleh dilihat di mana pasukan boleh memeriksa tangkapan skrin, output pengecaman, ambang, log, cawangan dan keadaan berhenti sebelum mengulangi tugas pada peranti atau emulator yang dibenarkan.
Pilih pemilih UI sebelum OCR apabila struktur boleh dipercayai
Kebolehcapaian Android dan hierarki UI boleh mendedahkan teks, perihalan kandungan, sempadan, nama kelas dan sifat berstruktur lain. Apabila sasaran muncul dengan pasti dalam hierarki itu, pemilih UI biasanya lebih mudah untuk dikekalkan daripada OCR atau padanan imej. Ia boleh kekal berguna merentas tema, perubahan warna kecil dan ketumpatan piksel yang berbeza.
Mulakan dengan menyemak pepohon UI semasa. Cari teks yang stabil atau perihalan kandungan, kemudian tapis atau pilih hasil sebelum mengetik. Jangan menganggap bahawa frasa seperti "cari teks yang boleh dilihat" mesti sentiasa bermaksud OCR; bukti skrin harus memutuskan. Pemilih berstruktur lebih disukai apabila apl mendedahkan struktur yang bermakna.
Pemilih masih mempunyai had. Paparan kanvas, permainan, permukaan strim, pemaparan tersuai dan beberapa Paparan Web mungkin mendedahkan sedikit hierarki yang berguna. Label yang diterjemahkan juga berubah. Apabila sasaran kelihatan kepada seseorang tetapi tiada dalam pepohon UI, OCR atau pengecaman imej menjadi sandaran yang munasabah dan bukannya alat lalai pertama.
Gunakan OCR apabila teks kelihatan tetapi pemilih tidak tersedia
OCR berguna apabila maksud perniagaan dibawa oleh perkataan yang boleh dilihat: status pesanan, label setempat, mesej pengesahan, sepanduk ralat, harga, nama akaun ujian atau hasil carian. Aliran boleh menangkap skrin, membaca kawasan sempadan atau bingkai penuh, menormalkan hasilnya dan membandingkannya dengan teks yang dijangkakan sebelum meneruskan.
OCR adalah kebarangkalian. Fon kecil, mampatan, kecerunan, animasi, skrip luar biasa, kontras rendah dan kawalan bertindih boleh mengurangkan ketepatan. Rantau tetap juga boleh terlepas sasaran apabila susun atur, orientasi, papan kekunci atau tempat berubah. Oleh itu, LaiCai menganggap kawasan OCR yang boleh diguna semula sebagai aset eksplisit; mewujudkan kawasan tetap memerlukan pengguna memahami andaian kedudukan tersebut.
Semakan yang boleh dipercayai merekodkan teks yang diiktiraf dan tangkapan skrin yang digunakan untuk menghasilkannya. Gunakan peraturan keyakinan minimum jika tersedia, terima set kecil varian yang sah dan berhenti dengan alasan yang boleh dibaca apabila teks yang diperlukan tiada. Jangan sekali-kali menukar hasil OCR berkeyakinan rendah terus kepada paip yang merosakkan.
Gunakan padanan templat untuk sasaran visual yang stabil
Padanan templat sesuai apabila sasaran visual yang stabil tidak mempunyai teks atau pemilih UI yang boleh dipercayai: ikon tersendiri, lencana, kawalan permainan, grafik pengesahan tersuai atau butang imej sahaja. Templat harus datang daripada skrin yang ditangkap sebenar, dan Aliran harus merujuk aset sedia ada dan bukannya mencipta fail atau sasaran.
Kualiti pemadanan bergantung pada kualiti tanaman, skala, tema, mod warna, animasi dan kawasan carian. Templat yang ketat boleh menjadi tersendiri tetapi rapuh; tanaman yang luas boleh termasuk mengubah kandungan. Pasukan harus menguji lebih daripada satu keadaan peranti yang realistik dan mengekalkan ambang yang cukup tinggi untuk mengelakkan padanan yang tidak berkaitan tanpa menjadikan variasi biasa mustahil.
Konteks aset LaiCai semasa mengesahkan bahawa templat boleh digunakan semula sebagai aset yang dinamakan dan padanan menyokong kawasan carian skor, mod dan nisbah skrin. Artikel itu tidak mendakwa bahawa satu templat berfungsi di mana-mana. Mod gelap, penyetempatan, reka letak responsif atau reka bentuk semula mungkin memerlukan pemilih, templat lain atau berhenti dengan sengaja.
Pengesanan objek menyelesaikan masalah berbeza
Pengesanan objek bukan versi OCR yang lebih kuat. Ia menjawab soalan yang berbeza: di manakah contoh kelas terlatih seperti seseorang, kenderaan atau objek khusus produk? OCR mengekstrak teks; pemadanan templat mencari persamaan visual; pengesanan mencari kelas yang ditakrifkan oleh model.
Gunakan pengesanan hanya apabila model yang tersedia mengandungi kelas yang diperlukan oleh aliran kerja. Aliran mesti membaca metadata model dan senarai kelas dan bukannya meneka label. Output pengesanan masih memerlukan logik pemilihan—contohnya keyakinan tertinggi, pusat terdekat atau semua item di atas ambang—sebelum sebarang tindakan penunjuk.
Untuk butang apl biasa, pemilih UI, OCR atau templat selalunya lebih mudah. Pengesanan menjadi berguna untuk objek berubah yang penampilan atau kedudukannya berubah. Ia masih harus meninggalkan bukti dan berhenti apabila keyakinan, kelas atau kiraan tidak memenuhi jangkaan aliran kerja.
Bina Aliran amati-pilih-tindakan yang selamat
Aliran selamat boleh dinyatakan sebagai enam peringkat yang boleh dilihat: tangkap keadaan, periksa struktur UI, pilih kaedah pengecaman yang sesuai, pilih hasil, sahkan keyakinan atau maksud perniagaan dan bertindak. Selepas tindakan, tunggu dengan jelas untuk skrin selesai dan amati semula.
Pertimbangkan semakan QA penyetempatan. Buka binaan pementasan, tunggu skrin utama, navigasi menggunakan pemilih yang stabil, tangkap skrin terjemahan, jalankan OCR pada tajuk, simpan tangkapan skrin dan berhenti jika frasa setempat yang dijangkakan tiada. The Flow menghasilkan bukti tanpa mengubah data pengeluaran.
Pastikan pengendalian kegagalan konservatif. Jika UI find tidak mengembalikan item, OCR terlepas teks yang diperlukan, skor templat terlalu rendah atau pengesanan menemui kiraan yang tidak dijangka, biarkan Aliran gagal atau bercabang ke laluan bukti dan henti yang jelas. Jangan hantar kegagalan kembali kepada tindakan yang sama dalam gelung percubaan semula yang tidak kelihatan.
Selesaikan masalah pengecaman tanpa menyembunyikan ketidakpastian
Apabila pengecaman gagal, periksa tangkapan skrin dan hasil mentah dahulu daripada menurunkan setiap ambang. Sahkan bahawa apl berada di halaman yang dijangkakan, papan kekunci atau dialog kebenaran tidak meliputi sasaran, menunggu cukup lama dan kawasan carian mengandungi elemen.
Untuk OCR, bandingkan skrip, jarak, tanda baca, huruf besar dan kemungkinan penggantian aksara. Untuk templat, periksa skala, tema, pangkas dan perlawanan yang bersaing. Untuk mencari UI, periksa sama ada sasaran berada di luar skrin atau tersembunyi daripada hierarki. Untuk pengesanan, sahkan model yang dipilih dan senarai kelas sebenar.
Tukar satu pembolehubah pada satu masa dan jalankan semula probe baca sahaja apabila boleh. Ambang yang lebih rendah boleh meningkatkan ingatan tetapi juga positif palsu. Wilayah yang lebih besar mungkin menemui sasaran tetapi memperkenalkan gangguan. Hasil yang betul bukanlah "nod lulus"; ia adalah bukti yang cukup kukuh untuk tindakan yang diluluskan seterusnya.
Aliran kerja praktikal untuk QA, penyetempatan dan sokongan Pasukan QA
boleh menggunakan semakan visual untuk laluan asap, sepanduk ralat, dialog persetujuan, tangkapan skrin dan bukti keluaran. Pasukan penyetempatan boleh membandingkan tajuk, label terpotong, terjemahan hilang dan teks sandaran yang tidak dijangka merentas peranti dan bahasa. Pasukan sokongan boleh menghasilkan semula laluan yang dilaporkan dan tangkapan skrin tangan serta log kepada pembangun.
Aliran kerja ini melengkapkan ujian unit tahap kod, instrumentasi dan penyepaduan; mereka tidak menggantikan mereka. Pemeriksaan visual amat berguna untuk keadaan yang diberikan yang dilihat oleh seseorang, manakala ujian tahap kod kekal lebih baik untuk logik dalaman dan penegasan deterministik.
Gunakan gambaran keseluruhan alat automasi Android AI, panduan Aliran LaiCai, panduan pencerminan skrin Android dan aliran kerja ujian apl mudah alih sebagai laluan bacaan seterusnya.
Senarai semak semakan sebelum larian sebenar pertama
Sebelum larian sebenar pertama, sahkan peranti dan apl dibenarkan, keadaan mula adalah eksplisit dan aliran kerja tidak meneka pakej, aset, koordinat atau kelas model. Semak bahawa setiap hasil pengecaman dipilih dengan sengaja dan tindakan sensitif memerlukan keadaan yang kukuh atau semakan manusia.
Sahkan bahawa tangkapan skrin dan log tidak mendedahkan data pelanggan peribadi. Tambahkan sempadan hentian eksplisit sebelum pembayaran, pemadaman, tetapan akaun, mesej keluar atau perubahan pengeluaran yang tidak boleh diubah. Elakkan penglibatan palsu, spam, penyalahgunaan akaun, pengelakan peraturan, pengikisan data peribadi dan penipuan permainan.
Akhir sekali, tonton larian pertama melalui skrin Android yang dicerminkan. Semak graf, keadaan UI, teks OCR, skor padanan, had yang dipilih, tangkapan skrin dan sebab berhenti bersama-sama. OCR Android yang boleh dipercayai dan automasi pengecaman imej datang daripada bukti yang boleh diperiksa, bukan teater keyakinan.