Android otomasyonunun ne zaman kullanıcı arayüzü seçicilerini, OCR'yi, şablon eşleştirmeyi veya nesne algılamayı kullanması gerektiğini ve görsel kanıtlar belirsiz olduğunda nasıl güvenli bir şekilde durdurulacağını öğrenin. LaiCai Screen Mirroring.
Görsel otomasyon bir dokunuşla değil bir kararla başlar
Bir iş akışı, sonraki düğmenin her zaman aynı koordinatta olduğunu varsaydığında Android otomasyonu kırılgan hale gelir. Mobil ekranlar cihaz boyutuna, dile, yazı tipi ölçeğine, klavye durumuna, izinlere, ağ zamanlamasına ve uygulama güncellemelerine göre değişir. Daha güvenli bir iş akışı öncelikle mevcut ekranı gözlemler, kanıtları seçer, sonucun yeterince iyi olup olmadığını kontrol eder ve ancak bundan sonra bir eylem gerçekleştirir. Bu gözlemle-seç-harekete geç modeli, görsel kullanıcı arayüzü otomasyonunun temelidir.
LaiCai Flow'da kullanıcı arayüzü ayrıştırma, kullanıcı arayüzü bulma, OCR, şablon eşleştirme ve nesne algılama gibi gözlem düğümleri kendiliğinden tıklamaz. Yapılandırılmış sonuçlar döndürürler. Ayrı bir veri adımı en iyi öğeyi seçebilir ve bir işaretçi adımı bunun ortasına dokunabilir. Bu ayırma, grafiğin gözden geçirilebilir olmasını sağlar ve tanıma sonucunun sessizce bir eyleme dönüşmesini engeller.
LaiCai Ekran Aynalama için yararlı vaat mükemmel tanıma değildir. Ekiplerin yetkili cihazlarda veya emülatörlerde bir görevi tekrarlamadan önce ekran görüntülerini, tanıma çıktısını, eşikleri, günlükleri, dalları ve durdurma koşullarını inceleyebildiği görünür bir Android otomasyon iş akışıdır.
Yapı güvenilir olduğunda OCR'dan önce kullanıcı arayüzü seçicilerini seçin
Android'in erişilebilirliği ve kullanıcı arayüzü hiyerarşisi metni, içerik açıklamalarını, sınırları, sınıf adlarını ve diğer yapılandırılmış özellikleri ortaya çıkarabilir. Hedef bu hiyerarşide güvenilir bir şekilde göründüğünde, bir kullanıcı arayüzü seçicinin bakımı genellikle OCR veya görüntü eşleştirmeden daha kolaydır. Temalar, küçük renk değişiklikleri ve farklı piksel yoğunlukları karşısında kullanışlı kalabilir.
Geçerli kullanıcı arayüzü ağacını kontrol ederek başlayın. Sabit metni veya içerik açıklamasını arayın, ardından dokunmadan önce sonucu filtreleyin veya seçin. "Görünür metni bul" gibi bir ifadenin her zaman OCR anlamına geldiğini varsaymayın; ekran kanıtları karar vermeli. Uygulama anlamlı bir yapı ortaya çıkardığında yapılandırılmış bir seçici tercih edilir.
Seçicilerin hâlâ sınırları vardır. Kanvas görünümleri, oyunlar, akışlı yüzeyler, özel oluşturma ve bazı Web Görünümleri çok az yararlı hiyerarşi ortaya çıkarabilir. Çevrilen etiketler de değişir. Hedef bir kişi tarafından görülebildiği halde kullanıcı arayüzü ağacında bulunmadığında, OCR veya görüntü tanıma, varsayılan ilk araç yerine makul bir geri dönüş haline gelir.
Metin göründüğünde ancak seçiciler kullanılamadığında OCR kullanın
OCR, iş anlamı görünür sözcüklerle taşındığında kullanışlıdır: sipariş durumu, yerelleştirilmiş etiket, onay mesajı, hata başlığı, fiyat, test hesabı adı veya arama sonucu. Akış, ekranı yakalayabilir, sınırlı bir bölgeyi veya tam çerçeveyi okuyabilir, sonucu normalleştirebilir ve devam etmeden önce bunu beklenen metinle karşılaştırabilir.
OCR olasılıksaldır. Küçük yazı tipleri, sıkıştırma, degradeler, animasyon, olağandışı komut dosyaları, düşük kontrast ve üst üste binen kontroller doğruluğu düşürebilir. Sabit bir bölge, düzen, yön, klavye veya yerel ayar değiştiğinde de hedefi kaçırabilir. Bu nedenle LaiCai, yeniden kullanılabilir OCR bölgelerini açık varlıklar olarak ele alır; Sabit bir bölge oluşturmak, kullanıcının bu konumsal varsayımı anlamasını gerektirir.
Güvenilir bir kontrol, hem tanınan metni hem de onu oluşturmak için kullanılan ekran görüntüsünü kaydeder. Mümkün olduğunda minimum güven kuralını kullanın, küçük bir meşru değişkenler kümesini kabul edin ve gerekli metin eksik olduğunda okunabilir bir nedenle durun. Güvenilirliği düşük bir OCR sonucunu asla doğrudan yıkıcı bir dokunuşa dönüştürmeyin.
Sabit görsel hedefler için şablon eşleştirmeyi kullanın
Şablon eşleştirme, sabit bir görsel hedefin güvenilir bir metin veya kullanıcı arayüzü seçicisi olmadığında uygundur: ayırt edici bir simge, rozet, oyun kontrolü, özel onay grafiği veya yalnızca görüntü düğmesi. Şablon gerçek bir ekrandan gelmeli ve Akış, bir dosya veya hedef oluşturmak yerine mevcut bir varlığa referans vermelidir.
Eşleştirme kalitesi kırpma kalitesine, ölçeğe, temaya, renk moduna, animasyona ve arama bölgesine bağlıdır. Sıkı bir şablon ayırt edici olabilir ancak kırılgan olabilir; geniş bir ürün değişen içeriği içerebilir. Takımlar birden fazla gerçekçi cihaz durumunu test etmeli ve normal varyasyonu imkansız hale getirmeden ilgisiz eşleşmelerden kaçınmak için eşiği yeterince yüksek tutmalıdır.
Mevcut LaiCai varlık bağlamı, şablonların yeniden kullanılabilir adlandırılmış varlıklar olduğunu ve eşleştirmenin bir puan, mod ve ekran oranı arama bölgesini desteklediğini doğrular. Makale, tek bir şablonun her yerde işe yaradığını iddia etmiyor. Karanlık mod, yerelleştirme, duyarlı düzen veya yeniden tasarım, bir seçiciyi, başka bir şablonu veya kasıtlı bir durdurmayı gerektirebilir.
Nesne algılama farklı bir sorunu çözer
Nesne algılama, OCR'nin daha güçlü bir sürümü değildir. Farklı bir soruyu yanıtlıyor: Kişi, araç veya ürüne özgü bir nesne gibi eğitimli bir sınıfın örneği nerede? OCR metni çıkarır; şablon eşleştirme görsel benzerliği arar; algılama, bir model tarafından tanımlanan sınıfları bulur.
Algılamayı yalnızca kullanılabilir bir model iş akışının ihtiyaç duyduğu sınıfı içerdiğinde kullanın. Akış, etiketleri tahmin etmek yerine model meta verilerini ve sınıf listesini okumalıdır. Algılama çıktısı, herhangi bir işaretçi eyleminden önce hâlâ seçim mantığına (örneğin en yüksek güven, en yakın merkez veya bir eşiğin üzerindeki tüm öğeler) ihtiyaç duyar.
Sıradan uygulama düğmeleri için kullanıcı arayüzü seçicileri, OCR veya şablonlar genellikle daha basittir. Algılama, görünümü veya konumu değişen değişken nesneler için kullanışlı hale gelir. Güven, sınıf veya sayım iş akışının beklentilerini karşılamadığında yine de kanıt bırakmalı ve durmalıdır.
Güvenli bir gözlemle-seç-harekete geç Akışı oluşturun
Güvenli bir Akış, altı görünür aşama olarak ifade edilebilir: durumu yakalayın, kullanıcı arayüzü yapısını inceleyin, uygun tanıma yöntemini seçin, bir sonuç seçin, güveni veya iş anlamını doğrulayın ve harekete geçin. Eylemden sonra ekranın yerleşmesini bekleyin ve tekrar gözlemleyin.
Yerelleştirme KG kontrolünü düşünün. Bir hazırlama yapısı açın, ana ekranı bekleyin, kararlı seçicileri kullanarak gezinin, çevrilmiş ekranı yakalayın, başlıkta OCR çalıştırın, ekran görüntüsünü kaydedin ve beklenen yerelleştirilmiş ifade yoksa durun. Akış, üretim verilerini değiştirmeden kanıt üretir.
Arıza yönetimini ihtiyatlı tutun. Kullanıcı arayüzü bulma hiçbir öğe döndürmezse, OCR gerekli metni kaçırırsa, şablon puanı çok düşükse veya algılama beklenmeyen bir sayı bulursa Akışın başarısız olmasına izin verin veya açık bir kanıtla ve durdur yoluna dallayın. Hatayı görünmez bir yeniden deneme döngüsünde aynı eyleme geri göndermeyin.
Belirsizliği gizlemeden tanıma sorunlarını giderin
Tanıma başarısız olduğunda, her eşiği düşürmek yerine öncelikle ekran görüntüsünü ve ham sonucu inceleyin. Uygulamanın beklenen sayfada olduğunu, klavyenin veya izin iletişim kutusunun hedefi kapsamadığını, beklemenin yeterince uzun olduğunu ve arama bölgesinin öğeyi içerdiğini doğrulayın.
OCR için komut dosyalarını, aralıkları, noktalama işaretlerini, büyük harf kullanımını ve olası karakter değişikliklerini karşılaştırın. Şablonlar için ölçeği, temayı, kırpmayı ve rakip eşleşmeleri inceleyin. Kullanıcı arayüzü bulmak için hedefin ekran dışında mı yoksa hiyerarşiden gizlenmiş mi olduğunu inceleyin. Tespit için seçilen modeli ve gerçek sınıf listesini doğrulayın.
Bir seferde bir değişkeni değiştirin ve mümkün olduğunda salt okunur probu yeniden çalıştırın. Daha düşük bir eşik, hatırlamayı artırabildiği gibi yanlış pozitifleri de artırabilir. Daha büyük bir bölge hedefi bulabilir ancak dikkat dağıtıcı unsurlara neden olabilir. Doğru sonuç "geçilen düğüm" değildir; bir sonraki onaylanan eylem için yeterince güçlü bir kanıttır.
QA, yerelleştirme ve destek için pratik iş akışları
QA ekipleri, duman yolları, hata afişleri, onay diyalogları, ekran görüntüleri ve yayın kanıtları için görsel kontrolleri kullanabilir. Yerelleştirme ekipleri, başlıkları, kısaltılmış etiketleri, eksik çevirileri ve beklenmeyen yedek metinleri cihazlar ve diller arasında karşılaştırabilir. Destek ekipleri, bildirilen yolu yeniden oluşturabilir ve ekran görüntülerini ve günlükleri geliştiricilere iletebilir.
Bu iş akışları kod düzeyindeki ünite, enstrümantasyon ve entegrasyon testlerini tamamlar; onların yerine geçmezler. Görsel kontroller özellikle kişinin gördüğü işlenmiş durum için kullanışlıdır; kod düzeyindeki testler ise dahili mantık ve deterministik iddialar için daha iyidir.
Bir sonraki okuma yolu olarak AI Android otomasyon aracı genel bakışını, LaiCai Akış kılavuzunu, Android ekran yansıtma kılavuzunu ve mobil uygulama test iş akışını kullanın.
İlk gerçek çalıştırmadan önce inceleme kontrol listesi
İlk gerçek çalıştırmadan önce, cihazın ve uygulamanın yetkilendirildiğini, başlangıç durumunun açık olduğunu ve iş akışının paketleri, varlıkları, koordinatları veya model sınıflarını tahmin etmediğini onaylayın. Her tanıma sonucunun bilinçli olarak seçildiğini ve hassas eylemlerin güçlü bir koşul veya insan incelemesi gerektirdiğini kontrol edin.
Ekran görüntülerinin ve günlüklerin özel müşteri verilerini açığa çıkarmadığını doğrulayın. Ödeme, silme, hesap ayarları, giden mesajlar veya üretimde geri dönüşü olmayan değişiklikler öncesinde açık bir durdurma sınırı ekleyin. Sahte etkileşimden, spam'den, hesabın kötüye kullanılmasından, kural kaçırmadan, özel verilerin kazınmasından ve oyun hilesinden kaçının.
Son olarak, ilk çalıştırmayı yansıtılmış Android ekranından izleyin. Grafiği, kullanıcı arayüzü durumunu, OCR metnini, maç puanlarını, seçilen sınırları, ekran görüntülerini ve durma nedenini birlikte inceleyin. Güvenilir Android OCR ve görüntü tanıma otomasyonu, güven sahnesinden değil, incelenebilir kanıtlardan gelir.