Tam ekran görünümü için ekran görüntülerini, görünür metin için OCR'yi ve bilinen bir görsel hedef için görüntü eşleştirmeyi kullanın. En güçlü Android görsel testleri, odaklanmış bir iddiayı istikrarlı zamanlama ve başarısızlık kanıtlarıyla birleştirir.
Kısa cevap: Doğru kalması gereken şeyi test edin
Tüm ekranın, bileşenin, aralığın, rengin veya tipografinin görsel olarak tutarlı kalması gerektiğinde ekran görüntüsü testini kullanın. Gereksinim, bir kişinin görebileceği kelimelerle, özellikle de yerelleştirilmiş veya dinamik olarak oluşturulmuş metinlerle ilgili olduğunda OCR'yi kullanın. Güvenilir bir kullanıcı arayüzü tanımlayıcısı olmasa bile bilinen bir simgenin, düğmenin, rozetin veya illüstrasyonun görünmesi gerektiğinde görsel eşleştirmeyi kullanın.
Gereksinim anlamsal olduğunda bir kullanıcı arayüzü seçiciyle veya erişilebilirlik durumuyla başlayın: bir denetim mevcut, etkinleştirildi, seçildi veya kararlı bir etiket ortaya koyuyor. Yalnızca hedef görsel bir sınıfa ait olduğunda ve bir şablon için boyutu veya konumu çok fazla değiştirebiliyorsa nesne algılamayı ekleyin. Bu yöntemler, rakip test çerçeveleri değil, katmanlardır.
- Hangi kanıtın incelemeyi yapan kişiyi gereksinimin karşılandığı konusunda ikna edeceğini sorun.
- Varsayılan olarak her pikseli karşılaştırmak yerine en dar güvenilir sinyali seçin.
- Gözlemlemeden önce ekranı sabitleyin, ardından iddia başarısız olduğunda yapıyı kaydedin.
Android görsel test yöntemleri karşılaştırıldı
| Yöntem | Şunun için en iyisi: | Ana zayıflık | Yararlı kanıtlar |
|---|---|---|---|
| Kullanıcı arayüzü veya erişilebilirlik durumu | Kontroller, etiketler, etkin durum, seçim, gezinme yapısı | Özel olarak oluşturulmuş veya erişilemeyen öğeler, kullanıcı arayüzü ağacında görünmeyebilir | Kullanıcı arayüzü hiyerarşisi, seçilen özellikler, ekran görüntüsü |
| Ekran görüntüsü veya altın resim | Düzen, aralık, renkler, tipografi, bileşen görünümü | Dinamik veriler, animasyon, cihaz farklılıkları ve görüntü oluşturma değişiklikleri gürültülü farklar yaratabilir | Mevcut görüntü, onaylanmış temel çizgi, görsel fark |
| OCR | Görünür metin, yerelleştirme, makbuzlar, durum mesajları, piksel olarak görüntülenen değerler | Tanıma kalitesi kırpmaya, ölçeğe, kontrasta, dil verilerine, döndürmeye ve segmentasyona bağlıdır | Kaynak kırpma, tanınan metin, güven veya sonuç listesi |
| Şablon eşleştirme | Bilinen bir simge, düğme, rozet, küçük resim veya küçük sabit bölge | Tema, ölçek, sıkıştırma ve yeniden tasarım şablonu geçersiz kılabilir | Şablon, arama bölgesi, en iyi eşleşme, puan, ekran görüntüsü |
| Nesne algılama | Konumu veya boyutu değişirken sınıfı anlamlı kalan görsel bir nesne | Uyumlu bir model, etiketli sınıflar, eşikler ve model doğrulama gerektirir | Model sürümü, sınıf, kutu, puan, ekran görüntüsü |
Android'in resmi ekran görüntüsü test kılavuzu, mevcut oluşturmanın onaylanmış bir referans görselle karşılaştırılmasını açıklar. Appium'un görsel eklentisi özellik eşleştirmeyi, şablon eşleştirmeyi ve benzerlik karşılaştırmasını ortaya çıkarır. OpenCV, bir şablonu bir görüntü üzerinde kaydırmanın mekanizmalarını belgeliyor; Tesseract ise OCR ön işleme ve sayfa bölümlemenin neden önemli olduğunu belgeliyor. Araçlar farklı olsa da test tasarımı sorusu aynı kalıyor: Bu gerekliliği hangi gözlem kanıtlıyor?
Dört soruyla doğru iddiayı seçin
1. Gereksinim anlamsal mı yoksa görsel mi?
Test "Gönder düğmesi etkin" diyorsa önce kullanıcı arayüzü durumunu inceleyin. "Yazı tipi değişikliğinden sonra Gönder düğmesi kırpılmıyor" diyorsa bir ekran görüntüsü veya odaklanmış bir görsel kontrol kullanın. Anlamsal bir sorgunun bakımı genellikle daha kolaydır ancak görünümü kanıtlayamaz.
2. Metnin tam metni önemli mi?
Kullanıcıya yönelik dize gerekli olduğunda ve metin, kullanıcı arayüzü ağacı aracılığıyla güvenilir bir şekilde gösterilmediğinde OCR'yi kullanın. Tanıma işlemini en küçük anlamlı bölgeyle sınırlandırın, doğru dili seçin ve normalleştirilmiş sonucu karşılaştırın. Doğru bir OCR dizesi tek başına kesme, örtüşme veya zayıf kontrastı gösteremeyeceği için ekran görüntüsünü saklayın.
3. Sabit bir görsel hedef var mı?
Bilinen bir simge veya küçük kontrol için şablon eşleştirmeyi kullanın. Şablonu sıkı bir şekilde kırpın, ilgilenilen bir bölgenin içinde arama yapın ve eşiği gerçek pozitif ve negatif örneklerden ayarlayın. Tek bir evrensel eşik, temalar, çözünürlükler ve sıkıştırılmış uzak akışlar genelinde nadiren savunulabilir.
4. Kompozisyonun tamamı tutarlı mı kalmalı?
Birçok öğe arasındaki ilişki önemli olduğunda ekran görüntüsü karşılaştırmasını kullanın. Yazı tiplerini, yerel ayarı, cihaz yapılandırmasını, sistem çubuklarını, zamanı, ağ verilerini, animasyonları ve tohumlanan içeriği kontrol edin. Bu girişler kontrol edilemiyorsa kalıcı gürültülü testi kabul etmek yerine dinamik bölgeleri maskeleyin veya kırpın.
Faydalı bir şekilde başarısız olan görsel bir test oluşturun
- Uygulamayı yetkili bir cihazda veya öykünücüde adlandırılmış bir başlangıç durumuna getirin.
- Yalnızca sabit bir gecikmeyi değil, kararlı bir durumu bekleyin. UI Automator kararlı bekleme olanağı sağlar ve uygulamaya özel hazır sinyali daha da iyidir.
- Gerekli kanıtları içeren en küçük kaynak bölgesini yakalayın.
- Tek bir birincil iddia çalıştırın: Kullanıcı arayüzü durumu, OCR, şablon, algılama veya ekran görüntüsü karşılaştırması.
- Bir sonraki eylemi gerçekleştirmeden önce kaynak görüntüyü ve yapılandırılmış sonucu kaydedin.
- Arıza durumunda durun veya gözden geçirilmiş bir kurtarma yolunu izleyin. Testin ilerlemesini sağlamak için yakındaki benzer bir şeye dokunmayın.
Görsel kontrol, bir geçişe izin verdiğinde daha güvenli hale gelir. Mevcut durumu gözlemleyin, iddiada bulunun, izin verilen eylemi yalnızca başarıdan sonra gerçekleştirin ve sonkoşulu doğrulayın. Bu,görüntü tanıma otomatik tıklama kılavuzu'de açıklanan tasarım ilkesinin aynısıdır: tanıma, iş akışının tamamlandığının kanıtı değildir.
Gerçek cihaz çalışması için,Mobil uygulama testi için Android ekran yansıtma, incelemeyi yapan kişiye test tasarlanırken canlı bir görüntü sunar.Android otomasyon QA duman testi kılavuzutekrarlanan kontrollerin nasıl dar ve tekrarlanabilir tutulacağını açıklıyor.
Üç pratik Android görsel test senaryosu
Ödeme ekranında yerelleştirme KG'si
Ödeme ekranına gitmek için kullanıcı arayüzü durumunu, yerelleştirilmiş toplam ve eylem etiketini onaylamak için OCR'yi ve dizelerin kırpılmadığını veya üst üste gelmediğini göstermek için odaklanmış bir ekran görüntüsünü kullanın. Her yerel ayarı kontrollü test verileriyle çalıştırın. Tek başına tam ekran piksel karşılaştırması, çevrilen dize uzunluğuna karşı çok hassas olacaktır; OCR ise tek başına düzen hasarını kaçıracaktır.
Yeniden tasarlanan araç çubuğu simgesini kontrol etme
Küçük bir araç çubuğu bölgesinde kabul edilen simge için bir şablon kullanın. Açık ve koyu temaların her ikisi de desteklendiğinde ayrı şablonlar tutun. Eşleşme başarısız olduğunda araç çubuğu kırpmasını ve en iyi aday puanını ekleyin. Simge kasıtlı olarak yeniden tasarlandıysa herhangi bir şekil geçene kadar eşiği düşürmek yerine şablonu inceleyin ve değiştirin.
Dağıtımdan sonra gerçek telefon duman testi
Bilinen bir hesaptan ve uygulama durumundan başlayın, açılış ekranını bekleyin, kimliğini onaylayın, izin verilen bir eylemi gerçekleştirin ve bir sonraki adlandırılmış durumu doğrulayın. Her arızada bir ekran görüntüsü yakalayın. Cihaz yoğunluğu, izin diyalogları, klavyeler, bildirimler ve sistem güncellemeleri gerçek telefon ortamının bir parçasıdır; dolayısıyla test bunları gizlemek yerine rapor etmelidir.
Yaygın yanlış arızalar ve bunların nasıl önleneceği
| Belirti | Muhtemel sebep | Daha iyi yanıt |
|---|---|---|
| Ekran görüntüsü farkı her çalıştırmada değişir | Saat, animasyon, reklamlar, tohumlanmış veriler, klavye, sistem çubuğu veya ağ içeriği | Girişleri dondurun, kararlılığı bekleyin, yalnızca dinamik bölgeyi kırpın veya maskeleyin |
| OCR makul fakat yanlış metin döndürüyor | Yanlış dil, düşük kontrast, küçük kırpma, döndürme, gürültü veya uygun olmayan segmentasyon | Kırpmayı kaydedin, ölçeği ve kontrastı iyileştirin, dili ve segmentasyonu bilinçli seçin |
| Şablon eşleştirme yalnızca bir telefonda çalışır | Farklı yoğunluk, tema, ölçeklendirme, en boy oranı veya sıkıştırma | Desteklenen görsel çeşitler için ilgi duyulan bölgeyi ve doğrulanmış şablonları kullanın |
| Doğru görüntü bulundu ancak dokunma işlemi başarısız oluyor | Maç koordinatları mevcut ekrana veya yer paylaşımlı blok girişine dönüştürülmedi | Tanıma işlemini eylemden ayırın ve bir sonraki durumu doğrulayın |
| Test yanlış ekranda devam ediyor | Sonkoşul veya arıza kenarı yok | Beklenen durumları adlandırın ve mevcut ekran incelenen yolun dışında olduğunda durun |
| Nesne dedektörü yanlış sınıfı buluyor | Model veya etiketler uygulama alanına uymuyor; eşik doğrulanmadı | Uyumlu bir model kullanın, sürümü kaydedin ve puanlayın, negatif örnekleri test edin |
Android regresyon testiyle ilgili topluluk tartışmaları genellikle aynı bakım maliyetlerine dönüyor: cihaz matrisleri, değişken zamanlama, temel inceleme ve içeriği değişen ekranlar. Bunlar görsel testten vazgeçmek için nedenler değil. Bunlar test ortamını, kabul edilen varyansı ve başarısızlık eserlerini açıkça ortaya koymanın nedenleridir.
LaiCai Flow görsel teste nasıl uyuyor?
LaiCai Flow, LaiCai Screen Mirroring içindeki bir otomasyon özelliğidir. Bir Akış, ekran görüntüsü yakalamayı, kullanıcı arayüzü kontrollerini, OCR'yi, şablon eşleştirmeyi, nesne algılamayı, koşulları, eylemleri ve açık başarı veya başarısızlık geçişlerini birleştirebilir. Bu, bir test uzmanının, tanımayı izole bir hile olarak ele almak yerine ekranı bir durum olarak modellemesine olanak tanır.
LaiCai Flow Insideile uyumlu bir Profil, dağıtımdan sonra telefonda LaiCai Android Agent aracılığıyla çalıştırılabilir. Uyumluluk hâlâ o Profil tarafından kullanılan her düğüme ve varlığa bağlıdır. Yerel OCR, Tesseract'ı kullanır; şablon eşleştirme, seçilen bir resim varlığını ve yapılandırılabilir bir puanı kullanır; Uyumlu yerel algılama, desteklenen bir modeli kullanır. Bir ağ düğümü veya uzak modelin hâlâ kendi ağ bağımlılığına ihtiyacı vardır.
Bu, her görsel testi otomatik olarak güvenilir kılmaz. Ekiplerin hâlâ temsili temellere, şablonlara, OCR bölgelerine, modellere, eşiklere, olumsuz vakalara ve son koşullara ihtiyacı var. Önemli olan, bu kararların ve geçişlerin tek bir iş akışında gözden geçirilebilmesidir.AI Android otomasyon kılavuzu, yazma ve gerçek cihazda yürütmeye ilişkin daha geniş bir görünüm sağlar.
Başarısız bir görsel test için minimum kanıt paketi
- Test adı, uygulama derlemesi, cihaz modeli, Android sürümü, yerel ayar, tema ve yönlendirme.
- İddia tarafından kullanılan kaynak ekran görüntüsü veya kırpılmış bölge.
- Beklenen taban çizgisi, şablon, metin, sınıf veya kullanıcı arayüzü özelliği.
- Gözlemlenen fark, OCR sonucu, sınırlayıcı kutu, eşleşme puanı veya kullanıcı arayüzü değeri.
- Önceki adlandırılmış durum, denenen eylem, beklenen sonraki durum ve durdurma nedeni.
- İncelemecinin kararı yeniden oluşturabilmesi için varlık, model veya temel sürüm.
Bu bağlamın olmadığı bir başarılı/başarısız etiketi, bir sonraki kişiyi tüm çalışmayı yeniden oluşturmaya zorlar. Kompakt bir kanıt paketi, arızayı gözden geçirilebilir bir karara dönüştürür: ürünü düzeltin, testi stabilize edin, onaylanmış bir görsel varlığı güncelleyin veya desteklenmeyen bir cihaz yapılandırmasını reddedin.
Android görsel testi SSS
Her Android kullanıcı arayüzü testi bir ekran görüntüsü içermeli mi?
Hayır. Görünüm önemli olduğunda veya bir arızanın incelemeciye yardımcı olacağı durumlarda ekran görüntülerini kullanın. Anlamsal iddialar genellikle kullanıcı arayüzü ağacının güvenilir bir şekilde ortaya çıkardığı davranışlar için daha iyidir.
OCR görüntü eşleştirmeden daha mı iyi?
OCR görünür metinle ilgili soruları yanıtlar. Görüntü eşleştirme, bilinen bir görsel model hakkındaki soruları yanıtlar. Gereksinim hem etiketi hem de görünümünü içeriyorsa OCR'nin yanı sıra odaklanmış bir ekran görüntüsü veya şablon kontrolü kullanın.
Ekran görüntüsü testleri gerçek Android telefonlarda çalıştırılabilir mi?
Evet, ancak gerçek cihazlar, kontrollü ana bilgisayar tarafı oluşturucu veya emülatörden daha fazla çeşitlilik sunar. Cihaz yapılandırmasını kaydedin, sistem kullanıcı arayüzünü ve verilerini stabilize edin ve gerçekten desteklediğiniz cihaz matrisine ilişkin beklentileri belirleyin.
Nesne algılamayı ne zaman kullanmalıyım?
Anlamlı bir nesne sınıfı sabit bir şablonun toleransının ötesine geçtiğinde veya ölçeklendiğinde ve yalnızca uyumlu bir model uygulamanın gerçek görüntülerinde doğrulandığında bunu kullanın. Sırf daha gelişmiş geliyor diye dedektör eklemeyin.
Teknolojiyi seçmeden önce kanıtları seçin
Güvenilir Android görsel testi tek bir cümleyle başlar: Bir incelemeci neyi kanıtlayabilmelidir? Anlambilim için kullanıcı arayüzü durumunu, kompozisyon için ekran görüntülerini, metin için OCR'yi, bilinen bir görsel hedef için şablon eşleştirmeyi ve değişken geometrili doğrulanmış bir sınıf için nesne algılamayı seçin.
Daha sonra gözlemi durum geçişinin bir parçası haline getirin: istikrara kavuşturun, yakalayın, iddia edin, yalnızca başarıdan sonra harekete geçin, sonkoşulu doğrulayın ve başarısızlık kanıtlarını koruyun. Bu tasarımın anlaşılması, bağlantısız görüntü çağrıları koleksiyonundan daha kolaydır ve uygulama veya cihaz değiştiğinde bakımı çok daha kolaydır.
- Android Geliştiricileri: Ekran görüntüsü testi
- Android Geliştiricileri: Önizleme Ekran Görüntüsü Testi Oluşturma
- Android Geliştiricileri: UI Automator
- Appium: Görseller eklentisi ve karşılaştırma modları
- OpenCV: Şablon eşleştirme
- Tesseract: OCR kalitesini artırma
- Android geliştirici tartışması: ekran görüntüsü testi