Dowiedz się, kiedy automatyzacja Androida powinna korzystać z selektorów interfejsu użytkownika, OCR, dopasowywania szablonów lub wykrywania obiektów i jak bezpiecznie zatrzymać się, gdy dowody wizualne są niepewne. LaiCai Screen Mirroring.
Automatyzacja wizualna zaczyna się od decyzji, a nie dotknięcia.
Automatyzacja Androida staje się niestabilna, gdy przepływ pracy zakłada, że następny przycisk znajduje się zawsze w tej samej współrzędnej. Ekrany urządzeń mobilnych zmieniają się w zależności od rozmiaru urządzenia, języka, skali czcionki, stanu klawiatury, uprawnień, taktowania sieci i aktualizacji aplikacji. Bezpieczniejszy przepływ pracy najpierw obserwuje bieżący ekran, wybiera dowody, sprawdza, czy wynik jest wystarczająco dobry, a dopiero potem wykonuje akcję. Ten wzorzec „obserwuj-wybierz-działaj” jest podstawą automatyzacji wizualnego interfejsu użytkownika.
W LaiCai Flow węzły obserwacyjne, takie jak analizowanie interfejsu użytkownika, wyszukiwanie interfejsu użytkownika, OCR, dopasowywanie szablonów i wykrywanie obiektów, nie klikają same. Zwracają ustrukturyzowane wyniki. Oddzielny krok danych może wybrać najlepszy element, a krok wskaźnika może dotknąć jego środka. To oddzielenie umożliwia przeglądanie wykresu i zapobiega sytuacji, w której wynik rozpoznania staje się po cichu działaniem.
W przypadku LaiCai Screen Mirroring użyteczną obietnicą nie jest doskonałe rozpoznanie. Jest to widoczny przepływ pracy automatyzacji systemu Android, w którym zespoły mogą sprawdzać zrzuty ekranu, dane wyjściowe rozpoznawania, progi, dzienniki, rozgałęzienia i warunki zatrzymania przed powtórzeniem zadania na autoryzowanych urządzeniach lub emulatorach.
Wybierz selektory interfejsu użytkownika przed OCR, gdy struktura jest niezawodna.
Dostępność i hierarchia interfejsu użytkownika systemu Android mogą ujawniać tekst, opisy treści, granice, nazwy klas i inne właściwości strukturalne. Gdy cel pojawia się niezawodnie w tej hierarchii, selektor interfejsu użytkownika jest zwykle łatwiejszy w utrzymaniu niż OCR lub dopasowywanie obrazu. Może pozostać przydatny w przypadku różnych motywów, drobnych zmian kolorów i różnych gęstości pikseli.
Zacznij od sprawdzenia bieżącego drzewa interfejsu użytkownika. Wyszukaj stabilny tekst lub opis treści, a następnie przefiltruj lub wybierz wynik przed dotknięciem. Nie zakładaj, że wyrażenie takie jak „znajdź widoczny tekst” musi zawsze oznaczać OCR; Dowód ekranowy powinien rozstrzygnąć. Selektor strukturalny jest preferowany, gdy aplikacja udostępnia znaczącą strukturę.
Selektory nadal mają ograniczenia. Widoki kanwy, gry, powierzchnie przesyłane strumieniowo, renderowanie niestandardowe i niektóre widoki WebView mogą udostępniać mało użyteczną hierarchię. Przetłumaczone etykiety również się zmieniają. Kiedy cel jest widoczny dla osoby, ale nie ma go w drzewie interfejsu użytkownika, OCR lub rozpoznawanie obrazu staje się rozsądnym rozwiązaniem zastępczym, a nie domyślnym pierwszym narzędziem.
Użyj OCR, gdy tekst jest widoczny, ale selektory są niedostępne.
OCR jest przydatny, gdy znaczenie biznesowe jest niesione przez widoczne słowa: status zamówienia, zlokalizowana etykieta, komunikat potwierdzający, baner błędu, cena, nazwa konta testowego lub wynik wyszukiwania. Flow może przechwycić ekran, odczytać ograniczony obszar lub pełną klatkę, znormalizować wynik i porównać go z oczekiwanym tekstem przed kontynuowaniem.
OCR jest probabilistyczny. Małe czcionki, kompresja, gradienty, animacje, nietypowe skrypty, niski kontrast i nakładające się elementy sterujące mogą obniżyć dokładność. Ustalony region może również nie trafić w cel w przypadku zmiany układu, orientacji, klawiatury lub ustawień regionalnych. Dlatego LaiCai traktuje regiony OCR wielokrotnego użytku jako jawne aktywa; utworzenie stałego regionu wymaga od użytkownika zrozumienia tego założenia pozycyjnego.
Wiarygodna kontrola rejestruje zarówno rozpoznany tekst, jak i zrzut ekranu użyty do jego utworzenia. Jeśli to możliwe, stosuj zasadę minimalnej pewności, zaakceptuj niewielki zestaw uzasadnionych wariantów i zakończ, podając czytelny powód, jeśli brakuje wymaganego tekstu. Nigdy nie przekształcaj wyniku OCR o niskiej pewności bezpośrednio w destrukcyjne dotknięcie.
Użyj dopasowywania szablonów w przypadku stabilnych celów wizualnych
Dopasowywanie szablonów jest odpowiednie, gdy stabilny cel wizualny nie ma niezawodnego selektora tekstu lub interfejsu użytkownika: charakterystycznej ikony, odznaki, sterowania grą, niestandardowej grafiki potwierdzającej lub przycisku zawierającego tylko obraz. Szablon powinien pochodzić z rzeczywiście przechwyconego ekranu, a przepływ powinien odwoływać się do istniejącego zasobu, zamiast wymyślać plik lub cel.
Jakość dopasowania zależy od jakości kadru, skali, motywu, trybu koloru, animacji i regionu wyszukiwania. Ciasny szablon może być charakterystyczny, ale kruchy; szerokie przycięcie może obejmować zmianę treści. Zespoły powinny testować więcej niż jeden realistyczny stan urządzenia i utrzymywać próg na tyle wysoki, aby uniknąć niepowiązanych meczów bez uniemożliwiania normalnych zmian.
Bieżący kontekst zasobów LaiCai potwierdza, że szablony są nazwanymi zasobami wielokrotnego użytku, a dopasowywanie obsługuje obszar wyszukiwania punktacji, trybu i proporcji ekranu. W artykule nie twierdzono, że jeden szablon działa wszędzie. Tryb ciemny, lokalizacja, responsywny układ lub przeprojektowanie mogą wymagać selektora, innego szablonu lub celowego zatrzymania.
Wykrywanie obiektów rozwiązuje inny problem
Wykrywanie obiektów nie jest silniejszą wersją OCR. Odpowiada na inne pytanie: gdzie znajduje się instancja przeszkolonej klasy, takiej jak osoba, pojazd lub obiekt specyficzny dla produktu? OCR wyodrębnia tekst; dopasowywanie szablonów sprawdza podobieństwo wizualne; wykrywanie znajduje klasy zdefiniowane przez model.
Używaj wykrywania tylko wtedy, gdy dostępny model zawiera klasę wymaganą przez przepływ pracy. Przepływ musi czytać metadane modelu i listę klas, zamiast zgadywać etykiety. Dane wyjściowe detekcji nadal wymagają logiki wyboru — na przykład najwyższej pewności, najbliższego środka lub wszystkich elementów powyżej progu — przed jakąkolwiek akcją wskaźnika.
W przypadku zwykłych przycisków aplikacji selektory interfejsu użytkownika, OCR lub szablony są często prostsze. Wykrywanie staje się przydatne w przypadku zmiennych obiektów, których wygląd lub położenie zmienia się. Powinien nadal pozostawiać dowody i zatrzymywać się, gdy pewność, klasa lub liczba nie spełniają oczekiwań przepływu pracy.
Zbuduj bezpieczny przepływ obserwuj – wybierz – działaj
Bezpieczny przepływ można wyrazić w sześciu widocznych etapach: przechwycenie stanu, sprawdzenie struktury interfejsu użytkownika, wybór odpowiedniej metody rozpoznawania, wybór wyniku, zweryfikowanie pewności lub znaczenia biznesowego i podjęcie działań. Po akcji poczekaj, aż ekran się uspokoi i ponownie obserwuj.
Rozważ kontrolę jakości lokalizacji. Otwórz kompilację testową, poczekaj na ekran główny, nawiguj przy użyciu stabilnych selektorów, przechwyć przetłumaczony ekran, uruchom OCR na nagłówku, zapisz zrzut ekranu i zatrzymaj się, jeśli nie ma oczekiwanej zlokalizowanej frazy. Flow generuje dowody bez zmiany danych produkcyjnych.
Zachowaj konserwatywną obsługę awarii. Jeśli funkcja wyszukiwania interfejsu użytkownika nie zwróci żadnego elementu, OCR nie pominie wymaganego tekstu, wynik szablonu jest zbyt niski lub funkcja wykrywania znajdzie nieoczekiwaną liczbę, pozwól, aby przepływ uległ awarii lub rozgałęził się na jasną ścieżkę dowodu i zatrzymania. Nie odsyłaj niepowodzenia do tej samej akcji w niewidocznej pętli ponawiania.
Rozwiązywanie problemów z rozpoznawaniem bez ukrywania niepewności
Jeśli rozpoznawanie się nie powiedzie, najpierw sprawdź zrzut ekranu i nieprzetworzony wynik, zamiast obniżać każdy próg. Upewnij się, że aplikacja znajduje się na oczekiwanej stronie, klawiatura lub okno dialogowe uprawnień nie zakrywa celu, czas oczekiwania jest wystarczająco długi, a obszar wyszukiwania zawiera element.
W przypadku OCR porównaj skrypty, odstępy, interpunkcję, wielkie litery i prawdopodobne podstawienia znaków. W przypadku szablonów sprawdź dopasowanie skali, motywu, kadrowania i konkurencji. W przypadku wyszukiwania interfejsu użytkownika sprawdź, czy cel znajduje się poza ekranem lub jest ukryty w hierarchii. Aby wykryć, sprawdź wybrany model i jego rzeczywistą listę klas.
Zmień jedną zmienną na raz i ponownie uruchom sondę tylko do odczytu, jeśli to możliwe. Niższy próg może zwiększyć liczbę zapamiętań, ale także liczbę fałszywych alarmów. Większy region może znaleźć cel, ale spowoduje odwrócenie uwagi. Właściwym rezultatem nie jest „przejście węzła”; jest to dowód wystarczająco mocny, aby umożliwić podjęcie kolejnego zatwierdzonego działania.
Praktyczne przepływy pracy w zakresie kontroli jakości, lokalizacji i wsparcia
Zespoły kontroli jakości mogą korzystać z kontroli wizualnej pod kątem ścieżek dymu, banerów błędów, okien dialogowych wyrażających zgodę, zrzutów ekranu i dowodów wydania. Zespoły lokalizacyjne mogą porównywać nagłówki, obcięte etykiety, brakujące tłumaczenia i nieoczekiwany tekst zastępczy na różnych urządzeniach i w różnych językach. Zespoły pomocy technicznej mogą odtworzyć zgłoszoną ścieżkę i przekazać zrzuty ekranu oraz dzienniki programistom.
Te przepływy pracy uzupełniają testy jednostkowe, instrumentacyjne i integracyjne na poziomie kodu; ich nie zastępują. Kontrole wizualne są szczególnie przydatne w przypadku renderowanego stanu, który widzi dana osoba, podczas gdy testy na poziomie kodu są lepsze w przypadku wewnętrznej logiki i twierdzeń deterministycznych.
Skorzystaj z przeglądu narzędzia do automatyzacji AI dla Androida, przewodnika LaiCai Flow, przewodnika dotyczącego tworzenia kopii lustrzanych ekranu Androida oraz przebiegu testowania aplikacji mobilnych jako następnej ścieżki czytania.
Lista kontrolna przeglądu przed pierwszym rzeczywistym uruchomieniem
Przed pierwszym rzeczywistym uruchomieniem upewnij się, że urządzenie i aplikacja są autoryzowane, stan początkowy jest jawny, a przepływ pracy nie zgaduje pakietów, zasobów, współrzędnych ani klas modeli. Sprawdź, czy każdy wynik rozpoznawania jest wybierany celowo i czy wrażliwe działania wymagają rygorystycznego warunku lub weryfikacji ręcznej.
Sprawdź, czy zrzuty ekranu i dzienniki nie ujawniają prywatnych danych klientów. Dodaj wyraźną granicę zatrzymania przed płatnością, usunięciem, ustawieniami konta, wiadomościami wychodzącymi lub nieodwracalnymi zmianami w produkcji. Unikaj fałszywego zaangażowania, spamu, nadużyć na koncie, uchylania się od zasad, kradzieży prywatnych danych i oszukiwania w grach.
Na koniec obejrzyj pierwsze przejście przez lustrzany ekran Androida. Przejrzyj razem wykres, stan interfejsu użytkownika, tekst OCR, wyniki dopasowania, wybrane granice, zrzuty ekranu i powód zatrzymania. Niezawodna automatyzacja OCR i rozpoznawania obrazów w systemie Android opiera się na możliwych do sprawdzenia dowodach, a nie teatrze zaufania.