Android Görüntü Tanıma Otomatik Tık: Tıklamadan Önce Durumu Kontrol Edin

Daha güvenli bir Android görüntü tanıma otomatik tıklama akışı oluşturun: mevcut durumu eşleştirin, algılanan hedefi tıklayın, bekleyin ve bir sonraki ekrana doğrulayın.

Bir görüntü tanıma otomatik tıklayıcı, önce ekran durumunu kanıtlamalıdır.

Sabit koordinatlı bir otomatik tıklayıcı, aynı kontrolün her seferinde hala aynı noktada olacağını varsayar. Bir iletişim kutusu görünürken, bir animasyon hala çalışırken, görüntü ölçeği değişirken, bir liste hareket ederken veya uygulama farklı bir sayfada açılırken bu varsayım bozulur. Tık yine de başarıyla gerçekleştirilebilir, ancak yanlış kontrole.

Görüntü tanıma, harekete geçmeden önce görünür ekranı gözlemleyerek bunu iyileştirir. Ancak tek başına algılama yeterli değildir. Güvenilir bir Android otomatik tıklama akışı, dört soruyu ayırmalıdır: Beklenen hedef görünür mü? Karışım yeterince güçlü ve beklenen alana mı giriyor? Dokunuş tespit edilen hedefe ulaştı mı? Ekran sonraki beklenen duruma girdi mi?

Bu kılavuz,on-device Android otomasyonu için LaiCai Flow Insideile devlet tarafından kontrol edilmiş bir şablon kullanır. Uyumlu bir Profil ve görsel varlıkları bir bilgisayardan hazırlanır ve dağıtılır, ardından LaiCai Android Agent onaylanmış Akışı yerel olarak telefonda çalıştırabilir. Amaç daha hızlı kör dokunma değildir. Ekran artık varsayımlarla eşleşmediğinde duran bir dizidir.

Beş adımlı devlet tarafından kontrol edilen dokunma düzeni

1. Başlangıç durumunu tanımlayın ve belirgin bir düğme veya simge gibi istikrarlı bir görsel hedef yakalayın.
2. Kasıtlı bir güven eşiği ve arama bölgesi ile mevcut kareye karşı bir görüntü eşleştirmesi yapın.
3. Sadece başarılı bir maçta, tespit edilen dikdörtgeni veya ortayı dokunma eylemine geçirin.
4. Aynı kareyi hemen kontrol etmek yerine arayüz geçişini bekleyin.
5. Beklenen sonraki durumu gözlemleyin. Başarılı olduğunda devam edin; aksi takdirde durun, açık bir sınır içinde tekrar deneyin veya inceleme isteyin.

Her dokunuşu izole bir hareket olarak değil, bir durum geçişi olarak düşünün. İlk gözlem ön koşuldur. Dokunuş işlemdir. İkinci gözlem son koşuldur. Herhangi bir parça eksikse, otomasyon başarıyı yanlış ekranda gerçekleşen bir hareketten veya hiçbir etkisi olmayan bir hareketten ayırt edemez.

Bu düzen ayrıca hata ayıklama için de daha kolaydır. Dokunma noktasından önceki bir başarısızlık şablonuna, eşik değerine, arama bölgesine veya başlangıç ekranına işaret eder. Dokunma noktasından sonraki bir başarısızlık zamanlama, izin, engellenmiş bir jest, beklenmedik bir iletişim kutusu veya farklı bir sonraki duruma işaret eder. Sadece "başarısız" bildiren tek bir uzun makro bu ayrımı gizler.

Doğru ekran sinyalini seçin

Durumu doğru bir şekilde tanımlayan en basit sinyali kullanın. Kaydedilmiş bir görüntü şablonu, her çalışmada aynı görünen belirgin bir simge için iyi bir uyum sağlar. OCR, kelime istikrarlı olduğunda genellikle daha iyidir, ancak stilizasyonu değişebilir. Uygulama erişilebilir yapıyı ortaya çıkardığında, kullanıcı arayüzü seçicileri piksellerden daha güçlü olabilir. Nesne tespiti, tanınmış sınıflar için yararlıdır, eksik bir düğme şablonunun yerine kullanılmak için değil.

İlgiliAndroid OCR ve görüntü tanıma otomasyonu kılavuzubu gözlem yöntemlerini daha derinlemesine karşılaştırır. Bu makale, cihazdaki karar sınırına odaklanmaya devam eder: bir jestin sonucunu kullanabilmesi için bir gözlem başarısız olamaz.

Deseni LaiCai Flow Inside adresinde oluşturun

1. Sabit bir şablon ve başlangıç durumunu hazırlayın

Açık kenarlara ve yakındaki kontrollerden onu ayırt etmek için yeterli benzersiz ayrıntıya sahip bir hedef seçin. Değişen sayacılar, zaman damgaları, kullanıcı adları veya animasyonları içeren büyük bir bölgeyi yakalamaktan kaçının. İlk Profil ve referanslanan görüntü varlıkları bir bilgisayarda hazırlanır. Dağıtım sırasında, uyumlu şablon LaiCai Android Agent için paketlenir.

2. Mevcut kareyi bir kez eşleştirin

`vision.match` düğümü mevcut kareyi bir kez gözlemler. Bir veya daha fazla kaydedilmiş şablon kimliği, gerekli minimum puan, eşleşme modu ve ilgi çekici ekran oranı bölgesi gereklidir. Başarılı bir eşleşme en iyi puanı ve tespit edilen merkezi ve dikdörtgeni sağlar. Başarısızlık sonucu hiçbir eşleşme takip edilmez; düğüm gizli bir bekleme döngüsü değildir.

3. Tespit edilen sonucu, eski bir koordinat değil, dokunun.

Başarılı eşleşmeyi `pointer.tap`'a bağlayın ve tespit edilen dikdörtgeni normalde merkez sabiti ile `positionFrom` olarak kullanın. Bu, eylemin yetkilendiren gözlemle bağlantılı kalmasını sağlar. Koordinatları bir çalışmadan kopyalamayın ve bir sonraki çalışmayı sabit koordinatlı bir makroya çevirmeyin.

4. Görünür bir bekleme ekleyin

Bir dokunuştan sonra, bir sonraki ekran bağımlı gözlemden önce açıkça `flow.wait` ekleyin. Doğru süre uygulama, cihaz, ağ ve animasyona bağlıdır. Görünür bir bekleme gözden geçirilebilir ve ayarlanabilir; anında yeniden kontrol, basitçe eski kareyi gözlemleyebilir.

5. Bir sonraki durumu doğrulayın veya durun

Arayüzün beklendiği gibi değiştiğini kanıtlamak için ikinci bir resim, OCR sonucu veya kullanıcı arayüzü durumunu kullanın. Örneğin, "Sil" düğmesine dokunduktan sonra bir "Onayla" iletişim kutusunu algılamak, yalnızca onaylama aşamasının ortaya çıktığını kanıtlar; öğenin silindiğini kanıtlamaz. Daha sonraki bir kontrol, son liste durumunu veya başarı mesajını doğrulamalıdır. İşlem görmediği bir gözlem başarısızlığını gerçek bir başarısızlık olarak bırakın veya tekrar eden kontrolün gereksiniminin bir parçası olduğunda sınırlandırılmış tekrar denemesi uygulayın.

Güvenliği, arama alanını, zamanlamayı ve şablonları ayarlayın

• Ölçülmüş bir eşikten başlayın, ardından hem doğru eşleşmeleri hem de görsel olarak benzer yanlış adayları test edin. Daha yüksek, daha katıdır, ancak keyfi bir maksimum yasal ölçek veya görüntüleme değişikliklerini reddedebilir.
• Hedefin ekranın bilinen bir bölümüne ait olduğunda arama bölgesini sınırlayın. Daha küçük bir bölge yanlış pozitifleri azaltabilir ve işe yarayabilir, ancak tahmin edilen bir bölge geçerli bir hareketli hedefi gizleyebilir.
• Sabit kalan görsel özelliğin için eşleştirme modunu seçin. Renk anlamlı olduğunda yardımcı olabilir; gri veya kenar modları bazı renk değişikliklerine tahammül edebilir; detaylar gerçek ekrana karşı test edilmelidir.
• Etkinleştirilmiş ve devre dışı bırakılmış temalar gibi bilinen durumlarda aynı kontrolü temsil ettiğinde alternatif şablonları birlikte tutun. İlgisiz hedefleri bir eşleşmeye eklemeyin.
• Flow'u çalıştıracak tam cihaz ölçeğini, yönünü, temasını ve uygulama sürümünü test edin. Önemli bir arayüz güncellemesinin ardından tekrar test edin.
• Başarısızlığın nerede gerçekleştiğini kaydedin. Bir maç puanı, seçilen varlık, tespit edilen dikdörtgen, bekleme süresi ve sonraki durum sonucu, genel bir makro hatasından daha kullanışlıdır.

Sadece başarılı örneklere göre ayarlamayın. Beklenen ekranda başlayın, hedefin yok olduğu bir ekran, benzer bir simgeye sahip bir ekran, yavaş bir geçiş ve hedefi kaplayan bir açılır pencere. Otomasyon, olumsuz durumlar güvenli bir şekilde durduğunda güvenilirdir, sadece mutlu yol bir kez tamamlandığında değil.

Devlet tarafından kontrol edilen görüntü tuşları için pratik kullanımlar

Mobil QA ve duman testleri

Bilinen bir ekranın ortaya çıktığını doğrulayın, bir kontrolü tıklayın, bekleyin ve bir sonraki durumu yakalayın. Bu, yetkili cihazlarda tekrarlanabilir bir duman testi yolu için kullanışlıdır.PC'ye Android ekran yansıtması veya Mac, testçinin Flow'u hazırlarken ve hata ayıklarken gerçek telefoni incelemesine yardımcı olur.

Diğerleştirme ve kurtarma işleme

Eşleşen eylemi seçmeden önce belirli bir yeniden deneme, izin veya bağlantı iletişim kutusunu tespit edin. Evrensel bir "Tamam" dokunuşu oluşturmayın: aynı kelime farklı iletişim kutularında çok farklı eylemleri onaylayabilir.

Tekrarlanan dahili uygulama işlemleri

Kontrollü bir iş uygulaması için, bir Flow, bir sonraki öğeyi açmadan veya onaylanmış bir formu göndermeden önce mevcut sayfayı kontrol edebilir. Görsel kontrolü açık girdiler sınırları, son durum kontrolü ve istisnalar için insan el devretmesiyle eşleştirin.

Kişiselleştirilmiş cihaz içi rutinler

Uygun bir Akış, dağıtımdan sonra masaüstü bağlı kalmadan telefonda devam edebilir. Sadece yerel iş akışlarını yerel tutun; bir Profil bir HTTP uç noktasını, uzaktan modeli, webhook'u veya mesaj servisini çağırırsa, bu belirli iş akışı ağ erişimi gerektirir.

Yetkilendirmeler ve güvenlik sınırları

Android'de görsel otomasyon ve jest otomasyonu hassas sistem yeteneklerini kullanır. Erişilebilirlik hizmetleri, jestleri gönderirken jest yeteneklerini bildirmelidir. Ekran yakalaması ise kendi yetkisini ve yaşam döngüsünü gerektirir. LaiCai Flow Inside'da görüntü eşleştirme, aktif MediaProjection ekran oturumunu ve telefon tarafı ön plan yürütmesini kullanır; dokunma, Erişilebilirlik'i kullanır.

Otomasyonu yalnızca çalıştırmanıza yetkili olduğunuz cihazlarda, hesaplarda ve uygulamalarda kullanın. Bazı uygulamalar veya cihaz yapılandırmaları erişilebilirlik hareketlerini engelleyebilir veya görmezden gelebilir. Başarılı bir görüntü eşleşmesi, daha sonraki bir dokunuşun kabul edileceğini garanti etmez. Gözlem ve hareket teslimatını ayrı ayrı teşhis edin.

Ödemeleri, hesap değişikliklerini, yıkıcı silinmeleri, özel verileri ve geri dönüşümsüz eylemleri açık inceleme veya çok dar koşullar altında saklayın. Sahte etkileşim oluşturmak, platform kontrollerinden kaçınmak veya bir uygulamanın şartlarını ihlal etmek için otomatik tıklayıcıları kullanmayın. En güvenli Flow, çalışmadan önce izin verilen durumunun, eyleminin, durdurma koşulunun ve kanıtının görünür olduğu Flow'dur.

Bakımsız kullanımdan önce test kontrol listesini kontrol edin

1. Tam olarak beklenen başlangıç ekranından üç kez kaçının.
2. Yanlış ekrandan başlayın ve hiçbir dokunuş olmadığından emin olun.
3. Hedefi kapatın veya kaldırın ve eşleşmenin başarısızlığın ardından gerçekleştiğini doğrulayın.
4. Benzer görünen bir kontrol sunun ve eşik ve bölgenin onu reddedip reddedmediğini kontrol edin.
5. Uygulamayı veya ağı yavaşlatın ve bekleme ve son koşulu güvenli bir şekilde çalıştığını doğrulayın.
6. Cihazı döndürün veya görüntü ölçeğini yalnızca bu modlar destekleniyorsa değiştirin, ardından şablonları tekrar test edin.
7. Gerekli ekran yakalama veya erişilebilirlik özelliğini devre dışı bırakın veya kesintiye uğratın ve hatanın görünür olup olmadığını doğrulayın.
8. Görev sonucunu kanıtlayan son ekranı, günlükleri, ekran görüntülerini veya çıktıları inceleyin.

Tek bir sınırlandırılmış geçişle başlayın. Güvenilir hale geldiğinde, tekrarlanan çok düğümlü eylemleri küçük bir adlandırılmış çocuk Akış'a aktarın ve ana Akış'ı okunabilir tutun.LaiCai Flow Inside eğitim videosuhazırlık ve dağıtım sınırını açıklar;AI Android otomasyon sayfasımasaüstü destekli iş akışı oluşturmayı ve hata ayıklamayı kapsar.

Android görüntü tanıma otomatik tıklama SSS

Görüntü tanıma her zaman sabit koordinatlardan daha güvenli midir?

Sadece şablon, eşik, bölge, zamanlama ve başarısızlık yolu test edildiğinde daha güvenli olur. Güçsüz veya aşırı geniş bir eşleşme hala yanlış hedefe seçebilir.

Flow, görüntü görünene kadar eşleşmeye devam etmeli mi?

Tek bir görüntü eşleştirme düğümü yalnızca bir kez gözlemlemelidir. Bekleme gerekiyorsa, davranışın görünür kalması için açık bir aralık, zaman aşımı veya deneme sınırı olan bir yapı kullanın veya açıkça bir tekrar deneyin.

Tespit edilen konum doğrudan dokunma için kullanılabilir mi?

Evet. Başarılı görsel düğümün algılanan dikdörtgenini veya merkezini dokunma kaynağı olarak kullanın. Bu, gözlem ve eylem arasındaki ilişkiyi korur.

Bu telefon üzerinden tamamen çevrimdışı olarak çalışabilir mi?

Yüklenen Profildeki her düğüm ve varlık yerel olarak çalıştığında çalışabilir. Görsel eşleştirme, bekleme, jestler ve yerel kontroller cihazda kalabilir. Herhangi bir uzaktan model, HTTP isteği, webhook, bulut senkronizasyonu veya mesaj hizmeti bir ağ bağımlılığı ekler.

Her tıklamayı izlenebilir bir durum geçişine dönüştürün

Anahtar iyileştirme kavramsaldır: yalnızca nerede dokunulacağını sormayın. Dokunmadan önce neyin doğru olmasının gerektiğini, gözlemlenen sonucu jesti yetkilendiren şeyi, arayüzün ne kadar süre değişmesi gerektiğini ve bir sonraki durumun geldiğini kanıtlayan şeyi sorun.

LaiCai Screen Mirroring, bu deterministik telefon tarafı modeli için LaiCai Flow Inside'i içerir: bir kez gözlemleyin, başarı veya başarısızlık sonucunu takip edin, tespit edilen ekran oranı sonucundan dokunun, görünür bir şekilde bekleyin ve tekrar gözlemleyin. Uyumlu Profili bir bilgisayarda hazırlayın ve doğrulayın, onaylanmış varlıklarıyla dağıtın ve LaiCai Android Agent'nin yalnızca tanımladığınız durumları ve geçişleri çalıştırmasına izin verin.

• Android Erişilebilirlik Hizmeti API'si
• Android erişilebilirlik hizmeti kılavuzu
• Klick'r Akıllı AutoClicker projesi
• Klick'r tıklayın ve tespit sorun giderme
• EmuloMobile görüntü tanıma makroları
• Bir görüntü tanıma otomatik tıklayıcı için kullanıcı talebi
• Yanlış bir kullanıcı arayüzü tıklamasından kaynaklanan kullanıcı raporu