より安全なAndroid画像認識自動クリックフローを構築します。現在の状態をマッチングし、検出されたターゲットをタップし、待って、次の画面を確認します。
画像認識の自動クリック者は、まず画面の状態を確認する必要があります。
固定座標の自動クリック者は、同じコントロールが毎回同じポイントの下にあると仮定しています。ダイアログが表示されたり、アニメーションがまだ実行されている場合、ディスプレイのスケールが変更されたり、リストが移動したり、アプリが別のページで開かれたりすると、この仮定は破られます。クリックはまだ正常に送信されるかもしれませんが、間違ったコントロールに送信されます。
画像認識は、行動する前に表示される画面を観察することでこれを改善します。しかし、検出だけでは十分ではありません。信頼性の高いAndroid自動クリックフローには、次の4つの質問を区別する必要があります。期待されるターゲットが表示されていますか？マッチングが十分に強く、期待される範囲内にありますか？タップが検出済みのターゲットに到達しましたか？画面が次の期待される状態に入りましたか？
このガイドでは、on-device Android自動化とLaiCai Flow Insideの間で、状態確認済みパターンを使用します。互換性のあるプロファイルとそのビジュアルアセットは、コンピュータから準備され、展開され、LaiCai Android Agentは承認されたフローを携帯電話でローカルに実行できます。目標は、より速いブラインドタッピングではありません。画面がもはや仮定と一致しなくなったときに停止するシーケンスです。
5段階のステートチェックタップパターン
- 開始状態を定義し、特徴的なボタンやアイコンなどの安定した視覚的ターゲットをキャプチャします。
- 意図的な自信しきい値と検索領域を使用して、現在のフレームに対して画像マッチングを実行します。
- 成功するマッチのみ、検出された長方形または中央をタップアクションにパスします。
- 同じフレームをすぐにチェックするのではなく、インターフェースの移行を待つ。
- 次の期待される状態を確認します。成功したら継続します。そうでなければ、停止し、明確な制限内でもう一度試行するか、レビューを求める必要があります。
各タップを孤立したジェスチャーではなく、状態移行として考えてください。最初の観察は前提条件です。タップは操作です。2番目の観察は後条件です。何かが欠落している場合、自動化は成功と間違った画面に表示されたジェスチャーまたは効果がなかったジェスチャーを区別できません。
このパターンはデバッグも簡単です。タップする前に失敗した場合、テンプレート、しきい値、検索領域、または開始画面を指します。タップ後に失敗した場合、タイミング、権限、ブロックされたジェスチャー、予期しないダイアログ、または別の次の状態を指します。単に「失敗」を報告する1つの長いマクロは、その区別を隠します。
適切な画面信号を選択する
| 信号 | 使用するときは | 主なリスク |
|---|---|---|
| 画像のマッチング | ボタン、アイコン、カード、またはダイアログには安定した視覚的な外観があります。 | テーマ、スケール、アニメーション、または再設計により、スコアが低下する可能性があります。 |
| UIセレクタ | アプリは、安定したテキスト、コンテンツの説明、またはリソース識別子を開示します。 | カスタムで描かれたものやキャンバスコンテンツには、有用な要素が表示されない場合があります。 |
| OCR | 目に見える文字は正確なピクセルよりも重要です。 | 言語、フォント、コントラスト、地域選択は認識に影響を与えます。 |
| オブジェクト検出 | ターゲットは、特定のテンプレートではなく、より広範なクラスに属しています。 | 互換性のあるモデルと有効なクラスを必要とします。 |
| 固定された座標 | レイアウトは制御されており、より良い状態信号が存在しません。 | どんな動きでもタップをリダイレクトできます。 |
状態を正確に記述する最も単純なシグナルを使用します。保存された画像テンプレートは、実行ごとに同じに見える特徴的なアイコンに適しています。OCRは、単語が安定している場合通常は優れていますが、スタイリングは変更される可能性があります。アプリがアクセス可能な構造を公開する場合、UIセレクタはピクセルよりも強力になる場合があります。オブジェクト検出は、認識されたクラスに役立ちますが、欠落しているボタンテンプレートの代わりにはなりません。
関連するAndroid OCRと画像認識自動化ガイドでは、これらの観察方法をより詳細に比較しています。この記事は、デバイス上の決定境界に焦点を当てています。ジェスチャーが結果を使用できる前に、観察は成功する必要があります。
LaiCai Flow Inside でパターンを構築します。
1. 安定したテンプレートと開始状態を用意する
明確なエッジと、近くのコントロールと区別するのに十分なユニークな詳細を持つターゲットを選択します。 変更中のカウンター、タイムスタンプ、ユーザー名、またはアニメーションを含む大きな領域をキャプチャしないでください。 最初のプロファイルと参照された画像アセットは、コンピューター上で準備されます。 展開中に、互換性のあるテンプレートはLaiCai Android Agentにバンドルされます。
2. 現在のフレームを一度マッチングします。
`vision.match`ノードは現在のフレームを一度だけ観察します。 1つ以上の保存されたテンプレートID、必要な最低スコア、マッチングモード、およびスクリーン比率の関心領域が必要です。 成功したマッチングは、最高のスコアと検出された中心と長方形を提供します。 失敗の結果は次のマッチングはありません。 ノードは隠された待機ループではありません。
3. 古い座標ではなく、検出された結果をタップします。
成功したマッチを`pointer.tap`に接続し、検出された長方形を`positionFrom`として使用します。通常、中心アンカーを使用します。これにより、アクションはそれを承認した観測と結びつきます。1回の実行から座標をコピーして、次の実行を固定座標マクロに戻さないでください。
4. 目に見える待機を追加する
タップした後、次の画面依存観察の前に明示的な`flow.wait`を追加します。正しい期間には、アプリ、デバイス、ネットワーク、アニメーションが関係します。表示される待ち時間はレビュー可能で調整できます。即時の再チェックは、古いフレームを観察するだけで済みます。
5. 次次の状態または停止を確認する
2番目の画像、OCR結果、またはUI状態を使用して、インターフェースが予想通りに変更されたことを証明します。たとえば、「削除」をタップした後、「確認」ダイアログが検出されることは、確認段階が表示されたことを証明するだけです。アイテムが削除されたことを証明するものではありません。後のチェックでは、最終リストの状態または成功メッセージを確認する必要があります。未処理の観察失敗を実際の失敗として残すか、繰り返しのチェックが要件の一部である場合は、制限付きのリトライを実装します。
自信、検索範囲、タイミング、テンプレートを調整する
- 測定された閾値から始めて、真の一致と視覚的に似た偽の候補の両方をテストします。 高いほど厳密ですが、任意の最大値は正当なスケールまたはレンダリングの変更を拒否できます。
- ターゲットが画面の既知の部分に属している場合は、検索領域を制限します。 より小さな領域は、誤検知を減らし、機能させることができますが、推測された領域は、有効な移動したターゲットを隠す可能性があります。
- 安定した視覚プロパティのマッチングモードを選択します。色が意味のある場合、色が役立ちます。グレーまたはエッジモードは、一部の色変化に耐える場合があります。詳細は実際の画面でテストする必要があります。
- 有効および無効のテーマなど、既知の状態での同じコントロールを表す場合、代替テンプレートは一緒に保持します。関連のないターゲットを1つのマッチに追加しないでください。
- Flowを実行する正確なデバイスサイズ、向き、テーマ、アプリバージョンをテストします。インターフェースの重要な更新後、再度テストしてください。
- エラーが発生した場所を記録します。マッチスコア、選択されたアセット、検出された長方形、待機時間、次の状態の結果は、一般的なマクロエラーよりも役立ちます。
成功例だけにチューニングしないでください。期待される画面から始めてください。ターゲットが欠落している画面、似たようなアイコンがある画面、遅いトランジション、ターゲットを覆うポップアップがある画面です。自動化は、ハッピーパスが一度完了するだけでなく、ネガティブなケースが安全に停止するときに信頼できるものです。
ステートチェック済み画像タップの実際的な用途
モバイルQAとスモークテスト
既知の画面が表示されることを確認し、1つのコントロールをタップし、待って、次の状態をキャプチャします。 これは、承認されたデバイスでの繰り返し可能なスモークテストパスに役立ちます。PCへのAndroid画面ミラーリングまたはMacは、テスト者がFlowの準備とデバッグ中に実際の電話を確認するのに役立ちます。
ダイアログとリカバリ処理
一致するアクションを選択する前に、特定の再試行、許可、または接続ダイアログを検出します。 一般的な「OK」タップを作成しないでください。同じ単語は、異なるダイアログでまったく異なるアクションを承認できます。
内部アプリの操作を繰り返す
制御されたビジネスアプリでは、Flowは次のアイテムを開く前に、または承認済みのフォームを送信する前に現在のページを確認できます。視覚的なチェックを、明示的な入力境界、最終状態チェック、および例外のヒューマンハンドオフと組み合わせます。
デバイス上の個人的なルーチン
互換性のあるFlowは、デプロイ後にデスクトップが接続されていなくても、電話で継続できます。ローカル専用ワークフローはローカルに保ちます。プロファイルがHTTPエンドポイント、リモートモデル、ウェブフック、またはメッセージサービスを呼び出す場合、その特定のワークフローにはネットワークアクセスが必要です。
権限と安全境界
Androidでは、視覚自動化とジェスチャー自動化は、システム機能の敏感な部分を使用します。アクセシビリティサービスがジェスチャーを送信するためにジェスチャー機能を宣言する必要があるAndroidドキュメントは、画面キャプチャには独自の承認とライフサイクルが必要です。LaiCai Flow Insideでは、画像マッチングはアクティブなMediaProjection画面セッションと電話側の前景色の実行を使用し、タップはアクセシビリティを使用します。
自動化は、操作する権限のあるデバイス、アカウント、およびアプリのみに使用してください。一部のアプリまたはデバイスビルドでは、アクセシビリティジェスチャーをブロックまたは無視する場合があります。画像のマッチングが成功しても、後続のタップが受け入れられるとは限りません。観察とジェスチャー配信を別々に診断してください。
支払い、アカウントの変更、破壊的な削除、プライベートデータ、および不可逆的なアクションは、明示的なレビューまたは非常に狭い条件の後ろに保ちます。 自動クリック者を使用して偽のエンゲージメントを作成したり、プラットフォームの制御を回避したり、アプリの条件に違反したりしないでください。 最安全なフローは、実行する前に許可された状態、アクション、停止条件、証拠が表示されるフローです。
無人で使用する前にテストチェックリストを実行する。
- 正確な予想される起動画面から3回実行します。
- 間違った画面から始め、タップがないことを確認します。
- ターゲットを覆ったり外したりして、失敗した場合に一致が確認されることを確認します。
- 見た目が似たようなコントロールを表示し、閾値と領域がそれを拒否していることを確認します。
- App やネットワークの速度を遅くして、待機と後続条件が安全に動作することを確認します。
- デバイスを回転させたり、ディスプレイのスケールを変更したりするのは、それらのモードがサポートされている場合にのみ行う必要があります。その後、テンプレートを再度テストします。
- 必要なスクリーンキャプチャまたはアクセシビリティ機能を無効にするか、中断して、エラーが表示されていることを確認します。
- タスクの結果を証明する最終画面、ログ、スクリーンショット、または出力を確認します。
1つの境界付きトランジションから始めます。信頼性があるようになったら、繰り返されるマルチノードアクションを小さな名前付きの子フローに抽出し、メインフローを読み取りやすく保ちます。LaiCai Flow Insideチュートリアルは、準備と展開境界を説明しています。AI Android自動化ページは、デスクトップアシストワークフローの構築とデバッグをカバーしています。
Android画像認識自動クリックFAQ
画像認識は常に固定された座標よりも安全ですか？
テンプレート、閾値、地域、タイミング、および失敗パスをテストした場合のみ、より安全です。弱いまたは過度に広範な一致は、それでも間違ったターゲットを選択する可能性があります。
画像が表示されるまで、フローは一致し続けるべきですか？
単一の画像マッチングノードは一度だけ観察する必要があります。待機が必要な場合は、明確な間隔、タイムアウト、または試行制限を備えた構造を使用して、動作が表示されるままに明示的な再試行を使用するか、それまで使用する必要があります。
検出された位置を直接タップに使用できますか？
はい。成功したビジュアルノードが検出した長方形または中心を使用するタップソースとして使用します。これにより、観察とアクションの間の関係を維持できます。
これは電話で完全にオフラインで実行できますか？
プロファイルに配置された各ノードと資産がローカルで実行されている場合、実行できます。画像のマッチング、待ち、ジェスチャー、およびローカルチェックはデバイス上で残すことができます。リモートモデル、HTTPリクエスト、ウェブフック、クラウド同期、またはメッセージサービスは、ネットワーク依存性を追加します。
すべてのタップを監査可能な状態移行にします
主な改善点は概念的なものです。タップする場所だけを尋ねるのではなく、タップする前に何が真実である必要があるか、観察された結果がジェスチャーを承認するかどうか、インターフェースがどれくらい変更する必要があるか、次の状態が到着したことを証明するものかを尋ねる必要があります。
LaiCai Screen Mirroringには、この決定論的な電話側のパターンのためのLaiCai Flow Insideが含まれています。一度観察し、成功または失敗の結果に従い、検出された画面比率結果からタップし、目に見えて待って、再び観察します。コンピュータで互換性のあるプロファイルを準備して検証し、承認されたアセットと一緒に展開し、LaiCai Android Agentが定義した状態とトランジションのみを実行するようにします。