Android オートメーションで UI セレクター、OCR、テンプレート マッチング、オブジェクト検出を使用する必要がある場合と、視覚的な証拠が不確実な場合に安全に停止する方法について説明します。 LaiCai Screen Mirroring.
ビジュアル オートメーションはタップではなく決定から始まります
ワークフローが次のボタンが常に同じ座標にあると想定している場合、Android オートメーションは脆弱になります。モバイル画面は、デバイスのサイズ、言語、フォント スケール、キーボードの状態、権限、ネットワークのタイミング、アプリの更新によって変化します。より安全なワークフローでは、まず現在の画面を観察し、証拠を選択し、結果が十分であるかどうかを確認してから、アクションを実行します。この観察-選択-動作パターンは、ビジュアル UI オートメーションの基礎です。
LaiCai Flow では、UI 解析、UI 検索、OCR、テンプレート マッチング、オブジェクト検出などの観察ノードが単独でクリックしません。構造化された結果を返します。別のデータ ステップで最適な項目を選択し、ポインター ステップでその中心をタップできます。この分離により、グラフがレビュー可能になり、認識結果が黙ってアクションになるのを防ぎます。
LaiCai スクリーンミラーリングの場合、役に立つという約束は完璧な認識ではありません。これは、承認されたデバイスまたはエミュレータでタスクを繰り返す前に、チームがスクリーンショット、認識出力、しきい値、ログ、分岐、停止条件を検査できる、目に見える Android 自動化ワークフローです。
構造が信頼できる場合は、OCR の前に UI セレクターを選択する
Android のアクセシビリティと UI 階層は、テキスト、コンテンツの説明、境界、クラス名、およびその他の構造化プロパティを公開できます。ターゲットがその階層内に確実に表示される場合、通常、UI セレクターの方が OCR や画像マッチングよりも保守が簡単です。これは、テーマ、色の小さな変更、および異なるピクセル密度にまたがって役に立ちます。
まず、現在の UI ツリーを確認します。安定したテキストまたはコンテンツの説明を検索し、タップする前に結果をフィルタリングまたは選択します。 「表示されているテキストを検索する」などのフレーズが常に OCR を意味するとは考えないでください。画面上の証拠によって判断する必要があります。アプリが意味のある構造を公開する場合は、構造化セレクターが推奨されます。
セレクターにはまだ制限があります。キャンバス ビュー、ゲーム、ストリーミング サーフェス、カスタム レンダリング、および一部の WebView は、有用な階層をほとんど公開しない場合があります。翻訳されたラベルも変更されます。ターゲットが人には見えているが UI ツリーには存在しない場合、デフォルトの最初のツールではなく、OCR または画像認識が合理的な代替手段になります。
テキストは表示されるがセレクターが使用できない場合は OCR を使用する
OCR は、注文ステータス、ローカライズされたラベル、確認メッセージ、エラー バナー、価格、テスト アカウント名、または検索結果など、目に見える単語によってビジネス上の意味が伝えられる場合に役立ちます。フローは、画面をキャプチャし、境界領域またはフレーム全体を読み取り、結果を正規化し、続行する前に予想されるテキストと比較できます。
OCR は確率的です。小さなフォント、圧縮、グラデーション、アニメーション、特殊なスクリプト、低コントラスト、コントロールの重複により、精度が低下する可能性があります。固定領域は、レイアウト、方向、キーボード、またはロケールが変更されたときにターゲットを見逃す可能性もあります。したがって、LaiCai は再利用可能な OCR 領域を明示的な資産として扱います。固定領域を作成するには、ユーザーがその位置の仮定を理解する必要があります。
信頼できるチェックでは、認識されたテキストとその作成に使用されたスクリーンショットの両方が記録されます。利用可能な場合は最小信頼ルールを使用し、少数の正当なバリエーションを受け入れ、必要なテキストが欠落している場合は読みやすい理由で停止します。信頼性の低い OCR 結果を直接破壊的なタップに変換しないでください。
安定したビジュアル ターゲットにはテンプレート マッチングを使用する
テンプレート マッチングは、安定したビジュアル ターゲットに信頼できるテキストまたは UI セレクター (特徴的なアイコン、バッジ、ゲーム コントロール、カスタム確認グラフィック、または画像のみのボタン) がない場合に適しています。テンプレートは実際にキャプチャされた画面から取得する必要があり、フローはファイルやターゲットを作成するのではなく、既存のアセットを参照する必要があります。
マッチングの品質は、トリミングの品質、スケール、テーマ、カラー モード、アニメーション、検索領域によって異なります。タイトなテンプレートは特徴的ですが脆い場合があります。幅広いクロップにはコンテンツの変更が含まれる場合があります。チームは複数の現実的なデバイスの状態をテストし、通常の変動を不可能にすることなく、無関係な一致を避けるためにしきい値を十分に高く保つ必要があります。
現在の LaiCai アセット コンテキストでは、テンプレートが再利用可能な名前付きアセットであり、マッチングによりスコア、モード、および画面比率の検索領域がサポートされることが確認されています。この記事では、1 つのテンプレートがどこでも機能するとは主張していません。ダーク モード、ローカリゼーション、レスポンシブ レイアウト、または再デザインでは、セレクター、別のテンプレート、または意図的な停止が必要になる場合があります。
オブジェクト検出は別の問題を解決します
オブジェクト検出は OCR の強力なバージョンではありません。これは、人、車両、製品固有のオブジェクトなどのトレーニング済みクラスのインスタンスはどこにあるのかという、別の質問への答えになります。 OCR はテキストを抽出します。テンプレート マッチングでは視覚的な類似性を探します。検出では、モデルによって定義されたクラスが検出されます。
使用可能なモデルにワークフローに必要なクラスが含まれている場合にのみ検出を使用します。フローは、ラベルを推測するのではなく、モデルのメタデータとクラスのリストを読み取る必要があります。検出出力には、ポインターのアクションの前に、選択ロジック (たとえば、最高の信頼度、最も近い中心、またはしきい値を超えるすべての項目) が必要です。
通常のアプリ ボタンの場合、UI セレクター、OCR、またはテンプレートの方が単純であることがよくあります。検出は、外観や位置が変化する可変オブジェクトの場合に役立ちます。証拠を残し、信頼性、クラス、またはカウントがワークフローの期待を満たさない場合には停止する必要があります。
安全な観察-選択-動作フローの構築
安全なフローは、状態のキャプチャ、UI 構造の検査、適切な認識方法の選択、結果の選択、信頼性またはビジネス上の意味の検証、および動作という 6 つの目に見える段階として表現できます。アクションの後、画面が安定するまで明示的に待ち、再度観察します。
ローカリゼーション QA チェックを検討してください。ステージング ビルドを開き、ホーム画面を待ち、安定したセレクターを使用して移動し、翻訳された画面をキャプチャし、見出しで OCR を実行し、スクリーンショットを保存し、予期されたローカライズされたフレーズが存在しない場合は停止します。フローは、本番データを変更せずに証拠を生成します。
障害の処理は控えめにしてください。 UI 検索で項目が返されない場合、OCR で必要なテキストが欠落している場合、テンプレート スコアが低すぎる場合、または検出で予期しないカウントが見つかった場合は、フローを失敗させるか、明確な証拠と停止のパスに分岐します。目に見えない再試行ループで同じアクションに失敗を送り返さないでください。
不確実性を隠さずに認識のトラブルシューティングを行う
認識が失敗した場合は、すべてのしきい値を下げるのではなく、まずスクリーンショットと生の結果を検査します。アプリが予期したページ上にあること、キーボードまたは権限ダイアログがターゲットをカバーしていないこと、待機時間が十分に長いこと、検索領域に要素が含まれていることを確認します。
OCR の場合、スクリプト、間隔、句読点、大文字の使用、および可能性のある文字置換を比較します。テンプレートの場合、スケール、テーマ、トリミング、および競合する一致を検査します。 UI 検索の場合、ターゲットが画面外にあるか、階層から隠されているかどうかを検査します。検出するには、選択したモデルとその実際のクラス リストを確認します。
変数を一度に 1 つずつ変更し、可能な場合は読み取り専用プローブを再実行します。しきい値を低くすると再現率が増加する可能性がありますが、誤検知も増加します。より広い領域ではターゲットを見つけることができますが、気が散る可能性があります。正しい結果は「ノードが通過した」ではありません。それは、次に承認されるアクションにとって十分強力な証拠となります。
QA、ローカリゼーション、サポートの実践的なワークフロー
QA チームは、煙道、エラー バナー、同意ダイアログ、スクリーンショット、リリース証拠の視覚的なチェックを使用できます。ローカリゼーション チームは、見出し、切り捨てられたラベル、翻訳の欠落、予期しないフォールバック テキストをデバイスや言語間で比較できます。サポート チームは、報告されたパスを再現し、スクリーンショットとログを開発者に渡すことができます。
これらのワークフローは、コードレベルの単体テスト、インストルメンテーション、および統合テストを補完します。彼らはそれらに取って代わるものではありません。視覚的なチェックは、人が見るレンダリングされた状態に特に役立ちますが、内部ロジックや決定論的なアサーションにはコード レベルのテストの方が優れています。
次の読み取りパスとして、AI Android オートメーション ツール の概要、LaiCai Flow ガイド、Android 画面ミラーリング ガイド、およびモバイル アプリ テスト ワークフローを使用します。
最初の実際の実行前のレビュー チェックリスト
最初の実際の実行の前に、デバイスとアプリが認証されていること、開始状態が明示的であること、ワークフローがパッケージ、アセット、座標、またはモデル クラスを推測していないことを確認します。すべての認識結果が意図的に選択されていること、および機密性の高いアクションには強力な条件または人間によるレビューが必要であることを確認してください。
スクリーンショットとログが顧客の個人データを公開していないことを確認します。支払い、削除、アカウント設定、送信メッセージ、または元に戻せない運用変更の前に、明示的な停止境界を追加します。偽りのエンゲージメント、スパム、アカウントの悪用、ルール回避、個人データのスクレイピング、ゲームの不正行為を回避します。
最後に、ミラーリングされた Android 画面で最初の実行を観察します。グラフ、UI 状態、OCR テキスト、一致スコア、選択した境界、スクリーンショット、および停止理由を一緒に確認します。信頼性の高い Android OCR と画像認識の自動化は、信頼性の高い劇場ではなく、検査可能な証拠から生まれます。