建立更可靠的 Android 圖像辨識自動點擊 Flow：確認目前狀態、點擊辨識目標、等待畫面變化，再驗證下一狀態。
圖像辨識自動點擊應先證明目前畫面狀態
固定座標的自動點選器假設每次相同的控制都仍然位於同一點下。當彈出對話方塊、動畫仍在執行、顯示比例發生變化、列表移動或應用程式在不同的頁面上開啟時，這一假設就會破壞。點選仍然可能成功傳遞，但傳遞到錯誤的控制。
透過在採取行動之前觀察可見的螢幕，影象識別可以改善這一點。然而，僅僅透過檢測是不夠的。一個可靠的安卓自動點選流程必須區分四個問題：預期的目標是否可見？匹配是否足夠強烈，並且在預期的區域內？點擊是否達到了檢測到的目標？螢幕是否進入下一個預期的狀態？
本指南使用一個經過狀態檢查的模式，用於on-device Android自動化與萊彩投屏 Flow Inside。從計算機準備和部署一個相容的配置檔案及其視覺資產，然後萊彩 Android Agent可以在手機上本地執行已批准的流程。目標不是更快的盲點點選。這是一個當螢幕不再符合假設時停止的序列。
五步狀態檢查的點擊模式
- 定義初始狀態並捕獲一個穩定的視覺目標，例如獨特的按鈕或圖示。
- 使用故意的信心閾值和搜尋區域，對當前幀執行一次影象匹配。
- 只有在成功匹配時，才能將檢測到的矩形或中心傳遞給點選操作。
- 等待介面過渡，而不是立即檢查相同的幀。
- 觀察預期的下一個狀態。如果成功，請繼續；否則停止，在明確的限制內重試，或要求進行審查。
將每個點選視為一個狀態轉換，而不是孤立的手勢。第一個觀察是先決條件。點選是操作。第二個觀察是後條件。如果缺少任何部分，自動化就無法區分成功與在錯誤螢幕上彈出的手勢或沒有效果的手勢。
這種模式也更容易除錯。在輕點之前失敗表示指向模板、閾值、搜尋區域或開始螢幕。在輕點之後失敗表示指向時間、許可權、被遮蔽的手勢、意外對話方塊或不同的下一個狀態。一個只報告「失敗」的長宏可以隱藏這種區別。
選擇正確的螢幕訊號
| 信號 | 在什麼時候使用它 | 主要風險 |
|---|---|---|
| 影象匹配 | 按鈕、圖示、卡片或對話方塊具有穩定的視覺外觀 | 主題、比例、動畫或重新設計可以降低分數 |
| 使用者介面選擇器 | 該應用程式暴露了穩定的文字、內容描述或資源識別符號 | 自定義繪製或畫布內容可能不會暴露有用的元素 |
| 光電識字 | 可見的文字比確切的畫素更重要 | 語言、字型、對比度和區域選擇會影響識別 |
| 物體檢測 | 目標屬於一個更廣泛的類別，而不是一個確切的模板 | 需要相容的型號和有效的類別 |
| 固定座標 | 佈局是受控的，沒有更好的狀態訊號存在 | 任何移動都可以重新導向點選 |
使用最簡單的訊號來準確描述狀態。儲存的影象模板非常適合每個執行都看起來相同的獨特圖示。當單詞穩定但其樣式可能會發生變化時，OCR通常更好。當應用程式暴露可訪問的結構時，UI選擇器可能比畫素更強大。物件檢測對識別的類別有用，而不是用來取代缺失的按鈕模板。
相關的Android OCR和影象識別自動化指南更深入地比較了這些觀察方法。本文專注於裝置上的決策邊界：手勢在使用其結果之前必須成功進行觀察。
在萊彩投屏 Flow Inside中構建模式
1.準備一個穩定的模板和初始狀態
選擇邊緣清晰、具有足夠獨特細節的目標，以便將其與附近的控制元件區分開來。避免捕捉包含變化的計數器、時間戳、使用者名稱或動畫的較大區域。第一個配置檔案和參考影象資產是在計算機上準備的。在部署期間，相容模板將捆綁到萊彩 Android Agent。
2. 匹配一次當前幀
`vision.match`節點觀察一次當前幀。它需要一個或多個儲存的模板ID、最低要求的分數、匹配模式和感興趣的螢幕比例區域。成功匹配會提供最佳分數和檢測到的中心和矩形。沒有匹配會遵循失敗結果；節點不是隱藏的等待迴圈。
3.點選檢測到的結果，而不是舊的座標
將成功的匹配連線到`pointer.tap`，並使用檢測到的矩形作為`positionFrom`，通常帶有中心錨點。這將使操作與授權它的觀察保持聯絡。不要從一次執行中複製座標，並將下一次執行變回固定座標宏。
4.新增可見的等待時間
在下一個螢幕依賴性觀察之前，在輕點後在前面新增明確的`flow.wait`。正確的持續時間取決於應用程式、裝置、網路和動畫。可見的等待可以進行審查和調整；立即重新檢查可以簡單地觀察舊幀。
5. 驗證下一個狀態或停止
使用第二張影象、OCR結果或UI狀態來證明介面是否如預期更改。例如，在點選「刪除」後檢測到「確認」對話方塊只證明確認階段出現了；它不能證明該項已被刪除。稍後的檢查應確認最終列表狀態或成功訊息。將未處理的觀察失敗留作真正的失敗，或在重複檢查是要求的一部分時實施有限重試。
調整信心、搜尋範圍、時間和模板
- 從一個測量的閾值開始，然後測試真實匹配和視覺上相似的假候選人。越高越嚴格，但任意設定的最大值可能會拒絕合法的比例或渲染更改。
- 當目標屬於螢幕已知的部分時，請限制搜尋區域。較小的區域可以減少假陽性，但猜測的區域可能會隱藏有效的移動目標。
- 為保持穩定的視覺屬性選擇匹配模式。當顏色有意義時，顏色可以提供幫助；灰色或邊緣模式可能可以容忍一些顏色變化；細節應與實際螢幕進行測試。
- 當替代模板在已知狀態下代表相同的控制元件時，請將它們一起保留，例如啟用和停用主題。不要將無關的目標新增到一個匹配項中。
- 測試執行Flow的確切裝置比例、方向、主題和應用程式版本。在進行重大介面更新後重新測試。
- 記錄故障發生的位置。匹配分數、選擇的資產、檢測到的矩形、等待時間和下一個狀態結果比通用宏錯誤更有用。
不要只根據成功示例進行調整。從預期的螢幕開始，一個目標不存在的螢幕，一個具有類似圖示的螢幕，一個緩慢的過渡，以及一個覆蓋目標的彈出視窗。當負面案例安全停止時，自動化是值得信賴的，而不僅僅是在成功路徑完成一次時。
狀態檢查影象鍵盤的實際用途
移動QA和煙霧測試
確認出現已知的螢幕，點選一個控制器，等待，然後捕獲下一個狀態。這對於在授權裝置上重複的煙霧測試路徑很有用。Android將螢幕映象到PC或Mac有助於測試人員在準備和除錯Flow時檢視真實的手機。
對話框和恢復處理
在選擇匹配的操作之前，檢測特定重試、許可權或連線對話方塊。不要建立一個通用「確定」按鈕：相同的單詞可以在不同的對話方塊上批准非常不同的操作。
重複的內部應用程式操作
對於受控的商業應用程式，Flow可以在開啟下一個專案或提交已批准的表格之前檢查當前頁面。將視覺檢查與明確的輸入邊界、最終狀態檢查和例外情況的人工交接相匹配。
個人裝置上的例程
相容的Flow可以在部署後繼續在手機上執行，而桌面不會保持連線。僅保留本地工作流程；如果配置檔案呼叫HTTP端點、遠端模型、webhook或訊息服務，則該特定工作流程需要網路訪問。
許可權和安全界限
在Android上，視覺自動化和手勢自動化使用敏感的系統功能。Android文件必須宣告手勢功能才能發送手勢，而螢幕截圖則需要自己的授權和生命週期。在萊彩投屏 Flow Inside中，影象匹配使用主動的MediaProjection螢幕會話和手機側前景執行；點選使用輔助功能。
僅在您授權操作的裝置、帳戶和應用程式上使用自動化。某些應用程式或裝置構建可能會阻止或忽略可訪問性手勢。成功影象匹配並不保證後續的點選會被接受。請分別診斷觀察和手勢傳輸。
在明確審查或非常嚴格的條件下，保留付款、帳戶更改、破壞性刪除、私人資料和不可逆轉的操作。不要使用自動點選器來建立假冒參與度、逃避平臺控制或違反應用程式的條款。最安全的Flow是在執行前可見其允許的狀態、操作、停止條件和證據的Flow。
在無人看管的情況下使用前進行測試清單檢查
- 從預期正確的開始螢幕執行三次。
- 從錯誤的螢幕開始，並確認沒有發生點擊。
- 覆蓋或移除目標，並確認失敗後匹配是否成功。
- 呈現一個外觀相似的控制元件，並檢查閾值和區域是否拒絕它。
- 減慢應用程式或網路速度，並確認等待和後續條件的行為是否安全。
- 只有在這些模式被支援的情況下，才需要旋轉裝置或更改顯示比例，然後重新測試模板。
- 停用或中斷所需的螢幕截圖或輔助功能，並驗證錯誤是否可見。
- 檢視最終螢幕、日誌、螢幕截圖或證明任務結果的輸出。
從一個受限的過渡開始。一旦它可靠，將重複的多節點操作提取到一個帶有名稱的小子流中，並保持主流可讀性。萊彩投屏 Flow Inside教程解釋了準備和部署邊界；AI Android自動化頁面涵蓋了桌面輔助工作流程構建和除錯。
Android 影象識別自動點選常見問題解答
影象識別是否總比固定座標更安全？
只有在測試模板、閾值、區域、時間和故障路徑時，才更安全。弱或過於寬泛的匹配仍然可能選擇錯誤的目標。
流應該一直匹配，直到影象出現嗎？
單個影象匹配節點應觀察一次。如果需要等待，請使用明確的重試或直到具有明確間隔、超時或嘗試限制的結構，以便其行為保持可見。
檢測到的位置可以直接用於敲擊嗎？
是的。使用成功的視覺節點檢測到的矩形或中心作為點選來源。這可以保留觀察和操作之間的關係。
這可以在手機上完全離線執行嗎？
當部署的配置檔案中的每個節點和資產都本地執行時，它可以做到這一點。影象匹配、等待、手勢和本地檢查可以留在裝置上。任何遠端模型、HTTP請求、webhook、雲同步或訊息服務都會增加網路依賴性。
使每次點選都成為可審計的狀態轉換
關鍵的改進是概念性的：不要只問在哪裡點選。問問在點選之前必須是什麼，哪個觀察到的結果授權了手勢，介面需要多久才能更改，以及什麼證明了下一個狀態已經到達。
萊彩投屏包含萊彩投屏 Flow Inside，用於此確定性手機側模式：觀察一次，遵循成功或失敗的結果，從檢測到的螢幕比例結果中點選，顯然等待，然後再次觀察。在計算機上準備和驗證相容的配置檔案，將其與批准的資產一起部署，並讓萊彩 Android Agent只執行您定義的狀態和過渡。