画像を照合してクリック
画面上の指定したボタン、アイコン、画像を見つけて自動でクリックします。位置が変わっても、Flowは照合した対象を追いかけます。
LaiCai Screen MirroringのLaiCai Flow
AIでAndroidを自動化
アプリを開き、画面上のボタンや文字を見つけ、必要な手順を繰り返します。LaiCai FlowはLaiCai Screen Mirroringの自動化機能です。タスクに応じてAIの支援を受けながら、保存できるワークフローを視覚的に作成できます。
プログラミング不要ドラッグ＆ドロップのノードAIモデル対応AI PlannerとMCP再利用できるFlow Profile
はじめに
繰り返し実行できるAndroidタスクを作る
アプリを開き、表示されたボタンを見つけてタップし、次の画面を確認する、といった小さなタスクから始めましょう。
- 01
WindowsまたはmacOSにLaiCai Screen Mirroringをインストールし、Androidスマホまたは対応エミュレーターを接続して、画面の表示と操作ができることを確認します。
- 02
LaiCai Flowを開いてワークフローを作成します。必要なアクションをドラッグして配置するか、AI PlannerやMCPを使ってタスクの説明から下書きを作成します。
- 03
対象の見つけ方を選びます。保存したボタン画像、文字認識、AndroidのUI要素、または設定済みの検出モデルから選び、タスクに必要な入力をキャプチャまたは設定します。
- 04
アクションと結果の確認をつなぎます。対象が見つからない場合の動作を決めておき、関係のないタップのまま処理が進まないようにします。
- 05
1台の端末でタスクを実行します。実際の画面、スクリーンショット、ノードの結果、実行ログを確認し、期待した結果に達したことを確かめます。
- 06
Flow Profileを保存し、同じ開始状態から再実行します。他のスマホやエミュレーターのインスタンスで再利用する前に、入力と画面の確認を調整します。
ワークフロー
画面の状態に応じた操作を自動化
画面の文字を読み取って分析
ページのメッセージ、注文状況、フォームの内容、検索結果を読み取り、その文字をもとに判断、分類、次のステップへの移行を行います。
決まった操作を繰り返す
アプリの起動、タップ、入力、スワイプ、待機などのアクションをFlowにつなげて保存し、必要なときにいつでも同じ手順を実行できます。
Androidアプリの自動テスト
UIの手順を自動で実行し、ボタン、文字、結果を検証して、アプリのテストや回帰テスト用にスクリーンショットと実行ログを残せます。
自動化の比較
タスクに合ったAndroid自動化ツールを選ぶ
| タスク | LaiCai Flow | AIエージェント | マクロとスクリプト | テストフレームワーク |
|---|---|---|---|---|
| タスクの作成 | 視覚的なノードをつなぎます。AI PlannerやMCPが設定を支援します。 | タスクを説明します。できることはエージェントが対応するツールで決まります。 | 入力を記録するか、アクションと条件を記述します。 | フレームワークの端末操作機能を使ってテストを書き、保守します。 |
| 画面の確認 | 画像照合、OCR、UI要素、または設定済みのAIモデルを使います。 | 画面やツールへのアクセスはエージェントによって異なります。 | 固定の再生は入力を繰り返すだけです。スクリプトは実装すれば確認を追加できます。 | 要素のアサーションや画像の確認は、フレームワークと設定によって異なります。 |
| 繰り返しと確認 | Flow Profileを保存して入力を再利用し、実行ログとスクリーンショットを確認できます。 | スケジュール、再現性、ログは製品によって異なります。 | 記録やコードを再利用します。アプリが変わったら更新が必要です。 | テストスイートを再利用し、テストレポートを確認します。 |
| 向いている用途 | 視覚的に作りたい、繰り返し実行するAndroidタスク。 | モデルによる判断が役立つタスク。 | 安定した手順や、コードで保守したいワークフロー。 | 自動テストスイートを構築するエンジニアリングチーム。 |
よくある質問
Android自動化ツール FAQ
LaiCai Flow とは何ですか？
LaiCai Flow は LaiCai Screen Mirroring に含まれる Android 自動化機能です。操作、画面チェック、条件、タスクデータのビジュアルノードをつないで、保存できるワークフローを作ります。AI による設定支援や、実行中のワークフローでの AI モデルの利用（任意）にも対応しています。
LaiCai Flow ガイドプログラミングの知識や、毎回の AI モデルは必要ですか？
いいえ。コードを書かずに、ノードをドラッグしてつなぐだけでフローを作れます。AI Planner や MCP で下書きを作ることもでき、実行時に AI ノードを使うかどうかは別の選択です。基本操作やテンプレートマッチングに LLM は不要で、OCR、物体検出、LLM のステップには対応するエンジンやモデルの設定が必要です。
フローでボタンを探したり、文字を読んだり、物体を認識したりできますか？
はい。保存した画像でテンプレートマッチングを行ったり、OCR で画面の領域を読み取ったり、アプリが公開していれば Android の UI 要素を使ったりできます。物体検出には、対応するローカルの YOLO/ONNX モデルを設定します。タップにつなぐ前に、実際のアプリで結果を確認してください。
認識ノードを見るAI モデルで画面の画像やテキストを分析できますか？
はい。テキスト分析には OCR、API、ファイル、前のステップの結果を使えます。画像を扱えるモデルなら、キャプチャした画面画像を分析し、後の判断に使う構造化データを返せます。頼る前にモデルを設定し、出力を確認してください。
Android スマホのどんな操作を自動化できますか？
フローでは、タップ、スワイプ、長押し、ドラッグ、文字入力、キー送信、クリップボードの利用、アプリの起動・停止、ホームや戻るへの移動ができます。これらを待機、条件、ループ、再利用できるサブフローと組み合わせます。HTTP リクエスト、ADB コマンド、AutoJS スクリプト、保存したマクロ、ファイル、保存データもワークフローに組み込めます。
同じ自動化を複数のスマホやエミュレーターで実行できますか？
保存した Flow Profile は、対応する Android デバイス間で使い回せます。まず 1 台でタスクを確認し、追加する各デバイスでアプリの状態、画面レイアウト、素材、入力内容を確認してください。1 つの画面で動いたフローが、すべてのスマホで検証済みになるわけではありません。
複数の Android スマホを操作するPC は接続したままにする必要がありますか？
LaiCai Flow では必要です。ロジックと画像分析を PC で実行し、接続したスマホに操作を送るためです。対応するワークフローをスマホ単独で動かしたい場合は、LaiCai Flow Inside と LaiCai Android Agent を使います。ネットワークを使うステップには引き続きネット接続が必要です。
LaiCai Flow Inside ガイドフローで結果を読み上げたり、音声で通知したりできますか？
はい。音声アクションは、LaiCai を実行している PC のローカル音声エンジンを使います。その PC でリマインダーや結果を読み上げますが、Android スマホから音声を出すわけではありません。