Найти изображение и нажать
Находите на экране заданную кнопку, значок или изображение и автоматически нажимайте на них. Flow следует за найденной целью, даже если её положение меняется.
LaiCai Flow в LaiCai Screen Mirroring
Открывайте приложения, находите кнопку или текст на экране и повторяйте нужные шаги. LaiCai Flow — функция автоматизации в LaiCai Screen Mirroring: собирайте сохраняемый сценарий визуально, с помощью AI, когда задача этого требует.
Начало работы
Начните с небольшой задачи: открыть приложение, найти видимую кнопку, нажать её и проверить следующий экран.
Установите LaiCai Screen Mirroring на Windows или macOS, подключите Android телефон или поддерживаемый эмулятор и проверьте, что видите его экран и можете им управлять.
Откройте LaiCai Flow и создайте сценарий. Перетащите нужные действия или используйте AI Planner или MCP, чтобы подготовить черновик по описанию задачи.
Выберите способ поиска цели: сохранённое изображение кнопки, распознавание текста, элемент интерфейса Android или настроенная модель обнаружения. Сделайте снимок или настройте входные данные, нужные задаче.
Свяжите действие с проверкой результата. Решите, что должно произойти, если цель не найдена, чтобы задача не продолжалась случайным касанием.
Запустите задачу на одном устройстве. Проверьте реальный экран, скриншоты, результаты узлов и журналы запуска, чтобы убедиться, что ожидаемый результат достигнут.
Сохраните Flow Profile и запустите его снова из того же начального состояния. Скорректируйте входные данные и проверки экрана, прежде чем использовать сценарий на других телефонах или экземплярах эмулятора.
Рабочий процесс
Находите на экране заданную кнопку, значок или изображение и автоматически нажимайте на них. Flow следует за найденной целью, даже если её положение меняется.
Считывайте сообщения на странице, статус заказа, содержимое форм или результаты поиска и используйте текст, чтобы принять решение, классифицировать данные или перейти к следующему шагу.
Соединяйте в Flow такие действия, как открытие приложения, касание, ввод текста, свайп и ожидание, затем сохраняйте его и запускайте те же шаги, когда нужно.
Автоматически выполняйте шаги в интерфейсе, проверяйте кнопки, текст и результаты, а затем сохраняйте скриншоты и журналы запуска для тестирования приложений и регрессионного тестирования.
Сравнение инструментов автоматизации
| Ваша задача | LaiCai Flow | AI-агенты | Макросы и скрипты | Фреймворки для тестирования |
|---|---|---|---|---|
| Создание задачи | Соединяйте визуальные узлы; AI Planner или MCP помогают их настроить. | Опишите задачу; возможности агента определяются поддерживаемыми им инструментами. | Запишите ввод или пропишите действия и условия. | Пишите и поддерживайте тесты с помощью средств управления устройством из фреймворка. |
| Проверка экрана | Сопоставление изображений, OCR, элементы интерфейса или настроенная AI-модель. | Доступ к экрану и инструментам зависит от агента. | Фиксированное воспроизведение повторяет ввод; скрипты могут добавлять проверки, если их реализовать. | Проверки элементов и изображений зависят от фреймворка и настройки. |
| Повтор и анализ | Сохраняйте Flow Profile, повторно используйте входные данные и изучайте журналы запуска и скриншоты. | Планирование, повторяемость и журналы зависят от продукта. | Повторно используйте записи или код; обновляйте их при изменении приложения. | Повторно используйте наборы тестов и изучайте отчёты о тестировании. |
| С чего удобно начать | Повторяемая задача на Android, которую вы хотите собрать визуально. | Задача, в которой полезны решения, принимаемые моделью. | Стабильная последовательность или сценарий, который вы предпочитаете поддерживать в коде. | Команда разработчиков, создающая набор автоматических тестов. |
Часто задаваемые вопросы
LaiCai Flow — функция автоматизации Android внутри LaiCai Screen Mirroring. Сохраняемый рабочий процесс собирается из визуальных узлов для действий, проверок экрана, условий и данных задачи. Поддерживается настройка с помощью AI и необязательные AI-модели внутри выполняемого процесса.
Руководство по LaiCai FlowНет. Flow можно создавать, перетаскивая и соединяя узлы, без написания кода. AI Planner и MCP помогают настроить черновик, а AI-узлы во время выполнения — отдельный выбор. Базовым действиям и сопоставлению с шаблоном LLM не нужен; для шагов OCR, распознавания объектов или LLM требуется настроить соответствующий движок или модель.
Да. Используйте сохранённое изображение для сопоставления с шаблоном, OCR для чтения области экрана или элементы интерфейса Android, если приложение их предоставляет. Для распознавания объектов настройте поддерживаемую локальную модель YOLO/ONNX. Проверьте результат в своём приложении, прежде чем связывать его с касанием.
Узлы распознаванияДа. Для анализа текста можно использовать OCR, API, файлы или результаты предыдущих шагов. Модель с поддержкой зрения может проанализировать снимок экрана и вернуть структурированные данные для последующего решения. Настройте модель и проверьте её вывод, прежде чем на него полагаться.
Flow умеет нажимать, свайпать, выполнять долгое нажатие и перетаскивание, вводить текст, отправлять нажатия клавиш, работать с буфером обмена, открывать и закрывать приложения, переходить на главный экран и назад. Сочетайте это с ожиданием, условиями, циклами и повторно используемыми дочерними Flow. В процесс также можно включить HTTP-запросы, команды ADB, скрипты AutoJS, сохранённые макросы, файлы и сохранённые данные.
Сохранённый Flow Profile можно повторно использовать на поддерживаемых Android-устройствах. Сначала проверьте задачу на одном устройстве, затем на каждом следующем проверьте состояние приложения, макет экрана, ресурсы и входные данные. Flow, который работает на одном экране, не считается автоматически проверенным на всех телефонах.
Управление несколькими Android-телефонамиДля LaiCai Flow — да: логика и анализ изображений выполняются на компьютере, а действия отправляются на подключённый телефон. Для совместимых процессов, которые должны работать на телефоне самостоятельно, используйте LaiCai Flow Inside с LaiCai Android Agent. Шагам, зависящим от сети, по-прежнему нужен доступ к сети.
Руководство по LaiCai Flow InsideДа. Действие озвучивания использует локальный речевой движок компьютера, на котором запущен LaiCai. Напоминание или результат читается вслух на компьютере, а не на Android-телефоне.