Bild erkennen, dann klicken
Finden Sie eine bestimmte Schaltfläche, ein Symbol oder ein Bild auf dem Bildschirm und klicken Sie automatisch darauf. Der Flow folgt dem erkannten Ziel, auch wenn sich seine Position ändert.
LaiCai Flow – Teil von LaiCai Screen Mirroring
Android-Automatisierung mit AI
Öffnen Sie Apps, finden Sie eine Schaltfläche oder einen Text auf dem Bildschirm und wiederholen Sie die nötigen Schritte. LaiCai Flow ist die Automatisierungsfunktion in LaiCai Screen Mirroring: Sie erstellen einen gespeicherten Workflow visuell, mit AI-Unterstützung, wenn Ihre Aufgabe sie braucht.
Keine Programmierung nötigKnoten per Drag-and-DropAI-Modell-UnterstützungAI Planner und MCPWiederverwendbare Flow Profiles
Erste Schritte
Erstellen Sie eine Android-Aufgabe, die Sie erneut ausführen können
Beginnen Sie mit einer kleinen Aufgabe, etwa eine App öffnen, eine sichtbare Schaltfläche finden, darauf tippen und den nächsten Bildschirm prüfen.
- 01
Installieren Sie LaiCai Screen Mirroring unter Windows oder macOS, verbinden Sie ein Android-Telefon oder einen unterstützten Emulator und prüfen Sie, ob Sie den Bildschirm sehen und steuern können.
- 02
Öffnen Sie LaiCai Flow und erstellen Sie einen Workflow. Ziehen Sie die benötigten Aktionen hinein oder lassen Sie AI Planner bzw. MCP aus Ihrer Aufgabenbeschreibung einen Entwurf vorbereiten.
- 03
Legen Sie fest, wie das Ziel gefunden wird: über ein gespeichertes Schaltflächenbild, Texterkennung, ein Android-UI-Element oder ein konfiguriertes Erkennungsmodell. Erfassen oder konfigurieren Sie die Eingaben, die Ihre Aufgabe braucht.
- 04
Verbinden Sie die Aktion mit der Ergebnisprüfung. Legen Sie fest, was passieren soll, wenn das Ziel fehlt, damit die Aufgabe nicht mit einem falschen Tippen weiterläuft.
- 05
Führen Sie die Aufgabe auf einem Gerät aus. Prüfen Sie den tatsächlichen Bildschirm, Screenshots, Knotenergebnisse und Ausführungsprotokolle, um zu bestätigen, dass das erwartete Ergebnis erreicht wurde.
- 06
Speichern Sie das Flow Profile und führen Sie es aus demselben Ausgangszustand erneut aus. Passen Sie Eingaben und Bildschirmprüfungen an, bevor Sie den Workflow auf anderen Telefonen oder Emulator-Instanzen wiederverwenden.
Arbeitsablauf
Automatisieren Sie Aktionen, die vom Bildschirm abhängen
Bildschirmtext lesen und auswerten
Lesen Sie Seitenmeldungen, Bestellstatus, Formularinhalte oder Suchergebnisse und nutzen Sie den Text, um zu entscheiden, zu klassifizieren oder zum nächsten Schritt überzugehen.
Feste Aktionen wiederholen
Verbinden Sie Aktionen wie App öffnen, Tippen, Texteingabe, Wischen und Warten zu einem Flow, speichern Sie ihn und führen Sie dieselben Schritte jederzeit erneut aus.
Automatisierte Tests für Android-Apps
Führen Sie UI-Schritte automatisch aus, prüfen Sie Schaltflächen, Texte und Ergebnisse und bewahren Sie Screenshots und Ausführungsprotokolle für App- und Regressionstests auf.
Automatisierung im Vergleich
Das passende Android-Automatisierungstool für Ihre Aufgabe
| Ihre Aufgabe | LaiCai Flow | AI-Agenten | Makros und Skripte | Test-Frameworks |
|---|---|---|---|---|
| Aufgabe erstellen | Visuelle Knoten verbinden; AI Planner oder MCP kann beim Konfigurieren helfen. | Aufgabe beschreiben; die vom Agenten unterstützten Werkzeuge bestimmen, was er tun kann. | Eingaben aufzeichnen oder Aktionen und Bedingungen schreiben. | Tests mit den Gerätesteuerungen des Frameworks schreiben und pflegen. |
| Bildschirm prüfen | Bilderkennung, OCR, UI-Elemente oder ein konfiguriertes AI-Modell nutzen. | Zugriff auf Bildschirm und Werkzeuge hängt vom Agenten ab. | Feste Wiedergabe wiederholt Eingaben; Skripte können Prüfungen ergänzen, wenn sie implementiert sind. | Element-Assertions und Bildprüfungen hängen vom Framework und Setup ab. |
| Wiederholen und prüfen | Flow Profile speichern, Eingaben wiederverwenden und Ausführungsprotokolle sowie Screenshots prüfen. | Zeitplanung, Wiederholbarkeit und Protokolle variieren je nach Produkt. | Aufnahmen oder Code wiederverwenden; bei App-Änderungen aktualisieren. | Testsuiten wiederverwenden und Testberichte prüfen. |
| Ein guter Ausgangspunkt | Eine wiederholbare Android-Aufgabe, die Sie visuell erstellen möchten. | Eine Aufgabe, die von modellgesteuerten Entscheidungen profitiert. | Eine stabile Abfolge oder ein Workflow, den Sie lieber im Code pflegen. | Ein Entwicklungsteam, das eine automatisierte Testsuite aufbaut. |
FAQ
FAQ zum Android-Automatisierungstool
Was ist LaiCai Flow?
LaiCai Flow ist eine Android-Automatisierungsfunktion in LaiCai Screen Mirroring. Sie bauen einen gespeicherten Ablauf, indem Sie visuelle Knoten für Aktionen, Bildschirmprüfungen, Bedingungen und Aufgabendaten verbinden. Es unterstützt KI-gestützte Einrichtung und optionale KI-Modelle in einem laufenden Ablauf.
Anleitung zu LaiCai FlowBrauche ich Programmierkenntnisse oder für jede Aufgabe ein KI-Modell?
Nein. Sie erstellen Abläufe, indem Sie Knoten ziehen und verbinden, ohne Code zu schreiben. AI Planner und MCP helfen beim Entwurf; KI-Knoten zur Laufzeit sind eine eigene Entscheidung. Grundaktionen und Template-Matching brauchen kein LLM; OCR-, Erkennungs- oder LLM-Schritte benötigen die passende Engine oder ein konfiguriertes Modell.
Kann ein Ablauf eine Schaltfläche finden, Text lesen oder ein Objekt erkennen?
Ja. Nutzen Sie ein gespeichertes Bild für Template-Matching, OCR zum Lesen eines Bildschirmbereichs oder Android-UI-Elemente, wenn die App sie bereitstellt. Für Objekterkennung richten Sie ein unterstütztes lokales YOLO/ONNX-Modell ein. Prüfen Sie das Ergebnis in Ihrer echten App, bevor Sie es mit einem Tippen verbinden.
Erkennungsknoten ansehenKann ein KI-Modell Bildschirmbilder und Text analysieren?
Ja. Die Textanalyse kann OCR, eine API, Dateien oder Ergebnisse früherer Schritte nutzen. Ein Modell mit Bildverständnis kann einen aufgenommenen Bildschirm analysieren und strukturierte Daten für eine spätere Entscheidung zurückgeben. Richten Sie das Modell ein und prüfen Sie seine Ausgabe, bevor Sie sich darauf verlassen.
Welche Aktionen kann ich auf einem Android-Handy automatisieren?
Abläufe können tippen, wischen, lange drücken, ziehen, Text eingeben, Tasten senden, die Zwischenablage nutzen, Apps öffnen oder beenden und zum Startbildschirm oder zurück wechseln. Kombinieren Sie das mit Wartezeiten, Bedingungen, Schleifen und wiederverwendbaren Unterabläufen. Auch HTTP-Anfragen, ADB-Befehle, AutoJS-Skripte, gespeicherte Makros, Dateien und gespeicherte Daten können Teil eines Ablaufs sein.
Kann ich dieselbe Automatisierung auf mehreren Handys oder Emulatoren ausführen?
Sie können ein gespeichertes Flow Profile auf unterstützten Android-Geräten wiederverwenden. Prüfen Sie die Aufgabe zuerst auf einem Gerät und kontrollieren Sie dann App-Zustand, Bildschirmlayout, Ressourcen und Eingaben auf jedem weiteren Gerät. Ein Ablauf, der auf einem Bildschirm funktioniert, ist nicht automatisch auf jedem Handy geprüft.
Mehrere Android-Handys steuernMuss der Computer verbunden bleiben?
Bei LaiCai Flow ja: Logik und Bildanalyse laufen auf dem Computer, der die Aktionen an das verbundene Handy sendet. Für kompatible Abläufe, die allein auf dem Handy laufen sollen, nutzen Sie LaiCai Flow Inside mit LaiCai Android Agent. Schritte, die das Netzwerk brauchen, benötigen weiterhin Netzwerkzugang.
Anleitung zu LaiCai Flow InsideKann ein Ablauf ein Ergebnis oder eine Erinnerung vorlesen?
Ja. Die Sprachaktion nutzt die lokale Sprachausgabe des Computers, auf dem LaiCai läuft. Sie liest dort eine Erinnerung oder ein Ergebnis vor; das Android-Handy selbst spricht dabei nicht.