Khớp hình ảnh rồi nhấp
Tìm nút, biểu tượng hoặc hình ảnh được chỉ định trên màn hình và tự động nhấp vào. Flow bám theo mục tiêu đã khớp ngay cả khi vị trí của nó thay đổi.
LaiCai Flow trong LaiCai Screen Mirroring
Tự động hóa Android bằng AI
Mở ứng dụng, tìm nút hoặc văn bản trên màn hình và lặp lại các bước bạn cần. LaiCai Flow là tính năng tự động hóa trong LaiCai Screen Mirroring: xây dựng quy trình đã lưu một cách trực quan, với sự hỗ trợ của AI khi tác vụ cần đến.
Không cần lập trìnhKéo thả nodeHỗ trợ mô hình AIAI Planner và MCPFlow Profile dùng lại được
Bắt đầu
Xây dựng tác vụ Android có thể chạy lại
Bắt đầu với một tác vụ nhỏ, chẳng hạn mở ứng dụng, tìm một nút đang hiển thị, chạm vào nút đó và kiểm tra màn hình tiếp theo.
- 01
Cài LaiCai Screen Mirroring trên Windows hoặc macOS, kết nối điện thoại Android hoặc trình giả lập được hỗ trợ và kiểm tra rằng bạn có thể xem và điều khiển màn hình của nó.
- 02
Mở LaiCai Flow và tạo một quy trình. Kéo vào các hành động bạn cần, hoặc dùng AI Planner hay MCP để giúp soạn bản nháp từ mô tả tác vụ.
- 03
Chọn cách tìm mục tiêu: ảnh nút đã lưu, nhận dạng văn bản, phần tử giao diện Android hoặc mô hình nhận diện đã cấu hình. Chụp hoặc cấu hình các đầu vào mà tác vụ cần.
- 04
Nối hành động với bước kiểm tra kết quả. Quyết định điều gì sẽ xảy ra nếu không tìm thấy mục tiêu, để tác vụ không tiếp tục bằng một lần chạm không liên quan.
- 05
Chạy tác vụ trên một thiết bị. Xem màn hình thực tế, ảnh chụp màn hình, kết quả node và log chạy để xác nhận tác vụ đạt kết quả mong đợi.
- 06
Lưu Flow Profile và chạy lại từ cùng trạng thái ban đầu. Điều chỉnh đầu vào và các bước kiểm tra màn hình trước khi dùng lại quy trình trên điện thoại hoặc phiên bản trình giả lập khác.
Quy trình làm việc
Tự động hóa các thao tác phụ thuộc vào màn hình
Đọc và phân tích văn bản trên màn hình
Đọc thông báo trên trang, trạng thái đơn hàng, nội dung biểu mẫu hoặc kết quả tìm kiếm, rồi dùng văn bản đó để quyết định, phân loại hoặc chuyển sang bước tiếp theo.
Lặp lại thao tác cố định
Nối các thao tác như mở ứng dụng, chạm, nhập, vuốt và chờ thành một Flow, sau đó lưu lại và chạy cùng các bước bất cứ khi nào cần.
Kiểm thử tự động ứng dụng Android
Tự động chạy các bước giao diện, xác minh nút, văn bản và kết quả, đồng thời lưu ảnh chụp màn hình và log chạy cho kiểm thử ứng dụng và kiểm thử hồi quy.
So sánh tự động hóa
Chọn công cụ tự động hóa Android phù hợp với tác vụ
| Tác vụ của bạn | LaiCai Flow | AI agent | Macro và script | Framework kiểm thử |
|---|---|---|---|---|
| Tạo tác vụ | Nối các node trực quan; AI Planner hoặc MCP có thể giúp cấu hình. | Mô tả tác vụ; các công cụ mà agent hỗ trợ quyết định những gì nó làm được. | Ghi lại thao tác nhập hoặc viết các hành động và điều kiện. | Viết và duy trì bài kiểm thử bằng các công cụ điều khiển thiết bị của framework. |
| Kiểm tra màn hình | Dùng khớp hình ảnh, OCR, phần tử giao diện hoặc mô hình AI đã cấu hình. | Quyền truy cập màn hình và công cụ tùy thuộc vào agent. | Phát lại cố định chỉ lặp lại thao tác; script có thể thêm bước kiểm tra nếu được viết. | Kiểm tra phần tử và kiểm tra hình ảnh tùy thuộc vào framework và cách thiết lập. |
| Lặp lại và kiểm tra | Lưu Flow Profile, dùng lại đầu vào và xem log chạy cùng ảnh chụp màn hình. | Khả năng lên lịch, lặp lại và log khác nhau tùy sản phẩm. | Dùng lại bản ghi hoặc mã; cập nhật khi ứng dụng thay đổi. | Dùng lại bộ kiểm thử và xem báo cáo kiểm thử. |
| Điểm khởi đầu phù hợp | Một tác vụ Android lặp lại mà bạn muốn xây dựng trực quan. | Một tác vụ được lợi từ các quyết định do mô hình đưa ra. | Một chuỗi thao tác ổn định hoặc quy trình bạn muốn duy trì bằng mã. | Một nhóm kỹ sư đang xây dựng bộ kiểm thử tự động. |
Câu hỏi thường gặp
Câu hỏi thường gặp về công cụ tự động hóa Android
LaiCai Flow là gì?
LaiCai Flow là tính năng tự động hóa Android trong LaiCai Screen Mirroring. Bạn xây dựng quy trình có thể lưu lại bằng cách nối các node trực quan cho thao tác, kiểm tra màn hình, điều kiện và dữ liệu tác vụ. Flow hỗ trợ thiết lập có AI trợ giúp và tùy chọn dùng mô hình AI trong quy trình đang chạy.
Hướng dẫn LaiCai FlowTôi có cần biết lập trình hoặc dùng mô hình AI cho mọi tác vụ không?
Không. Bạn có thể tạo flow bằng cách kéo và nối node mà không cần viết code. AI Planner và MCP có thể giúp tạo bản nháp, còn việc dùng node AI khi chạy là một lựa chọn riêng. Thao tác cơ bản và khớp ảnh mẫu không cần LLM; các bước OCR, phát hiện đối tượng hoặc LLM cần cấu hình engine hoặc mô hình tương ứng.
Flow có thể tìm nút, đọc chữ hoặc nhận diện đối tượng không?
Có. Dùng ảnh đã lưu để khớp ảnh mẫu, OCR để đọc một vùng màn hình, hoặc phần tử giao diện Android khi ứng dụng cung cấp. Để phát hiện đối tượng, hãy cấu hình mô hình YOLO/ONNX cục bộ được hỗ trợ. Kiểm tra kết quả trên ứng dụng thực tế trước khi nối vào thao tác chạm.
Xem các node nhận diệnMô hình AI có thể phân tích hình ảnh màn hình và văn bản không?
Có. Phân tích văn bản có thể dùng kết quả từ OCR, API, file hoặc các bước trước. Mô hình có khả năng thị giác có thể phân tích ảnh màn hình đã chụp và trả về dữ liệu có cấu trúc cho quyết định sau đó. Hãy cấu hình mô hình và kiểm tra kết quả trước khi dựa vào nó.
Tôi có thể tự động hóa những thao tác nào trên điện thoại Android?
Flow có thể chạm, vuốt, nhấn giữ, kéo, nhập văn bản, gửi phím, dùng bộ nhớ tạm, mở hoặc dừng ứng dụng, về màn hình chính hoặc quay lại. Kết hợp chúng với chờ, điều kiện, vòng lặp và flow con dùng lại được. Yêu cầu HTTP, lệnh ADB, script AutoJS, macro đã lưu, file và dữ liệu đã lưu cũng có thể nằm trong quy trình.
Tôi có thể chạy cùng một tự động hóa trên nhiều điện thoại hoặc trình giả lập không?
Bạn có thể dùng lại Flow Profile đã lưu trên các thiết bị Android được hỗ trợ. Trước tiên hãy kiểm tra tác vụ trên một thiết bị, sau đó xem lại trạng thái ứng dụng, bố cục màn hình, tài nguyên và dữ liệu đầu vào trên từng thiết bị bổ sung. Một flow chạy được trên một màn hình không có nghĩa là đã được kiểm chứng trên mọi điện thoại.
Điều khiển nhiều điện thoại AndroidMáy tính có cần luôn kết nối không?
Với LaiCai Flow thì có: logic và phân tích hình ảnh chạy trên máy tính rồi gửi thao tác tới điện thoại đã kết nối. Với các quy trình tương thích cần chạy độc lập trên điện thoại, hãy dùng LaiCai Flow Inside cùng LaiCai Android Agent. Các bước phụ thuộc mạng vẫn cần có mạng.
Hướng dẫn LaiCai Flow InsideFlow có thể đọc kết quả hoặc nhắc nhở bằng giọng nói không?
Có. Thao tác giọng nói dùng engine giọng nói cục bộ trên máy tính đang chạy LaiCai. Nó đọc to lời nhắc hoặc kết quả trên máy tính đó; điện thoại Android không phát ra tiếng.