Nhấn chuột tự động nhận dạng hình ảnh Android: Kiểm tra trạng thái trước khi bạn nhấn vào

Xây dựng một luồng nhấp chuột tự động nhận dạng hình ảnh Android an toàn hơn: khớp với trạng thái hiện tại, nhấn vào mục tiêu được phát hiện, chờ đợi và xác minh màn hình tiếp theo.

Một trình kích hoạt tự động nhận dạng hình ảnh nên chứng minh trạng thái màn hình trước tiên

Một trình kích hoạt tự động có tọa độ cố định giả định rằng cùng một điều khiển vẫn sẽ ở dưới cùng một điểm mỗi lần. Giả định đó sẽ bị phá vỡ khi một hộp thoại xuất hiện, một hoạt ảnh vẫn đang chạy, tỷ lệ hiển thị thay đổi, danh sách di chuyển hoặc ứng dụng mở trên một trang khác. Việc nhấp chuột vẫn có thể được thực hiện thành công, nhưng đến điều khiển sai.

Nhận dạng hình ảnh cải thiện điều này bằng cách quan sát màn hình có thể nhìn thấy trước khi thực hiện hành động. Tuy nhiên, việc phát hiện đơn thuần không đủ. Một luồng nhấp chuột tự động Android đáng tin cậy phải phân biệt bốn câu hỏi: Mục tiêu mong đợi có thể nhìn thấy không? Sự khớp có đủ mạnh mẽ và nằm trong khu vực mong đợi không? Nhấn vào đã chạm đến mục tiêu được phát hiện chưa? Màn hình đã chuyển sang trạng thái tiếp theo được mong đợi chưa?

Hướng dẫn này sử dụng mẫu được kiểm tra trạng thái cho tự động hóa Androidon-device với LaiCai Flow Inside. Một Hồ sơ tương thích và tài sản trực quan của nó được chuẩn bị và triển khai từ máy tính, sau đó LaiCai Android Agent có thể thực thi Flow đã được phê duyệt cục bộ trên điện thoại. Mục tiêu không phải là việc nhấn vào màn hình một cách mù quáng nhanh hơn. Đó là một chuỗi dừng lại khi màn hình không còn khớp với các giả định nữa.

Mẫu chạm được kiểm tra trạng thái theo năm bước

1. Định nghĩa trạng thái bắt đầu và thu thập mục tiêu trực quan ổn định, chẳng hạn như một nút hoặc biểu tượng đặc trưng.
2. Chạy một phép khớp hình ảnh với khung hiện tại với ngưỡng tin cậy có chủ ý và vùng tìm kiếm.
3. Chỉ khi có trận đấu thành công, hãy chuyển qua hình chữ nhật hoặc trung tâm được phát hiện sang hành động nhấn vào.
4. Hãy đợi cho đến khi chuyển đổi giao diện thay vì kiểm tra khung hình tương tự ngay lập tức.
5. Quan sát trạng thái tiếp theo dự kiến. Tiếp tục nếu thành công; nếu không, hãy dừng lại, thử lại trong một giới hạn rõ ràng hoặc yêu cầu xem xét lại.

Hãy coi mỗi lần nhấn ngón tay như một quá trình chuyển đổi trạng thái, chứ không phải là một cử chỉ riêng lẻ. Quan sát đầu tiên là điều kiện tiên quyết. Nhấn ngón tay là thao tác. Quan sát thứ hai là điều kiện hậu quả. Nếu thiếu bất kỳ phần nào, tự động hóa sẽ không thể phân biệt giữa thành công và một cử chỉ chạm vào màn hình sai hoặc không có tác dụng.

Mẫu này cũng dễ gỡ lỗi hơn. Sự cố trước khi chạm vào chỉ ra mẫu, ngưỡng, vùng tìm kiếm hoặc màn hình khởi đầu. Sự cố sau khi chạm vào chỉ ra thời gian, quyền truy cập, cử chỉ bị chặn, hộp thoại không mong muốn hoặc trạng thái tiếp theo khác. Một macro dài chỉ báo "sự cố" che giấu sự khác biệt đó.

Chọn tín hiệu màn hình phù hợp

Sử dụng tín hiệu đơn giản nhất để mô tả trạng thái chính xác. Mẫu hình ảnh đã lưu là một lựa chọn tốt cho biểu tượng nổi bật trông giống nhau mỗi lần chạy. OCR thường tốt hơn khi từ được ổn định nhưng kiểu dáng của nó có thể thay đổi. Trình chọn giao diện người dùng có thể mạnh mẽ hơn các pixel khi ứng dụng hiển thị cấu trúc có thể truy cập được. Nhận dạng đối tượng có ích cho các lớp được nhận dạng, không phải là một sự thay thế cho mẫu nút bị thiếu.

Hướng dẫn tự động hóa nhận dạng hình ảnh và OCR liên quanAndroidso sánh sâu hơn về các phương pháp quan sát này. Bài viết này tập trung vào ranh giới quyết định trên thiết bị: một quan sát phải thành công trước khi cử chỉ có thể sử dụng kết quả của nó.

Xây dựng mẫu trong LaiCai Flow Inside

1. Chuẩn bị một mẫu ổn định và trạng thái khởi đầu

Chọn một mục tiêu có các cạnh rõ ràng và đủ chi tiết độc đáo để phân biệt nó với các điều khiển gần đó. Tránh chụp một vùng lớn bao gồm các chỉ số thay đổi, dấu thời gian, tên người dùng hoặc các hoạt ảnh. Hồ sơ đầu tiên và tài sản hình ảnh được tham chiếu được chuẩn bị trên máy tính. Trong quá trình triển khai, mẫu tương thích được gộp thành một gói cho LaiCai Android Agent.

2. Kết hợp khung hiện tại một lần

Nút `vision.match` quan sát khung hiện tại một lần. Nó yêu cầu một hoặc nhiều ID mẫu đã lưu, điểm số tối thiểu bắt buộc, chế độ khớp và vùng tỷ lệ màn hình quan tâm. Một kết quả khớp thành công cung cấp điểm số tốt nhất và tâm và hình chữ nhật được phát hiện. Không có kết quả khớp nào theo kết quả thất bại; nút không phải là vòng lặp chờ ẩn.

3. Nhấn vào kết quả được phát hiện, không phải tọa độ cũ

Kết nối trận đấu thành công với `pointer.tap` và sử dụng hình chữ nhật được phát hiện làm `positionFrom`, thông thường với điểm cố định ở giữa. Điều này giữ cho hành động được liên kết với quan sát đã ủy quyền nó. Đừng sao chép tọa độ từ một lần chạy và chuyển lần chạy tiếp theo trở lại macro tọa độ cố định.

4. Thêm một trạng thái chờ hiển thị

Sau khi nhấn vào, hãy thêm `flow.wait` rõ ràng trước lần quan sát phụ thuộc vào màn hình tiếp theo. Thời gian chính xác phụ thuộc vào ứng dụng, thiết bị, mạng và hoạt ảnh. Thời gian chờ có thể xem xét và điều chỉnh; việc kiểm tra lại ngay lập tức có thể chỉ đơn giản là quan sát khung hình cũ.

5. Xác minh trạng thái tiếp theo hoặc dừng lại

Sử dụng một hình ảnh thứ hai, kết quả OCR hoặc trạng thái UI để chứng minh rằng giao diện đã thay đổi như mong đợi. Ví dụ: phát hiện một hộp thoại "Xác nhận" sau khi nhấn vào "Xóa" chỉ chứng minh rằng giai đoạn xác nhận đã xuất hiện; nó không chứng minh rằng mục đã bị xóa. Kiểm tra sau đó nên xác nhận trạng thái danh sách cuối cùng hoặc thông báo thành công. Để lại lỗi quan sát chưa xử lý là lỗi thực sự, hoặc thực hiện thử lại giới hạn khi kiểm tra lặp lại là một phần của yêu cầu.

Điều chỉnh sự tự tin, khu vực tìm kiếm, thời gian và mẫu

• Bắt đầu từ ngưỡng được đo lường, sau đó kiểm tra cả các kết quả khớp chính xác và các ứng viên giả mạo tương tự về mặt trực quan. Tốc độ cao hơn thì sẽ nghiêm ngặt hơn, nhưng một giới hạn tối đa tùy ý có thể từ chối các thay đổi về tỷ lệ hoặc trình bày hợp pháp.
• Giới hạn vùng tìm kiếm khi mục tiêu thuộc một phần đã biết của màn hình. Một vùng nhỏ hơn có thể giảm số trường hợp dương tính giả và hoạt động, nhưng một vùng đoán có thể che giấu mục tiêu đã di chuyển hợp lệ.
• Chọn chế độ khớp đối với thuộc tính trực quan vẫn ổn định. Màu sắc có thể giúp ích khi màu sắc có ý nghĩa; chế độ xám hoặc chế độ viền có thể dung thứ một số thay đổi màu sắc; chi tiết nên được kiểm tra trên màn hình thực tế.
• Giữ các mẫu thay thế cùng nhau khi chúng đại diện cho cùng một điều khiển trong các trạng thái đã biết, chẳng hạn như các chủ đề được bật và bị tắt. Đừng thêm các mục tiêu không liên quan vào một kết quả khớp.
• Kiểm tra kích thước màn hình chính xác, định hướng, chủ đề và phiên bản ứng dụng sẽ chạy Flow. Kiểm tra lại sau khi cập nhật giao diện đáng kể.
• Ghi lại vị trí xảy ra sự cố. Điểm trận đấu, tài sản được chọn, hình chữ nhật được phát hiện, thời gian chờ đợi và kết quả trạng thái tiếp theo có ích hơn lỗi macro chung.

Đừng chỉ điều chỉnh dựa trên các ví dụ thành công. Hãy bắt đầu từ màn hình mong đợi, một màn hình nơi mục tiêu không có, một màn hình có biểu tượng tương tự, một quá trình chuyển đổi chậm và một cửa sổ bật lên che khuất mục tiêu. Tự động hóa là đáng tin cậy khi các trường hợp tiêu cực dừng lại một cách an toàn, chứ không chỉ khi con đường thuận lợi hoàn thành một lần.

Các ứng dụng thực tế cho các nút chạm hình ảnh được kiểm tra trạng thái

Kiểm tra chất lượng di động và thử nghiệm khói

Xác nhận rằng màn hình đã biết xuất hiện, nhấn vào một điều khiển, chờ đợi và chụp lại trạng thái tiếp theo. Điều này rất hữu ích cho một đường dẫn thử nghiệm khói có thể lặp lại trên các thiết bị được ủy quyền.Sao chép màn hình Android sang PC hoặc Macgiúp người kiểm tra xem xét điện thoại thực tế trong khi chuẩn bị và gỡ lỗi Flow.

Trình thoại và xử lý khôi phục

Phát hiện một hộp thoại thử lại, quyền truy cập hoặc kết nối cụ thể trước khi chọn hành động tương ứng. Đừng tạo một cú nhấp chuột "Được" chung chung: cùng một từ có thể chấp thuận các hành động rất khác nhau trên các hộp thoại khác nhau.

Các thao tác ứng dụng nội bộ lặp lại

Đối với một ứng dụng kinh doanh được kiểm soát, Flow có thể kiểm tra trang hiện tại trước khi mở mục tiếp theo hoặc gửi biểu mẫu đã được phê duyệt. Kết hợp kiểm tra trực quan với các giới hạn đầu vào rõ ràng, kiểm tra trạng thái cuối cùng và giao tiếp bằng tay của con người cho các trường hợp ngoại lệ.

Các quy trình cá nhân trên thiết bị

Một Flow tương thích có thể tiếp tục trên điện thoại sau khi triển khai mà không cần máy tính để bàn luôn được kết nối. Giữ quy trình làm việc chỉ cục bộ; nếu một Hồ sơ gọi một điểm cuối HTTP, mô hình từ xa, webhook hoặc dịch vụ tin nhắn, quy trình làm việc cụ thể đó cần truy cập mạng.

Quyền truy cập và ranh giới an toàn

Trên Android, tự động hóa trực quan và tự động hóa cử chỉ sử dụng các khả năng hệ thống nhạy cảm. Tài liệu Android mà các dịch vụ truy cập được phải tuyên bố khả năng cử chỉ để gửi cử chỉ, trong khi chụp màn hình yêu cầu quyền ủy quyền và vòng đời riêng. Trong LaiCai Flow Inside, việc khớp hình ảnh sử dụng phiên hoạt động màn hình MediaProjection và thực thi vùng trước bên điện thoại; nhấn vào sử dụng Accessibility.

Chỉ sử dụng tự động hóa trên các thiết bị, tài khoản và ứng dụng mà bạn được ủy quyền điều khiển. Một số ứng dụng hoặc phiên bản thiết bị có thể chặn hoặc bỏ qua các cử chỉ truy cập. Việc khớp hình ảnh thành công không đảm bảo rằng cú chạm sau đó sẽ được chấp nhận. Chẩn đoán quan sát và giao tiếp cử chỉ riêng biệt.

Giữ các khoản thanh toán, thay đổi tài khoản, xóa dữ liệu gây hủy hoại, dữ liệu riêng tư và các hành động không thể đảo ngược đằng sau quá trình xem xét rõ ràng hoặc các điều kiện rất hạn chế. Đừng sử dụng trình kích hoạt nhấp chuột tự động để tạo sự tương tác giả mạo, tránh kiểm soát của nền tảng hoặc vi phạm các điều khoản của ứng dụng. Flow an toàn nhất là một Flow có trạng thái, hành động, điều kiện dừng và bằng chứng được hiển thị trước khi chạy.

Kiểm tra danh sách kiểm tra trước khi sử dụng không giám sát

1. Chạy từ màn hình khởi đầu dự kiến chính xác ba lần.
2. Bắt đầu từ màn hình sai và xác nhận rằng không có thao tác chạm nào xảy ra.
3. Che hoặc loại bỏ mục tiêu và xác nhận rằng trận đấu tiếp tục sau khi thất bại.
4. Truyền đạt một điều khiển trông giống nhau và kiểm tra xem ngưỡng và vùng đó có từ chối nó không.
5. Làm chậm ứng dụng hoặc mạng và xác nhận rằng trạng thái chờ đợi và hậu quả sau sẽ hoạt động an toàn.
6. Xoay thiết bị hoặc thay đổi tỷ lệ hiển thị chỉ khi các chế độ đó được hỗ trợ, sau đó kiểm tra lại các mẫu.
7. Tắt hoặc ngắt kết nối khả năng chụp màn hình hoặc khả năng truy cập cần thiết và xác minh lỗi có thể nhìn thấy được.
8. Xem lại màn hình cuối cùng, nhật ký, ảnh chụp màn hình hoặc đầu ra chứng minh kết quả của nhiệm vụ.

Bắt đầu với một quá trình chuyển đổi bị giới hạn. Khi nó được đáng tin cậy, hãy trích xuất các hành động đa nút lặp lại thành một Flow con nhỏ có tên và giữ cho Flow chính có thể đọc được. Hướng dẫnLaiCai Flow Insidegiải thích về ranh giới chuẩn bị và triển khai; trang tự động hóa Androidbao gồm việc xây dựng và gỡ lỗi quy trình làm việc được hỗ trợ từ máy tính để bàn.

Câu hỏi thường gặp về việc nhấp chuột tự động nhận dạng hình ảnh trên Android

Nhận dạng hình ảnh luôn an toàn hơn các tọa độ cố định không?

Nó an toàn hơn chỉ khi mẫu, ngưỡng, vùng, thời gian và đường dẫn lỗi được kiểm tra. Một kết quả khớp yếu hoặc quá rộng vẫn có thể chọn mục tiêu sai.

Dường như Flow nên tiếp tục khớp cho đến khi hình ảnh xuất hiện?

Một nút khớp hình ảnh đơn lẻ nên được quan sát một lần. Nếu cần chờ đợi, hãy sử dụng lại rõ ràng hoặc cho đến khi cấu trúc có khoảng cách rõ ràng, thời gian chờ hoặc giới hạn số lần thử để hành vi vẫn có thể nhìn thấy được.

Vị trí được phát hiện có thể được sử dụng trực tiếp để nhấn vào không?

Vâng. Sử dụng hình chữ nhật hoặc tâm được phát hiện của nút hình ảnh thành công làm nguồn chạm. Điều này giúp bảo tồn mối quan hệ giữa việc quan sát và hành động.

Điều này có thể chạy hoàn toàn ngoại tuyến trên điện thoại không?

Nó có thể xảy ra khi mọi nút và tài sản trong Hồ sơ được triển khai chạy cục bộ. Việc khớp hình ảnh, chờ đợi, cử chỉ và kiểm tra cục bộ có thể được giữ trên thiết bị. Bất kỳ mô hình từ xa nào, yêu cầu HTTP, webhook, đồng bộ hóa đám mây hoặc dịch vụ tin nhắn nào cũng thêm một sự phụ thuộc vào mạng.

Làm cho mỗi lần nhấn là một trạng thái chuyển đổi có thể kiểm tra được

Sự cải thiện chính là về mặt khái niệm: đừng chỉ hỏi nơi nào để nhấn. Hãy hỏi điều gì phải đúng trước khi nhấn, kết quả được quan sát nào cho phép cử chỉ đó, giao diện cần thay đổi bao lâu và điều gì chứng minh rằng trạng thái tiếp theo đã đến.

LaiCai Screen Mirroring bao gồm LaiCai Flow Inside cho mẫu bên điện thoại xác định này: quan sát một lần, theo dõi kết quả thành công hoặc thất bại, nhấn từ kết quả tỷ lệ màn hình được phát hiện, chờ đợi rõ ràng và quan sát lại. Chuẩn bị và xác minh Hồ sơ tương thích trên máy tính, triển khai nó với các tài sản đã được phê duyệt của nó và để LaiCai Android Agent chỉ chạy các trạng thái và chuyển đổi mà bạn đã xác định.

• API Dịch vụ truy cập cho người khuyết tật Android
• Hướng dẫn dịch vụ truy cập dễ dàng cho Android
• Dự án Klick'r Smart AutoClicker
• Klick'r nhấp chuột và khắc phục sự cố phát hiện
• Các macro nhận dạng hình ảnh EmuloMobile
• Yêu cầu của người dùng về một trình kích hoạt tự động nhận diện hình ảnh
• Báo cáo của người dùng về việc nhấp vào giao diện người dùng sai