Android 자동화에서 UI 선택기, OCR, 템플릿 일치 또는 객체 감지를 사용해야 하는 경우와 시각적 증거가 불확실한 경우 안전하게 중지하는 방법을 알아보세요. LaiCai Screen Mirroring.
시각적 자동화는 탭이 아닌 결정으로 시작됩니다.
워크플로에서 다음 버튼이 항상 동일한 좌표에 있다고 가정하면 Android 자동화가 취약해집니다. 모바일 화면은 장치 크기, 언어, 글꼴 크기, 키보드 상태, 권한, 네트워크 타이밍 및 앱 업데이트에 따라 변경됩니다. 보다 안전한 워크플로는 먼저 현재 화면을 관찰하고 증거를 선택하고 결과가 충분한지 확인한 후 작업을 수행합니다. 관찰-선택-행위 패턴은 시각적 UI 자동화의 기초입니다.
LaiCai Flow에서는 UI 구문 분석, UI 찾기, OCR, 템플릿 매칭, 객체 감지 등의 관찰 노드가 스스로 클릭되지 않습니다. 구조화된 결과를 반환합니다. 별도의 데이터 단계에서는 가장 적합한 항목을 선택할 수 있고 포인터 단계에서는 해당 항목의 중심을 탭할 수 있습니다. 이러한 분리로 인해 그래프를 검토할 수 있게 되고 인식 결과가 자동으로 동작되는 것을 방지할 수 있습니다.
LaiCai Screen Mirroring의 경우 유용한 약속은 완벽한 인식이 아닙니다. 이는 승인된 장치나 에뮬레이터에서 작업을 반복하기 전에 팀이 스크린샷, 인식 출력, 임계값, 로그, 분기 및 중지 조건을 검사할 수 있는 눈에 띄는 Android 자동화 워크플로입니다.
구조가 신뢰할 수 있는 경우 OCR보다 먼저 UI 선택기를 선택하세요.
Android의 접근성 및 UI 계층 구조는 텍스트, 콘텐츠 설명, 경계, 클래스 이름 및 기타 구조화된 속성을 노출할 수 있습니다. 대상이 해당 계층 구조에 안정적으로 나타나면 일반적으로 UI 선택기가 OCR이나 이미지 일치보다 유지 관리가 더 쉽습니다. 테마, 사소한 색상 변경 및 다양한 픽셀 밀도 전반에 걸쳐 유용할 수 있습니다.
현재 UI 트리를 확인하는 것부터 시작하세요. 안정적인 텍스트나 콘텐츠 설명을 검색한 다음 탭하기 전에 결과를 필터링하거나 선택하세요. "보이는 텍스트 찾기"와 같은 문구가 항상 OCR을 의미한다고 가정하지 마십시오. 화면 증거가 결정해야 합니다. 앱이 의미 있는 구조를 노출하는 경우 구조화된 선택기가 더 좋습니다.
선택기에는 여전히 제한이 있습니다. 캔버스 보기, 게임, 스트리밍된 표면, 사용자 정의 렌더링 및 일부 WebView는 유용한 계층 구조를 거의 노출하지 않을 수 있습니다. 번역된 라벨도 변경됩니다. 대상이 사람에게 표시되지만 UI 트리에는 없으면 OCR 또는 이미지 인식이 기본 첫 번째 도구가 아닌 합리적인 대체 수단이 됩니다.
텍스트가 표시되지만 선택기를 사용할 수 없는 경우 OCR을 사용하십시오.
OCR은 주문 상태, 현지화된 라벨, 확인 메시지, 오류 배너, 가격, 테스트 계정 이름 또는 검색 결과 등 눈에 보이는 단어로 비즈니스 의미를 전달할 때 유용합니다. 흐름은 화면을 캡처하고, 경계 영역이나 전체 프레임을 읽고, 결과를 정규화하고, 계속하기 전에 예상 텍스트와 비교할 수 있습니다.
OCR은 확률적입니다. 작은 글꼴, 압축, 그라데이션, 애니메이션, 특이한 스크립트, 낮은 대비 및 겹치는 컨트롤은 정확도를 낮출 수 있습니다. 고정 영역은 레이아웃, 방향, 키보드 또는 로캘이 변경될 때 대상을 놓칠 수도 있습니다. 따라서 LaiCai는 재사용 가능한 OCR 영역을 명시적 자산으로 취급합니다. 고정 영역을 생성하려면 사용자가 해당 위치 가정을 이해해야 합니다.
신뢰할 수 있는 검사는 인식된 텍스트와 이를 생성하는 데 사용된 스크린샷을 모두 기록합니다. 가능한 경우 최소 신뢰도 규칙을 사용하고, 합법적인 변형의 작은 집합을 허용하고, 필수 텍스트가 누락된 경우 읽을 수 있는 이유를 제시하여 중지하세요. 신뢰도가 낮은 OCR 결과를 직접 파괴적인 탭으로 변환하지 마십시오.
안정적인 시각적 대상을 위해 템플릿 일치 사용
템플릿 일치는 안정적인 시각적 대상에 신뢰할 수 있는 텍스트나 UI 선택기(고유한 아이콘, 배지, 게임 컨트롤, 사용자 정의 확인 그래픽 또는 이미지 전용 버튼)가 없는 경우에 적합합니다. 템플릿은 실제 캡처된 화면에서 가져와야 하며 흐름은 파일이나 대상을 만드는 대신 기존 자산을 참조해야 합니다.
일치 품질은 자르기 품질, 크기, 테마, 색상 모드, 애니메이션 및 검색 지역에 따라 다릅니다. 빡빡한 템플릿은 독특하지만 부서지기 쉽습니다. 광범위한 작물에는 콘텐츠 변경이 포함될 수 있습니다. 팀은 하나 이상의 현실적인 장치 상태를 테스트하고 정상적인 변형을 불가능하게 하지 않으면서 관련 없는 일치를 피할 수 있을 만큼 임계값을 높게 유지해야 합니다.
현재 LaiCai 자산 컨텍스트는 템플릿이 재사용 가능한 명명된 자산이고 일치가 점수, 모드 및 화면 비율 검색 영역을 지원하는지 확인합니다. 이 기사는 하나의 템플릿이 모든 곳에서 작동한다고 주장하지 않습니다. 다크 모드, 현지화, 반응형 레이아웃 또는 재설계에는 선택기, 다른 템플릿 또는 의도적인 중지가 필요할 수 있습니다.
객체 감지는 다른 문제를 해결합니다.
객체 감지는 OCR의 더 강력한 버전이 아닙니다. 이는 다른 질문에 답합니다. 사람, 차량 또는 제품별 객체와 같은 훈련된 클래스의 인스턴스는 어디에 있습니까? OCR은 텍스트를 추출합니다. 템플릿 일치는 시각적 유사성을 찾습니다. 탐지는 모델에 의해 정의된 클래스를 찾습니다.
사용 가능한 모델에 워크플로우에 필요한 클래스가 포함된 경우에만 감지를 사용하십시오. 흐름은 레이블을 추측하는 대신 모델 메타데이터와 클래스 목록을 읽어야 합니다. 감지 출력에는 포인터 작업을 수행하기 전에 여전히 선택 논리(예: 최고 신뢰도, 가장 가까운 중심 또는 임계값 위의 모든 항목)가 필요합니다.
일반 앱 버튼의 경우 UI 선택기, OCR 또는 템플릿이 더 간단한 경우가 많습니다. 모양이나 위치가 변하는 가변 개체에 대한 감지가 유용해집니다. 여전히 증거를 남기고 신뢰도, 클래스 또는 개수가 워크플로의 기대치를 충족하지 못하는 경우 중지되어야 합니다.
안전한 관찰-선택-행위 흐름 구축
안전한 흐름은 상태 캡처, UI 구조 검사, 적절한 인식 방법 선택, 결과 선택, 신뢰도 또는 비즈니스 의미 확인, 행동의 6가지 시각적 단계로 표현될 수 있습니다. 작업 후에는 화면이 안정될 때까지 기다렸다가 다시 관찰하세요.
현지화 QA 확인을 고려하세요. 스테이징 빌드를 열고, 홈 화면을 기다리고, 안정적인 선택기를 사용하여 탐색하고, 번역된 화면을 캡처하고, 제목에 대해 OCR을 실행하고, 스크린샷을 저장하고, 예상되는 현지화된 문구가 없는 경우 중지합니다. Flow는 생산 데이터를 변경하지 않고 증거를 생성합니다.
오류 처리를 보수적으로 유지하세요. UI 찾기가 항목을 반환하지 않거나, OCR이 필수 텍스트를 놓치거나, 템플릿 점수가 너무 낮거나, 감지에서 예상치 못한 개수를 발견하면 흐름이 실패하거나 명확한 증거 및 중지 경로로 분기됩니다. 보이지 않는 재시도 루프에서 동일한 작업에 실패를 다시 보내지 마세요.
불확실성을 숨기지 않고 인식 문제 해결
인식이 실패하면 모든 임계값을 낮추기보다는 먼저 스크린샷과 원시 결과를 검사하세요. 앱이 예상 페이지에 있고, 키보드 또는 권한 대화 상자가 대상을 덮지 않고, 대기 시간이 충분히 길며, 검색 영역에 요소가 포함되어 있는지 확인하세요.
OCR의 경우 스크립트, 공백, 구두점, 대문자 및 가능한 문자 대체를 비교합니다. 템플릿의 경우 규모, 테마, 자르기 및 경쟁 일치 항목을 검사합니다. UI 찾기의 경우 대상이 화면 밖에 있는지 또는 계층 구조에서 숨겨져 있는지 검사합니다. 탐지를 위해 선택한 모델과 실제 클래스 목록을 확인합니다.
한 번에 하나의 변수를 변경하고 가능하면 읽기 전용 프로브를 다시 실행하십시오. 임계값이 낮을수록 회상이 증가할 수 있지만 거짓 긍정도 증가할 수 있습니다. 더 넓은 지역에서는 목표물을 찾을 수 있지만 주의가 산만해질 수 있습니다. 올바른 결과는 "노드 통과"가 아닙니다. 이는 다음 승인 조치에 대해 충분히 강력한 증거입니다.
QA, 현지화 및 지원을 위한 실용적인 워크플로
QA 팀은 연기 경로, 오류 배너, 동의 대화 상자, 스크린샷 및 릴리스 증거에 대한 시각적 검사를 사용할 수 있습니다. 현지화 팀은 장치와 언어 전반에 걸쳐 제목, 잘린 레이블, 누락된 번역, 예상치 못한 대체 텍스트를 비교할 수 있습니다. 지원 팀은 보고된 경로를 재현하고 스크린샷과 로그를 개발자에게 전달할 수 있습니다.
이러한 워크플로는 코드 수준 단위, 계측 및 통합 테스트를 보완합니다. 그들은 그들을 대체하지 않습니다. 시각적 검사는 사람이 보는 렌더링된 상태에 특히 유용한 반면, 코드 수준 테스트는 내부 논리 및 결정론적 어설션에 더 좋습니다.
AI Android 자동화 도구 개요, LaiCai Flow 가이드, Android 화면 미러링 가이드 및 모바일 앱 테스트 워크플로를 다음 읽기 경로로 사용하세요.
첫 번째 실제 실행 전 검토 체크리스트
첫 번째 실제 실행 전에 장치와 앱이 승인되었는지, 시작 상태가 명시적이고 워크플로가 패키지, 자산, 좌표 또는 모델 클래스를 추측하지 않는지 확인합니다. 모든 인식 결과가 의도적으로 선택되었는지, 민감한 작업에는 강력한 조건이나 사람의 검토가 필요한지 확인하세요.
스크린샷과 로그가 개인 고객 데이터를 노출하지 않는지 확인하십시오. 결제, 삭제, 계정 설정, 아웃바운드 메시지 또는 되돌릴 수 없는 생산 변경 전에 명시적인 중지 경계를 추가하세요. 가짜 참여, 스팸, 계정 남용, 규칙 회피, 개인 데이터 스크래핑, 게임 부정행위를 방지하세요.
마지막으로 미러링된 Android 화면을 통해 첫 번째 실행을 시청하세요. 그래프, UI 상태, OCR 텍스트, 일치 점수, 선택한 범위, 스크린샷, 중지 이유를 함께 검토하세요. 신뢰할 수 있는 Android OCR 및 이미지 인식 자동화는 신뢰 극장이 아닌 검사 가능한 증거에서 비롯됩니다.