تعرّف على الحالات التي يجب أن تستخدم فيها أتمتة Android محددات واجهة المستخدم، أو التعرف الضوئي على الحروف، أو مطابقة القالب، أو اكتشاف الكائنات، وكيفية التوقف بأمان عندما تكون الأدلة المرئية غير مؤكدة. LaiCai Screen Mirroring.
تبدأ الأتمتة المرئية بقرار، وليس بنقرة
تصبح أتمتة Android هشة عندما يفترض سير العمل أن الزر التالي يكون دائمًا في نفس الإحداثي. تتغير شاشات الأجهزة المحمولة حسب حجم الجهاز واللغة وحجم الخط وحالة لوحة المفاتيح والأذونات وتوقيت الشبكة وتحديثات التطبيق. يراقب سير العمل الأكثر أمانًا الشاشة الحالية أولاً، ويختار الأدلة، ويتحقق مما إذا كانت النتيجة جيدة بما فيه الكفاية، وبعد ذلك فقط ينفذ الإجراء. يعد نمط المراقبة والتحديد والتصرف هذا أساسًا لأتمتة واجهة المستخدم المرئية.
في LaiCai Flow، لا تنقر عقد المراقبة مثل تحليل واجهة المستخدم والعثور على واجهة المستخدم والتعرف الضوئي على الحروف ومطابقة القالب واكتشاف الكائنات بمفردها. يعيدون نتائج منظمة. يمكن لخطوة بيانات منفصلة اختيار العنصر الأفضل، ويمكن لخطوة المؤشر النقر على مركزه. يجعل هذا الفصل الرسم البياني قابلاً للمراجعة ويمنع نتيجة التعرف من أن تصبح إجراءً بصمت.
بالنسبة لـ LaiCai Screen Mirroring، الوعد المفيد ليس الاعتراف الكامل. إنه سير عمل أتمتة Android مرئي حيث يمكن للفرق فحص لقطات الشاشة ومخرجات التعرف والحدود والسجلات والفروع وشروط التوقف قبل تكرار المهمة على الأجهزة أو المحاكيات المعتمدة.
اختر محددات واجهة المستخدم قبل التعرف الضوئي على الحروف عندما تكون البنية موثوقة
يمكن لإمكانية الوصول إلى Android والتسلسل الهرمي لواجهة المستخدم الكشف عن النص وأوصاف المحتوى والحدود وأسماء الفئات والخصائص المنظمة الأخرى. عندما يظهر الهدف بشكل موثوق في هذا التسلسل الهرمي، عادةً ما يكون الحفاظ على محدد واجهة المستخدم أسهل من OCR أو مطابقة الصور. يمكن أن يظل مفيدًا عبر السمات والتغييرات الطفيفة في الألوان وكثافات البكسل المختلفة.
ابدأ بالتحقق من شجرة واجهة المستخدم الحالية. ابحث عن نص ثابت أو وصف للمحتوى، ثم قم بتصفية النتيجة أو تحديدها قبل النقر. لا تفترض أن عبارة مثل "البحث عن نص مرئي" يجب أن تعني دائمًا التعرف الضوئي على الحروف؛ يجب أن تقرر أدلة الشاشة. يُفضل استخدام المحدد المنظم عندما يكشف التطبيق عن بنية ذات معنى.
لا تزال المحددات لها حدود. قد تؤدي طرق عرض اللوحة القماشية، والألعاب، والأسطح المتدفقة، والعرض المخصص، وبعض طرق عرض الويب إلى الكشف عن القليل من التسلسل الهرمي المفيد. تتغير التصنيفات المترجمة أيضًا. عندما يكون الهدف مرئيًا لشخص ما ولكنه غائب عن شجرة واجهة المستخدم، يصبح التعرف الضوئي على الحروف (OCR) أو التعرف على الصور بمثابة أداة احتياطية معقولة بدلاً من الأداة الأولى الافتراضية.
استخدم OCR عندما يكون النص مرئيًا ولكن المحددات غير متاحة
يكون OCR مفيدًا عندما يحمل المعنى التجاري كلمات مرئية: حالة الطلب، أو التسمية المترجمة، أو رسالة التأكيد، أو شعار الخطأ، أو السعر، أو اسم حساب الاختبار، أو نتيجة البحث. يمكن للتدفق التقاط الشاشة وقراءة منطقة محددة أو الإطار الكامل وتطبيع النتيجة ومقارنتها بالنص المتوقع قبل المتابعة.
التعرف الضوئي على الحروف احتمالي. الخطوط الصغيرة، والضغط، والتدرجات، والرسوم المتحركة، والبرامج النصية غير العادية، والتباين المنخفض، وعناصر التحكم المتداخلة يمكن أن تقلل من الدقة. يمكن أيضًا أن تفوت المنطقة الثابتة الهدف عند تغيير التخطيط أو الاتجاه أو لوحة المفاتيح أو اللغة. لذلك، تتعامل LaiCai مع مناطق التعرف الضوئي على الحروف القابلة لإعادة الاستخدام كأصول صريحة؛ يتطلب إنشاء منطقة ثابتة أن يفهم المستخدم هذا الافتراض الموضعي.
يقوم الفحص الموثوق بتسجيل كل من النص الذي تم التعرف عليه ولقطة الشاشة المستخدمة لإنتاجه. استخدم قاعدة الحد الأدنى من الثقة حيثما كان ذلك متاحًا، واقبل مجموعة صغيرة من المتغيرات الشرعية، وتوقف عند سبب قابل للقراءة عندما يكون النص المطلوب مفقودًا. لا تقم مطلقًا بتحويل نتيجة التعرف الضوئي على الحروف منخفضة الثقة مباشرة إلى نقرة مدمرة.
استخدام مطابقة القالب للأهداف المرئية الثابتة
تكون مطابقة القالب مناسبة عندما لا يحتوي الهدف المرئي الثابت على نص يمكن الاعتماد عليه أو محدد واجهة المستخدم: رمز مميز، أو شارة، أو عنصر تحكم في اللعبة، أو رسم تأكيد مخصص، أو زر صورة فقط. يجب أن يأتي القالب من شاشة حقيقية تم التقاطها، ويجب أن يشير التدفق إلى أصل موجود بدلاً من اختراع ملف أو هدف.
تعتمد جودة المطابقة على جودة الاقتصاص والحجم والموضوع ووضع الألوان والرسوم المتحركة ومنطقة البحث. يمكن أن يكون القالب الضيق مميزًا ولكنه هشًا؛ يمكن أن يشمل المحصول الواسع تغيير المحتوى. يجب على الفرق اختبار أكثر من حالة جهاز واقعية والحفاظ على الحد الأقصى مرتفعًا بدرجة كافية لتجنب المطابقات غير ذات الصلة دون جعل الاختلاف الطبيعي مستحيلاً.
يؤكد سياق أصول LaiCai الحالي أن القوالب عبارة عن أصول مسماة قابلة لإعادة الاستخدام وأن المطابقة تدعم منطقة البحث عن النتيجة والوضع ونسبة الشاشة. لا تدعي المقالة أن قالبًا واحدًا يعمل في كل مكان. قد يتطلب الوضع المظلم أو الترجمة أو التخطيط سريع الاستجابة أو إعادة التصميم محددًا أو قالبًا آخر أو توقفًا مقصودًا.
اكتشاف الكائنات يحل مشكلة مختلفة
اكتشاف الكائنات ليس إصدارًا أقوى من OCR. إنه يجيب على سؤال مختلف: أين يوجد مثيل لفئة مدربة مثل شخص أو مركبة أو كائن خاص بمنتج؟ يقوم OCR باستخراج النص؛ مطابقة القالب تبحث عن التشابه البصري؛ يعثر الكشف على الفئات المحددة بواسطة النموذج.
استخدم الكشف فقط عندما يحتوي النموذج المتوفر على الفئة التي يحتاجها سير العمل. يجب أن يقرأ التدفق بيانات تعريف النموذج وقائمة الفئات بدلاً من تخمين التسميات. لا تزال مخرجات الاكتشاف بحاجة إلى منطق التحديد - على سبيل المثال أعلى مستوى من الثقة، أو أقرب مركز، أو كل العناصر التي تزيد عن الحد - قبل أي إجراء للمؤشر.
بالنسبة لأزرار التطبيقات العادية، غالبًا ما تكون محددات واجهة المستخدم أو التعرف الضوئي على الحروف أو القوالب أكثر بساطة. يصبح الاكتشاف مفيدًا للكائنات المتغيرة التي يتغير مظهرها أو موضعها. يجب أن يظل يترك الدليل ويتوقف عندما لا تفي الثقة أو الفئة أو العدد بتوقعات سير العمل.
إنشاء تدفق آمن للمراقبة والتحديد والتصرف
يمكن التعبير عن التدفق الآمن في ست مراحل مرئية: التقاط الحالة، وفحص بنية واجهة المستخدم، واختيار طريقة التعرف المناسبة، وتحديد نتيجة، والتحقق من الثقة أو المعنى التجاري، والتصرف. بعد الإجراء، انتظر بوضوح حتى تستقر الشاشة ولاحظها مرة أخرى.
فكر في إجراء فحص ضمان الجودة للترجمة. افتح البنية المرحلية، وانتظر الشاشة الرئيسية، وتنقل باستخدام محددات ثابتة، والتقط الشاشة المترجمة، وقم بتشغيل التعرف الضوئي على الحروف (OCR) على العنوان، واحفظ لقطة شاشة، وتوقف في حالة غياب العبارة المترجمة المتوقعة. يقدم التدفق أدلة دون تغيير بيانات الإنتاج.
حافظ على التعامل مع الفشل بشكل متحفظ. إذا لم تُرجع عملية البحث عن واجهة المستخدم أي عنصر، أو أخطأ التعرف الضوئي على الحروف (OCR) النص المطلوب، أو كانت درجة القالب منخفضة جدًا، أو عثر الاكتشاف على عدد غير متوقع، فاسمح للتدفق بالفشل أو يتفرع إلى مسار واضح للأدلة والتوقف. لا ترسل الفشل مرة أخرى إلى نفس الإجراء في حلقة إعادة المحاولة غير المرئية.
استكشاف أخطاء التعرف وإصلاحها دون إخفاء عدم اليقين
عند فشل التعرف، قم أولاً بفحص لقطة الشاشة والنتيجة الأولية بدلاً من خفض كل عتبة. تأكد من وجود التطبيق في الصفحة المتوقعة، وأن مربع حوار لوحة المفاتيح أو الأذونات لا يغطي الهدف، وأن الانتظار طويل بما يكفي، وأن منطقة البحث تحتوي على العنصر.
بالنسبة للتعرف الضوئي على الحروف، قارن بين البرامج النصية والمسافات وعلامات الترقيم والأحرف الكبيرة وبدائل الأحرف المحتملة. بالنسبة للقوالب، قم بفحص المقياس والموضوع والاقتصاص والمطابقات المتنافسة. بالنسبة للبحث عن واجهة المستخدم، افحص ما إذا كان الهدف خارج الشاشة أم مخفيًا من التسلسل الهرمي. للكشف، تحقق من النموذج المحدد وقائمة الفئات الفعلية الخاصة به.
قم بتغيير متغير واحد في كل مرة وأعد تشغيل مسبار القراءة فقط عندما يكون ذلك ممكنًا. قد يؤدي الحد الأدنى إلى زيادة الاستدعاء ولكن أيضًا الإيجابيات الكاذبة. قد تجد منطقة أكبر الهدف ولكنها تسبب تشتيت الانتباه. النتيجة الصحيحة ليست "تم تمرير العقدة"؛ إنه دليل قوي بما يكفي لاتخاذ الإجراء المعتمد التالي.
سير العمل العملي لضمان الجودة والترجمة والدعم
يمكن لفرق ضمان الجودة استخدام عمليات التحقق المرئية لمسارات الدخان وشعارات الأخطاء ومربعات حوار الموافقة ولقطات الشاشة وأدلة الإصدار. يمكن لفرق الترجمة مقارنة العناوين والتسميات المقتطعة والترجمات المفقودة والنص الاحتياطي غير المتوقع عبر الأجهزة واللغات. يمكن لفرق الدعم إعادة إنتاج المسار المبلغ عنه ولقطات الشاشة بالإضافة إلى السجلات للمطورين.
تكمل مسارات العمل هذه اختبارات الوحدة والأدوات والتكامل على مستوى التعليمات البرمجية؛ لا يحل محلهم. تعتبر عمليات التحقق المرئية مفيدة بشكل خاص للحالة المقدمة التي يراها الشخص، في حين تظل اختبارات مستوى التعليمات البرمجية أفضل للمنطق الداخلي والتأكيدات الحتمية.
استخدم نظرة عامة على أداة أتمتة Android AI، ودليل LaiCai Flow، ودليل انعكاس شاشة Android، وسير عمل اختبار تطبيقات الهاتف المحمول كمسار القراءة التالي.
قائمة مراجعة قبل التشغيل الحقيقي الأول
قبل التشغيل الحقيقي الأول، تأكد من ترخيص الجهاز والتطبيق، وأن حالة البدء واضحة، ولا يخمن سير العمل الحزم أو الأصول أو الإحداثيات أو فئات النماذج. تأكد من أن كل نتيجة التعرف يتم تحديدها بشكل متعمد وأن الإجراءات الحساسة تتطلب حالة قوية أو مراجعة بشرية.
تأكد من أن لقطات الشاشة والسجلات لا تكشف عن بيانات العميل الخاصة. قم بإضافة حد توقف صريح قبل الدفع أو الحذف أو إعدادات الحساب أو الرسائل الصادرة أو تغييرات الإنتاج التي لا رجعة فيها. تجنب المشاركة الزائفة، والبريد العشوائي، وإساءة استخدام الحساب، والتهرب من القواعد، وجمع البيانات الخاصة، والغش في الألعاب.
أخيرًا، شاهد الجولة الأولى من خلال شاشة Android المعكوسة. قم بمراجعة الرسم البياني وحالة واجهة المستخدم ونص التعرف الضوئي على الحروف ونتائج المطابقة والحدود المحددة ولقطات الشاشة وسبب التوقف معًا. تأتي أتمتة التعرف الضوئي على الحروف (OCR) ونظام التعرف على الصور الموثوق به لنظام Android من أدلة قابلة للفحص، وليس من مسرح الثقة.