أنشئ تدفقًا أكثر أمانًا للنقر التلقائي للتعرف على صور Android: قم بمطابقة الحالة الحالية، وانقر فوق الهدف المكتشف، وانتظر، وتحقق من الشاشة التالية.
يجب أن يثبت جهاز النقر التلقائي للتعرف على الصور حالة الشاشة أولاً
يفترض جهاز النقر التلقائي ذو الإحداثيات الثابتة أن نفس عنصر التحكم سيظل تحت نفس النقطة في كل مرة. ينقطع هذا الافتراض عند ظهور مربع حوار، أو استمرار تشغيل الرسوم المتحركة، أو تغير مقياس العرض، أو تحرك القائمة، أو فتح التطبيق على صفحة مختلفة. ربما لا يزال يتم تسليم النقرة بنجاح، ولكن إلى عنصر تحكم خاطئ.
يعمل التعرف على الصور على تحسين ذلك من خلال ملاحظة الشاشة المرئية قبل التصرف. ومع ذلك فإن الكشف وحده لا يكفي. يجب أن يفصل تدفق النقر التلقائي الموثوق به لنظام Android بين أربعة أسئلة: هل الهدف المتوقع مرئي؟ هل المباراة قوية بما فيه الكفاية وداخل المنطقة المتوقعة؟ هل وصل الصنبور إلى الهدف المكتشف؟ هل دخلت الشاشة إلى الحالة المتوقعة التالية؟
يستخدم هذا الدليل نمطًا تم التحقق منه من الحالة لأتمتة Android لجهازon مع LaiCai Flow Inside. يتم إعداد ملف تعريف متوافق وأصوله المرئية ونشرها من جهاز كمبيوتر، ثم يمكن لـ LaiCai Android Agent تنفيذ التدفق المعتمد محليًا على الهاتف. الهدف ليس النقر الأعمى بشكل أسرع. إنه تسلسل يتوقف عندما لا تتطابق الشاشة مع الافتراضات.
نمط النقر الذي تم فحصه من خمس خطوات
- حدد حالة البداية والتقط هدفًا مرئيًا ثابتًا، مثل زر أو رمز مميز.
- قم بتشغيل صورة واحدة مطابقة للإطار الحالي باستخدام عتبة ثقة متعمدة ومنطقة بحث.
- فقط في حالة التطابق الناجح، قم بتمرير المستطيل أو المركز المكتشف إلى إجراء النقر.
- انتظر انتقال الواجهة بدلاً من التحقق من نفس الإطار على الفور.
- مراقبة الحالة القادمة المتوقعة. الاستمرار في النجاح؛ وإلا توقف، أو أعد المحاولة ضمن حد واضح، أو اطلب المراجعة.
فكر في كل نقرة باعتبارها انتقالًا للحالة، وليس كبادرة معزولة. الملاحظة الأولى هي الشرط المسبق. الصنبور هو العملية. الملاحظة الثانية هي الشرط اللاحق. إذا كان أي جزء مفقودًا، فلن تتمكن الأتمتة من التمييز بين النجاح والإيماءة التي وصلت إلى الشاشة الخطأ أو لم يكن لها أي تأثير.
هذا النمط أيضًا أسهل في التصحيح. فشل قبل أن يشير النقر إلى القالب أو العتبة أو منطقة البحث أو شاشة البداية. يشير الفشل بعد النقر إلى التوقيت أو الإذن أو الإيماءة المحظورة أو مربع حوار غير متوقع أو حالة تالية مختلفة. يخفي هذا التمييز ماكرو طويل يُبلغ عن "فشل" فقط.
اختر إشارة الشاشة الصحيحة
| إشارة | استخدامه عندما | الخطر الرئيسي |
|---|---|---|
| مطابقة الصورة | يتمتع الزر أو الرمز أو البطاقة أو مربع الحوار بمظهر مرئي ثابت | يمكن أن تؤدي السمات أو الحجم أو الرسوم المتحركة أو إعادة التصميم إلى خفض النتيجة |
| محدد واجهة المستخدم | يعرض التطبيق نصًا ثابتًا أو أوصاف محتوى أو معرفات الموارد | قد لا يكشف المحتوى المرسوم بشكل مخصص أو محتوى القماش عن عناصر مفيدة |
| التعرف الضوئي على الحروف | الكلمات المرئية مهمة أكثر من وحدات البكسل الدقيقة | تؤثر اللغة والخط والتباين واختيار المنطقة على التعرف |
| كشف الكائنات | ينتمي الهدف إلى فئة أوسع بدلاً من قالب واحد محدد | مطلوب نموذج متوافق وفئة صالحة |
| الإحداثيات الثابتة | يتم التحكم في التخطيط ولا توجد إشارة حالة أفضل | يمكن لأي حركة إعادة توجيه الصنبور |
استخدم أبسط إشارة تصف الحالة بدقة. يعد قالب الصورة المحفوظة مناسبًا تمامًا لأيقونة مميزة تبدو كما هي في كل مرة يتم تشغيلها. عادةً ما يكون التعرف الضوئي على الحروف (OCR) أفضل عندما تكون الكلمة مستقرة ولكن تصميمها قد يتغير. يمكن أن تكون محددات واجهة المستخدم أقوى من وحدات البكسل عندما يكشف التطبيق عن بنية يمكن الوصول إليها. يعد اكتشاف الكائنات مفيدًا للفئات التي تم التعرف عليها، وليس كبديل لقالب الزر المفقود.
يقارن دليلAndroid OCR وأتمتة التعرف على الصورطرق المراقبة هذه بمزيد من التعمق. تركز هذه المقالة على حدود القرار على الجهاز: يجب أن تنجح الملاحظة قبل أن تتمكن الإيماءة من استخدام نتيجتها.
قم ببناء النموذج في LaiCai Flow Inside
1. قم بإعداد قالب مستقر وحالة البداية
اختر هدفًا بحواف واضحة وتفاصيل فريدة كافية لتمييزه عن عناصر التحكم القريبة. تجنب التقاط منطقة كبيرة تتضمن العدادات المتغيرة أو الطوابع الزمنية أو أسماء المستخدمين أو الرسوم المتحركة. يتم إعداد الملف الشخصي الأول وأصول الصورة المرجعية على جهاز الكمبيوتر. أثناء النشر، يتم تجميع القالب المتوافق لـ LaiCai Android Agent.
2. قم بمطابقة الإطار الحالي مرة واحدة
تراقب العقدة `vision.match` الإطار الحالي مرة واحدة. يتطلب الأمر واحدًا أو أكثر من معرفات القوالب المحفوظة، والحد الأدنى المطلوب من النقاط، ووضع المطابقة، ومنطقة نسبة الشاشة محل الاهتمام. توفر المباراة الناجحة أفضل نتيجة والمركز والمستطيل المكتشفين. لا توجد مباراة تتبع نتيجة الفشل؛ العقدة ليست حلقة انتظار مخفية.
3. اضغط على النتيجة المكتشفة، وليس الإحداثيات القديمة
قم بتوصيل المطابقة الناجحة بـ `pointer.tap` واستخدم المستطيل المكتشف كـ `positionFrom`، عادةً مع مرساة مركزية. وهذا يبقي الإجراء مرتبطًا بالملاحظة التي سمحت به. لا تقم بنسخ الإحداثيات من عملية تشغيل واحدة وتحويل العملية التالية مرة أخرى إلى ماكرو ذو إحداثيات ثابتة.
4. أضف انتظارًا مرئيًا
بعد النقر، أضف `flow.wait` واضحًا قبل الملاحظة التالية المعتمدة على الشاشة. تعتمد المدة الصحيحة على التطبيق والجهاز والشبكة والرسوم المتحركة. الانتظار المرئي قابل للمراجعة والتعديل؛ قد تؤدي إعادة الفحص الفوري إلى ملاحظة الإطار القديم ببساطة.
5. التحقق من الحالة التالية أو التوقف
استخدم صورة ثانية، أو نتيجة التعرف الضوئي على الحروف، أو حالة واجهة المستخدم لإثبات أن الواجهة قد تغيرت كما هو متوقع. على سبيل المثال، اكتشاف مربع حوار "تأكيد" بعد النقر على "حذف" يثبت ظهور مرحلة التأكيد فقط؛ لا يثبت أنه تم حذف العنصر. يجب أن يؤكد الفحص اللاحق حالة القائمة النهائية أو رسالة النجاح. اترك فشل المراقبة غير المعالج كفشل حقيقي، أو قم بتنفيذ إعادة المحاولة المحدودة عندما يكون التحقق المتكرر جزءًا من المتطلبات.
ضبط الثقة ومنطقة البحث والتوقيت والقوالب
- ابدأ من عتبة مقاسة، ثم اختبر كلاً من التطابقات الحقيقية والمرشحين الزائفين المتشابهين بصريًا. الأعلى هو الأكثر صرامة، ولكن الحد الأقصى التعسفي يمكن أن يرفض المقياس الشرعي أو تقديم التغييرات.
- حدد منطقة البحث عندما ينتمي الهدف إلى جزء معروف من الشاشة. يمكن لمنطقة أصغر أن تقلل من النتائج الإيجابية الكاذبة وتعمل، ولكن المنطقة التي تم تخمينها يمكن أن تخفي هدفًا صالحًا متحركًا.
- اختر وضع المطابقة للخاصية المرئية التي تظل مستقرة. يمكن أن يساعد اللون عندما يكون للون معنى؛ قد تتحمل الأوضاع الرمادية أو الحافة بعض التغييرات في اللون؛ يجب اختبار التفاصيل على الشاشة الفعلية.
- احتفظ بالقوالب البديلة معًا عندما تمثل نفس عنصر التحكم في الحالات المعروفة، مثل السمات الممكّنة والمعطلة. لا تقم بإضافة أهداف غير ذات صلة لمباراة واحدة.
- اختبر مقياس الجهاز الدقيق واتجاهه وموضوعه وإصدار التطبيق الذي سيقوم بتشغيل التدفق. أعد الاختبار بعد إجراء تحديث مهم للواجهة.
- سجل أين حدث الفشل. تعد نتيجة المطابقة والأصل المحدد والمستطيل المكتشف ومدة الانتظار ونتيجة الحالة التالية أكثر فائدة من خطأ الماكرو العام.
لا تضبط فقط على الأمثلة الناجحة. ابدأ من الشاشة المتوقعة، شاشة يغيب فيها الهدف، وشاشة بها أيقونة مشابهة، وانتقال بطيء، ونافذة منبثقة تغطي الهدف. فالأتمتة تكون جديرة بالثقة عندما تتوقف الحالات السلبية بأمان، وليس فقط عندما يكتمل المسار السعيد مرة واحدة.
الاستخدامات العملية لصنابير الصور التي تم فحصها
ضمان الجودة المحمول واختبارات الدخان
تأكد من ظهور شاشة معروفة، وانقر فوق أحد عناصر التحكم، وانتظر، ثم التقط الحالة التالية. يعد هذا مفيدًا لمسار اختبار الدخان المتكرر على الأجهزة المعتمدة. يساعد عرض شاشةAndroid على جهاز كمبيوتر شخصي أو Macالمُختبر على مراجعة الهاتف الحقيقي أثناء إعداد التدفق وتصحيحه.
التعامل مع الحوار والاسترداد
اكتشف مربع حوار إعادة المحاولة أو الإذن أو الاتصال المحدد قبل اختيار الإجراء المطابق. لا تنشئ نقرة "موافق" عالمية واحدة: يمكن للكلمة نفسها الموافقة على إجراءات مختلفة تمامًا في مربعات حوار مختلفة.
عمليات التطبيق الداخلية المتكررة
بالنسبة لتطبيق أعمال يتم التحكم فيه، يمكن للتدفق التحقق من الصفحة الحالية قبل فتح العنصر التالي أو إرسال نموذج معتمد. قم بإقران الفحص المرئي بحدود الإدخال الصريحة، وفحص الحالة النهائية، والتسليم البشري للاستثناءات.
الإجراءات الشخصية على الجهاز
يمكن أن يستمر التدفق المتوافق على الهاتف بعد النشر دون أن يظل سطح المكتب متصلاً. حافظ على سير العمل المحلي فقط محليًا؛ إذا كان ملف التعريف يستدعي نقطة نهاية HTTP أو نموذجًا بعيدًا أو خطاف ويب أو خدمة رسائل، فإن سير العمل المحدد يحتاج إلى الوصول إلى الشبكة.
الأذونات وحدود السلامة
على نظام التشغيل Android، تستخدم الأتمتة المرئية وأتمتة الإيماءات إمكانات النظام الحساسة. تشير مستندات Android إلى أن خدمات إمكانية الوصول يجب أن تعلن عن قدرة الإيماءات لإرسال الإيماءات، بينما يتطلب التقاط الشاشة تصريحًا ودورة حياة خاصة بها. في LaiCai Flow Inside، تستخدم مطابقة الصور جلسة شاشة MediaProjection النشطة والتنفيذ الأمامي من جانب الهاتف؛ التنصت يستخدم إمكانية الوصول.
استخدم الأتمتة فقط على الأجهزة والحسابات والتطبيقات المصرح لك بتشغيلها. قد تحظر بعض التطبيقات أو إصدارات الأجهزة إيماءات إمكانية الوصول أو تتجاهلها. لا تضمن مطابقة الصورة الناجحة قبول النقرة اللاحقة. تشخيص الملاحظة وتسليم الإيماءات بشكل منفصل.
احتفظ بالمدفوعات وتغييرات الحساب والحذف المدمر والبيانات الخاصة والإجراءات التي لا رجعة فيها وراء المراجعة الصريحة أو الشروط الضيقة جدًا. لا تستخدم أدوات النقر التلقائية لإنشاء تفاعل زائف، أو التهرب من ضوابط النظام الأساسي، أو انتهاك شروط التطبيق. التدفق الأكثر أمانًا هو الذي تكون حالته المسموح بها، وفعله، وحالة توقفه، وأدلته مرئية قبل تشغيله.
اختبار القائمة المرجعية قبل الاستخدام غير المراقب
- قم بالتشغيل من شاشة البداية المتوقعة بالضبط ثلاث مرات.
- ابدأ من الشاشة الخاطئة وتأكد من عدم حدوث أي نقرة.
- قم بتغطية الهدف أو إزالته وتأكد من أن المطابقة تتبع الفشل.
- قم بتقديم عنصر تحكم مشابه المظهر وتأكد من أن العتبة والمنطقة ترفضانه.
- قم بإبطاء التطبيق أو الشبكة وتأكد من أن الانتظار والحالة اللاحقة تعمل بأمان.
- قم بتدوير الجهاز أو تغيير مقياس العرض فقط إذا كانت هذه الأوضاع مدعومة، ثم أعد اختبار القوالب.
- قم بتعطيل أو مقاطعة إمكانية التقاط الشاشة أو إمكانية الوصول المطلوبة وتحقق من ظهور الخطأ.
- قم بمراجعة الشاشة النهائية أو السجلات أو لقطات الشاشة أو المخرجات التي تثبت نتيجة المهمة.
ابدأ بانتقال واحد محدد. بمجرد أن يصبح موثوقًا به، قم باستخراج الإجراءات المتكررة متعددة العقد في تدفق فرعي صغير مسمى واجعل التدفق الرئيسي قابلاً للقراءة. يشرح البرنامج التعليميLaiCai Flow Insideحدود الإعداد والنشر؛ تغطي صفحة أتمتة AndroidAIبناء سير العمل وتصحيح الأخطاء بمساعدة سطح المكتب.
الأسئلة الشائعة الخاصة بالنقر التلقائي للتعرف على الصور في Android
هل التعرف على الصور دائمًا أكثر أمانًا من الإحداثيات الثابتة؟
يكون الأمر أكثر أمانًا فقط عندما يتم اختبار القالب والعتبة والمنطقة والتوقيت ومسار الفشل. لا يزال من الممكن أن تختار المطابقة الضعيفة أو واسعة النطاق الهدف الخطأ.
هل يجب أن يستمر التدفق في المطابقة حتى تظهر الصورة؟
يجب ملاحظة عقدة مطابقة الصورة الواحدة مرة واحدة. إذا كان الانتظار مطلوبًا، فاستخدم إعادة المحاولة الصريحة أو حتى البنية ذات فاصل زمني أو مهلة أو حد محاولة واضح حتى يظل السلوك مرئيًا.
هل يمكن استخدام الموضع المكتشف مباشرة للنقر؟
نعم. استخدم المستطيل أو المركز الذي تم اكتشافه للعقدة المرئية الناجحة كمصدر للنقر. وهذا يحافظ على العلاقة بين الملاحظة والفعل.
هل يمكن تشغيل هذا بشكل كامل دون الاتصال بالإنترنت على الهاتف؟
يمكن ذلك عندما يتم تشغيل كل عقدة وأصل في ملف التعريف المنشور محليًا. يمكن أن تظل مطابقة الصور والانتظار والإيماءات والفحوصات المحلية على الجهاز. يضيف أي نموذج بعيد أو طلب HTTP أو خطاف ويب أو مزامنة سحابية أو خدمة رسائل تبعية للشبكة.
اجعل كل نقرة بمثابة انتقال حالة قابل للتدقيق
التحسين الرئيسي هو مفاهيمي: لا تسأل فقط أين تنقر. اسأل عما يجب أن يكون صحيحًا قبل النقر، وما هي النتيجة المرصودة التي تسمح بالإيماءة، والمدة التي تحتاجها الواجهة للتغيير، وما الذي يثبت وصول الحالة التالية.
يتضمن LaiCai Screen Mirroring LaiCai Flow Inside لهذا النمط الحتمي لجانب الهاتف: راقب مرة واحدة، واتبع نتيجة النجاح أو الفشل، وانقر على نتيجة نسبة الشاشة المكتشفة، وانتظر بشكل واضح، ولاحظ مرة أخرى. قم بإعداد ملف التعريف المتوافق والتحقق منه على جهاز كمبيوتر، ونشره مع أصوله المعتمدة، والسماح لـ LaiCai Android Agent بتشغيل الحالات والانتقالات التي حددتها فقط.