استخدم لقطات الشاشة لمظهر الشاشة بأكملها، وOCR للنص المرئي، ومطابقة الصور لهدف مرئي معروف. تجمع أقوى الاختبارات المرئية لنظام Android بين تأكيد واحد مركّز وتوقيت ثابت وأدلة فشل.
الإجابة المختصرة: اختبر الشيء الذي يجب أن يظل صحيحًا
استخدم اختبار لقطة الشاشة عندما يجب أن تظل الشاشة بأكملها أو المكون أو التباعد أو اللون أو الطباعة متسقة بصريًا. استخدم التعرف الضوئي على الحروف (OCR) عندما يتعلق المتطلب بالكلمات التي يمكن للشخص رؤيتها، وخاصة النص المترجم أو الذي يتم عرضه ديناميكيًا. استخدم مطابقة الصور عندما يجب أن يظهر رمز أو زر أو شارة أو رسم توضيحي معروف حتى في حالة عدم وجود معرف موثوق لواجهة المستخدم.
ابدأ بمحدد واجهة المستخدم أو حالة إمكانية الوصول عندما يكون المتطلب دلاليًا: يوجد عنصر تحكم، أو تم تمكينه، أو تحديده، أو الكشف عن تسمية مستقرة. قم بإضافة اكتشاف الكائن فقط عندما ينتمي الهدف إلى فئة مرئية وقد يتغير حجمه أو موضعه كثيرًا بالنسبة لقالب واحد. هذه الأساليب عبارة عن طبقات، وليست أطر اختبار متنافسة.
- اسأل عن الدليل الذي قد يقنع المراجع بإقرار المتطلبات.
- اختر أضيق إشارة يمكن الاعتماد عليها بدلاً من مقارنة كل بكسل بشكل افتراضي.
- قم بتثبيت الشاشة قبل مراقبتها، ثم احفظ قطعة أثرية عندما يفشل التأكيد.
مقارنة طرق الاختبار البصري لنظام Android
| الطريقة | الأفضل ل | الضعف الرئيسي | أدلة مفيدة |
|---|---|---|---|
| واجهة المستخدم أو حالة إمكانية الوصول | عناصر التحكم، والتسميات، والحالة الممكّنة، والاختيار، وبنية التنقل | قد تكون العناصر المعروضة بشكل مخصص أو التي يتعذر الوصول إليها غير مرئية لشجرة واجهة المستخدم | التسلسل الهرمي لواجهة المستخدم، الخصائص المحددة، لقطة الشاشة |
| لقطة شاشة أو صورة ذهبية | التخطيط، التباعد، الألوان، الطباعة، مظهر المكونات | يمكن أن تؤدي البيانات الديناميكية والرسوم المتحركة واختلافات الأجهزة وتغييرات العرض إلى إنشاء اختلافات مزعجة | الصورة الحالية، خط الأساس المعتمد، الفرق البصري |
| التعرف الضوئي على الحروف | النص المرئي، والترجمة، والإيصالات، ورسائل الحالة، والقيم المعروضة بالبكسل | تعتمد جودة التعرف على الاقتصاص والحجم والتباين وبيانات اللغة والتدوير والتجزئة | اقتصاص المصدر أو النص الذي تم التعرف عليه أو الثقة أو قائمة النتائج |
| مطابقة القالب | رمز أو زر أو شارة أو صورة مصغرة أو منطقة ثابتة صغيرة معروفة | يمكن للموضوع والحجم والضغط وإعادة التصميم إبطال صلاحية القالب | القالب، منطقة البحث، أفضل تطابق، النتيجة، لقطة الشاشة |
| كشف الكائنات | كائن مرئي يظل فئته ذات معنى مع اختلاف موضعه أو حجمه | يتطلب نموذجًا متوافقًا وفئات مصنفة وعتبات والتحقق من صحة النموذج | إصدار النموذج، الطبقة، المربع، النتيجة، لقطة الشاشة |
تصف إرشادات اختبار لقطة الشاشة الرسمية لنظام Android مقارنة العرض الحالي مع صورة مرجعية معتمدة. يكشف المكون الإضافي للصور في Appium عن مطابقة الميزات ومطابقة القالب ومقارنة التشابه. يوثق OpenCV آليات تمرير القالب فوق الصورة، بينما يوثق Tesseract سبب أهمية المعالجة المسبقة للتعرف الضوئي على الحروف وتجزئة الصفحة. تختلف الأدوات، لكن سؤال تصميم الاختبار يبقى كما هو: ما هي الملاحظة التي تثبت هذا المطلب؟
اختر التأكيد الصحيح مع أربعة أسئلة
1. هل المطلب دلالي أم بصري؟
إذا كان الاختبار يقول "تم تمكين زر الإرسال"، فافحص حالة واجهة المستخدم أولاً. إذا كانت الرسالة تقول "لم يتم قص زر الإرسال بعد تغيير الخط"، فاستخدم لقطة شاشة أو فحصًا بصريًا مركزًا. عادة ما يكون من الأسهل الحفاظ على الاستعلام الدلالي، لكنه لا يمكنه إثبات المظهر.
2. هل النص الدقيق مهم؟
استخدم OCR عندما تكون السلسلة التي تواجه المستخدم هي المتطلب ولا يتم عرض النص بشكل موثوق من خلال شجرة واجهة المستخدم. قم بتقييد التعرف على أصغر منطقة ذات معنى، وحدد اللغة الصحيحة، وقارن النتيجة التي تمت تسويتها. احتفظ بلقطة شاشة لأن سلسلة التعرف الضوئي على الحروف الصحيحة وحدها لا يمكنها إظهار الاقتطاع أو التداخل أو التباين الضعيف.
3. هل هناك هدف بصري واحد ثابت؟
استخدم مطابقة القالب لأيقونة معروفة أو عنصر تحكم صغير. قم بقص القالب بإحكام، وابحث داخل المنطقة محل الاهتمام، وقم بتعيين العتبة من العينات الإيجابية والسلبية الحقيقية. نادرًا ما يمكن الدفاع عن عتبة عالمية واحدة عبر الموضوعات والقرارات والتدفقات البعيدة المضغوطة.
4. هل يجب أن يظل التكوين بأكمله متسقًا؟
استخدم مقارنة لقطات الشاشة عندما تكون العلاقة بين العديد من العناصر مهمة. خطوط التحكم، والإعدادات المحلية، وتكوين الجهاز، وأشرطة النظام، والوقت، وبيانات الشبكة، والرسوم المتحركة، والمحتوى المصنف. إذا لم يكن من الممكن التحكم في هذه المدخلات، فقم بإخفاء المناطق الديناميكية أو قصها بدلاً من قبول اختبار صاخب بشكل دائم.
قم ببناء اختبار بصري يفشل بشكل مفيد
- قم بإحضار التطبيق إلى حالة البدء المحددة على جهاز أو محاكي معتمد.
- انتظر حالة مستقرة، وليس مجرد تأخير ثابت. يوفر UI Automator انتظارًا مستقرًا، كما أن الإشارة الجاهزة الخاصة بالتطبيق هي الأفضل.
- التقط أصغر منطقة مصدر تحتوي على الأدلة المطلوبة.
- قم بتشغيل تأكيد أساسي واحد: حالة واجهة المستخدم، أو التعرف الضوئي على الحروف، أو القالب، أو الاكتشاف، أو مقارنة لقطات الشاشة.
- احفظ الصورة المصدر والنتيجة المنظمة قبل اتخاذ الإجراء التالي.
- في حالة الفشل، توقف أو اتبع مسار الاسترداد الذي تمت مراجعته. لا تنقر على أحد الأشكال القريبة لمجرد الاستمرار في إجراء الاختبار.
يصبح الفحص البصري أكثر أمانًا عندما يسمح بالانتقال. راقب الحالة الحالية، وقم بالتأكيد، وقم بتنفيذ الإجراء المسموح به فقط بعد النجاح، وتحقق من الشرط اللاحق. وهذا هو نفس مبدأ التصميم الموضح في دليل النقر التلقائي للتعرف على الصور: التعرف ليس دليلاً على انتهاء سير العمل.
بالنسبة للعمل على الأجهزة الحقيقية، يوفرانعكاس شاشة Android لاختبار تطبيقات الهاتف المحمولللمراجع عرضًا مباشرًا أثناء تصميم الاختبار. يشرح دليل اختبار الدخانالذي يعمل بنظام التشغيل Android QAكيفية إبقاء عمليات الفحص المتكررة محدودة وقابلة للتكرار.
ثلاثة سيناريوهات عملية للاختبار المرئي لنظام Android
توطين ضمان الجودة على شاشة الخروج
استخدم حالة واجهة المستخدم للانتقال إلى شاشة الدفع، والتعرف الضوئي على الحروف (OCR) لتأكيد تسمية الإجمالي والإجراء المترجمة، ولقطة شاشة مركزة لإظهار أن السلاسل غير مقطوعة أو متداخلة. قم بتشغيل كل لغة باستخدام بيانات الاختبار الخاضعة للرقابة. ستكون مقارنة وحدات البكسل بملء الشاشة وحدها حساسة جدًا لطول السلسلة المترجمة، بينما لن يتضرر التخطيط الضوئي وحده من خلال تقنية التعرف الضوئي على الحروف (OCR).
التحقق من أيقونة شريط الأدوات المعاد تصميمه
استخدم قالبًا للأيقونة المقبولة في منطقة شريط أدوات صغيرة. احتفظ بقوالب منفصلة عندما تكون السمات الفاتحة والداكنة مدعومة. عندما تفشل المباراة، قم بإرفاق شريط الأدوات وأفضل نتيجة للمرشح. إذا تمت إعادة تصميم الأيقونة عن قصد، فقم بمراجعة القالب واستبداله بدلاً من خفض الحد حتى يتم تجاوز أي شكل.
اختبار دخان الهاتف الحقيقي بعد النشر
ابدأ من حساب معروف وحالة تطبيق، وانتظر الشاشة المقصودة، وأكد هويته، وقم بتنفيذ إجراء واحد مسموح به، وتحقق من الحالة المسماة التالية. التقط لقطة شاشة لكل فشل. تعد كثافة الأجهزة ومربعات حوار الأذونات ولوحات المفاتيح والإشعارات وتحديثات النظام جزءًا من بيئة الهاتف الحقيقي، لذا يجب أن يقوم الاختبار بالإبلاغ عنها بدلاً من إخفائها.
الإخفاقات الكاذبة الشائعة وكيفية الوقاية منها
| أعراض | السبب المحتمل | استجابة أفضل |
|---|---|---|
| يتغير اختلاف لقطة الشاشة في كل تشغيل | الساعة أو الرسوم المتحركة أو الإعلانات أو البيانات المصنفة أو لوحة المفاتيح أو شريط النظام أو محتوى الشبكة | قم بتجميد المدخلات، أو انتظار الاستقرار، أو قص المنطقة الديناميكية فقط أو إخفاءها |
| يقوم OCR بإرجاع نص معقول ولكنه خاطئ | لغة خاطئة، أو تباين منخفض، أو اقتصاص صغير، أو تدوير، أو ضوضاء، أو تجزئة غير مناسبة | احفظ المحصول، وحسّن الحجم والتباين، واختر اللغة والتجزئة بشكل متعمد |
| مطابقة القالب تعمل على هاتف واحد فقط | كثافة مختلفة أو سمة أو مقياس أو نسبة عرض إلى ارتفاع أو ضغط مختلف | استخدم منطقة الاهتمام والقوالب التي تم التحقق من صحتها للمتغيرات المرئية المدعومة |
| تم العثور على الصورة الصحيحة لكن الصنبور فشل | لم يتم تحويل إحداثيات المطابقة إلى الشاشة الحالية أو إدخال كتل تراكب | افصل الاعتراف عن العمل وتحقق من الحالة التالية |
| يستمر الاختبار على الشاشة الخاطئة | لا يوجد شرط لاحق أو حافة الفشل | قم بتسمية الحالات المتوقعة وتوقف عندما تكون الشاشة الحالية خارج المسار الذي تمت مراجعته |
| يعثر كاشف الكائنات على الفئة الخاطئة | النموذج أو التسميات لا تتناسب مع مجال التطبيق، ولم يتم التحقق من صحة الحد | استخدم نموذجًا متوافقًا، وسجل الإصدار والنتيجة، واختبر العينات السلبية |
غالبًا ما تعود مناقشات المجتمع حول اختبار انحدار Android إلى نفس تكاليف الصيانة: مصفوفات الجهاز، والتوقيت غير المستقر، ومراجعة خط الأساس، والشاشات التي يتغير محتواها. هذه ليست أسبابًا للتخلي عن الاختبار البصري. إنها أسباب لجعل بيئة الاختبار، والتباين المقبول، وعناصر الفشل واضحة.
كيف يتناسب LaiCai Flow مع الاختبار البصري
LaiCai Flowهي ميزة أتمتة داخل LaiCai Screen Mirroring. يمكن أن يجمع التدفق بين التقاط لقطة الشاشة، وعمليات فحص واجهة المستخدم، والتعرف الضوئي على الحروف، ومطابقة القالب، واكتشاف الكائنات، والشروط، والإجراءات، وانتقالات النجاح أو الفشل الصريحة. يتيح ذلك للمختبر تصميم الشاشة كحالة بدلاً من التعامل مع التعرف على أنه خدعة معزولة.
باستخدامLaiCai Flow Inside، يمكن تشغيل ملف تعريف متوافق من خلال LaiCai Android Agent على الهاتف بعد النشر. لا يزال التوافق يعتمد على كل عقدة وأصل يستخدمه ملف التعريف هذا. يستخدم التعرف الضوئي على الحروف المحلي Tesseract؛ تستخدم مطابقة القالب أصل صورة محددًا ودرجة قابلة للتكوين؛ يستخدم الكشف المحلي المتوافق نموذجًا مدعومًا. لا تزال عقدة الشبكة أو النموذج البعيد بحاجة إلى تبعية الشبكة الخاصة بها.
وهذا لا يجعل كل اختبار بصري موثوقًا به تلقائيًا. لا تزال الفرق بحاجة إلى خطوط أساس تمثيلية، وقوالب، ومناطق التعرف الضوئي على الحروف، والنماذج، والعتبات، والحالات السلبية، والشروط اللاحقة. وتكمن القيمة في أنه يمكن مراجعة تلك القرارات والانتقالات في سير عمل واحد. يوفر دليل أتمتة AndroidAIرؤية أوسع للتأليف والتنفيذ على الجهاز الحقيقي.
الحد الأدنى من حزمة الأدلة للاختبار البصري الفاشل
- اسم الاختبار، وبنية التطبيق، وطراز الجهاز، وإصدار Android، والإعدادات المحلية، والموضوع، والاتجاه.
- لقطة الشاشة المصدر أو المنطقة التي تم اقتصاصها والتي يستخدمها التأكيد.
- الخاصية الأساسية أو القالب أو النص أو الفئة أو واجهة المستخدم المتوقعة.
- الفرق الملحوظ، أو نتيجة التعرف الضوئي على الحروف، أو المربع المحيط، أو نتيجة المطابقة، أو قيمة واجهة المستخدم.
- الحالة المسماة السابقة، ومحاولة الإجراء، والحالة التالية المتوقعة، وسبب التوقف.
- الأصل أو النموذج أو الإصدار الأساسي حتى يتمكن المراجع من إعادة إنتاج القرار.
تجبر تسمية النجاح/الفشل بدون هذا السياق الشخص التالي على إعادة إنتاج العملية بأكملها. تعمل حزمة الأدلة المدمجة على تحويل الفشل إلى قرار قابل للمراجعة: إصلاح المنتج، أو تثبيت الاختبار، أو تحديث أصل مرئي معتمد، أو رفض تكوين جهاز غير مدعوم.
الأسئلة الشائعة حول الاختبار المرئي لنظام Android
هل يجب أن يتضمن كل اختبار لواجهة مستخدم Android لقطة شاشة؟
لا، استخدم لقطات الشاشة عندما يكون المظهر مهمًا أو عندما يساعد أحد العناصر الفاشلة المراجع. عادةً ما تكون التأكيدات الدلالية أفضل للسلوك الذي تكشفه شجرة واجهة المستخدم بشكل موثوق.
هل التعرف الضوئي على الحروف أفضل من مطابقة الصور؟
يجيب التعرف الضوئي على الحروف (OCR) على الأسئلة المتعلقة بالنص المرئي. مطابقة الصور تجيب على أسئلة حول نمط مرئي معروف. إذا كان المتطلب يتضمن كلاً من التسمية ومظهرها، فاستخدم تقنية التعرف الضوئي على الحروف (OCR) بالإضافة إلى لقطة شاشة مركزة أو التحقق من القالب.
هل يمكن إجراء اختبارات لقطات الشاشة على هواتف Android الحقيقية؟
نعم، لكن الأجهزة الحقيقية تقدم تنوعًا أكبر من العارض أو المحاكي الذي يتم التحكم فيه من جانب المضيف. قم بتسجيل تكوين الجهاز، وتثبيت واجهة مستخدم النظام والبيانات، وتعيين التوقعات لمصفوفة الجهاز التي تدعمها بالفعل.
متى يجب علي استخدام اكتشاف الكائنات؟
استخدمه عندما تتحرك فئة كائن ذات معنى أو تتدرج إلى ما هو أبعد من التسامح الخاص بقالب ثابت، وفقط عندما يتم التحقق من صحة النموذج المتوافق على الصور الحقيقية للتطبيق. لا تقم بإضافة كاشف لمجرد أنه يبدو أكثر تقدمًا.
اختر الأدلة قبل اختيار التكنولوجيا
يبدأ الاختبار المرئي الموثوق به لنظام Android بجملة واحدة: ما الذي يجب أن يتمكن المراجع من إثباته؟ اختر حالة واجهة المستخدم للدلالات، ولقطات الشاشة للتركيب، والتعرف الضوئي على الحروف للنص، ومطابقة القالب لهدف مرئي معروف، واكتشاف الكائنات لفئة تم التحقق من صحتها ذات هندسة متغيرة.
ثم اجعل الملاحظة جزءًا من انتقال الحالة: الاستقرار، والإمساك، والتأكيد، والتصرف فقط بعد النجاح، والتحقق من الشرط اللاحق، والحفاظ على أدلة الفشل. يعد فهم هذا التصميم أسهل من فهم مجموعة من مكالمات الرؤية غير المتصلة، كما أنه أسهل بكثير في الحفاظ عليه عندما يتغير التطبيق أو الجهاز.