اختبار الفرضيات في ML – شرح للأطفال

This post is also available in: English (الإنجليزية)

يمتلك ممارس التعلم الآلي تقليدًا للخوارزميات وتركيزًا عمليًا على النتائج والمهارات النموذجية فوق الاهتمامات الأخرى مثل قابلية تفسير النموذج.

يعمل الإحصائيون على نفس النوع من مشاكل النمذجة تحت أسماء الإحصاء التطبيقي والتعلم الإحصائي. قادمون من خلفية رياضية ، لديهم تركيز أكبر على سلوك النماذج وإمكانية شرح التنبؤات.

إن العلاقة الوثيقة جدًا بين النهجين لنفس المشكلة تعني أن كلا المجالين لديهما الكثير لنتعلمه من بعضهما البعض. تستخدم نماذج ML العديد من المفاهيم الإحصائية ومن بينها اختبار الفرضيات.

اختبار الفرضيات في ML

يتم اختيار نماذج التعلم الآلي بناءً على متوسط ​​أدائها ، وغالبًا ما يتم حسابها باستخدام التحقق من صحة k-fold.

من المتوقع أن تكون الخوارزمية ذات الأداء الأفضل أفضل من تلك الخوارزميات ذات الأداء السيئ. ولكن ماذا لو كان الاختلاف في متوسط ​​الأداء ناتجًا عن صدفة إحصائية؟

الحل هو استخدام اختبار فرضية إحصائية لتقييم ما إذا كان الفرق في متوسط ​​الأداء بين أي خوارزميتين حقيقيًا أم لا.

يتم اختيار نماذج التعلم الآلي بناءً على متوسط ​​أدائها ، وغالبًا ما يتم حسابها باستخدام التحقق من صحة k-fold.

يتضمن اختيار النموذج تقييم مجموعة من خوارزميات التعلم الآلي المختلفة أو خطوط أنابيب النمذجة ومقارنتها بناءً على أدائها.

يتم بعد ذلك تحديد النموذج أو خط أنابيب النمذجة الذي يحقق أفضل أداء وفقًا لمقياس الأداء الخاص بك كنموذج نهائي يمكنك استخدامه بعد ذلك لبدء عمل تنبؤات بشأن البيانات الجديدة.

ينطبق هذا على مهام النمذجة التنبؤية للانحدار والتصنيف باستخدام خوارزميات التعلم الآلي الكلاسيكية والتعلم العميق. إنها دائمًا نفس العملية.

المشكلة هي ، كيف تعرف أن الفرق بين نموذجين حقيقي وليس مجرد صدفة إحصائية؟

يمكن معالجة هذه المشكلة باستخدام اختبار فرضية إحصائية.

ما هو اختبار الفرضيات؟

اختبار الفرضيات هو شكل من أشكال الاستدلال الإحصائي الذي يستخدم بيانات من عينة لاستخلاص استنتاجات حول معلمة مجتمع أو توزيع احتمالي للسكان.

أولاً ، يتم وضع افتراض مبدئي حول المعلمة أو التوزيع. يُطلق على هذا الافتراض اسم فرضية Null ويُشار إليه بواسطة H₀. يتم بعد ذلك تحديد فرضية بديلة (يُشار إليها بـ H_a) ، وهي عكس ما هو مذكور في الفرضية الصفرية.

يتضمن إجراء اختبار الفرضية استخدام بيانات العينة لتحديد ما إذا كان يمكن رفض H₀ أم لا. إذا تم رفض H₀ ، فإن الاستنتاج الإحصائي هو أن الفرضية البديلة H_a صحيحة.

على سبيل المثال ، افترض أن محطة راديو تختار الموسيقى التي تشغلها بناءً على افتراض أن متوسط ​​عمر جمهورها المستمع هو 30 عامًا. لتحديد ما إذا كان هذا الافتراض صحيحًا أم لا ، يمكن إجراء اختبار فرضية باستخدام الفرضية الصفرية المعطاة كـ H₀: μ = 30 والفرضية البديلة معطاة H_a: μ ≠ 30.

استنادًا إلى عينة من الأفراد من الجمهور المستمع ، يمكن حساب متوسط ​​العمر ، x̄ ، واستخدامه لتحديد ما إذا كان هناك دليل إحصائي كافٍ لرفض H₀. من الناحية المفاهيمية ، فإن قيمة العينة تعني “قريبة” من 30 تتوافق مع الفرضية الصفرية ، في حين أن قيمة العينة التي تعني “ليست قريبة” من 30 توفر دعمًا للفرضية البديلة. ما يعتبر “قريب” و “غير قريب” يتم تحديده باستخدام توزيع أخذ العينات لـ x̄.

عملية إجراء اختبار الفرضية

عندما تقوم بتقييم فرضية ، يجب أن تأخذ في الحسبان كل من التباين في عينتك وحجم عينتك. بناءً على هذه المعلومات ، قد ترغب في إجراء تقييم لما إذا كانت أي اختلافات تراها ذات مغزى ، أو ما إذا كانت ناتجة عن الصدفة فقط. يتم ذلك رسميًا من خلال عملية تسمى اختبار الفرضية.

خمس خطوات في اختبار الفرضيات هي:

• حدد فرضية Null
• حدد الفرضية البديلة
• اضبط مستوى الأهمية
• احسب إحصاء الاختبار والقيمة p المقابلة
• رسم استنتاج

الخطوة 1: حدد فرضية Null

الفرضية الصفرية (H₀) هي بيان بعدم وجود تأثير أو علاقة أو اختلاف بين مجموعتين أو أكثر من العوامل. في الدراسات البحثية ، يهتم الباحث عادة بدحض فرضية العدم.

أمثلة:

• لا يوجد فرق فيمعدلات التنبيب عبر الأعمار من 0 إلى 5 سنوات.
• تتمتع مجموعات التدخل والمراقبة بنفسمعدل البقاء على قيد الحياة (أو أن التدخل لا يحسن معدل البقاء على قيد الحياة).
• لا يوجد ارتباط بين نوع الإصابة وما إذا كان المريض قد تلقى حقنة وريدية في بيئة ما قبل دخول المستشفى أم لا.

الخطوة 2: حدد الفرضية البديلة

الفرضية البديلة (H_a) هي القول بوجود تأثير أو اختلاف. عادة ما تكون هذه هي الفرضية التي يهتم الباحث بإثباتها. يمكن أن تكون الفرضية البديلة أحادية الجانب (توفر اتجاهًا واحدًا فقط ، على سبيل المثال ، أقل) أو ذات جانبين. غالبًا ما نستخدم اختبارات من جانبين حتى عندما تكون فرضيتنا الحقيقية من جانب واحد لأنها تتطلب المزيد من الأدلة ضد الفرضية الصفرية لقبول الفرضية البديلة.

أمثلة:

• يختلف معدل نجاح التنبيب باختلافعمر المريض المعالج (على الوجهين).
• وقت الإنعاش من السكتة القلبية أقلبالنسبة لمجموعة التدخل مقارنة بمجموعة التحكم (من جانب واحد).
• هناك ارتباط بين نوع الإصابة وما إذا كان المريض قد تلقى حقنة وريدية في مكان ما قبل دخول المستشفى (على الوجهين).

الخطوة 3: ضبط مستوى الأهمية (α)

يتم تحديد مستوى الأهمية (المشار إليه بالحرف اليوناني alpha— α) بشكل عام عند 0.05. هذا يعني أن هناك فرصة بنسبة 5٪ لقبول فرضيتك البديلة عندما تكون فرضيتك الصفرية صحيحة بالفعل. كلما قل مستوى الأهمية ، زاد عبء الإثبات اللازم لرفض الفرضية الصفرية ، أو بعبارة أخرى ، لدعم الفرضية البديلة.

الخطوة 4: احسب إحصاء الاختبار والقيمة p المقابلة

يستخدم اختبار الفرضية بشكل عام إحصاء اختبار يقارن المجموعات أو يفحص الارتباطات بين المتغيرات. عند وصف عينة واحدة دون إقامة علاقات بين المتغيرات ، يتم استخدام فاصل الثقة بشكل شائع.

تصف القيمة p احتمالية الحصول على عينة إحصائية على أنها أو أكثر تطرفًا بالصدفة وحدها إذا كانت فرضيتك الصفرية صحيحة. يتم تحديد قيمة الاحتمال هذه بناءً على نتيجة إحصائية اختبارك. تستند استنتاجاتك حول الفرضية إلى القيمة الاحتمالية الخاصة بك ومستوى الأهمية لديك.

مثال:

• قيمة p = 0.01 سيحدث هذا مرة واحدة في 100 مرة بالصدفة البحتة إذا كانت فرضيتك الصفرية صحيحة. من غير المحتمل أن يحدث بالصدفة.

مثال:

• قيمة p = 0.75 سيحدث هذا 75 في 100 مرة بالصدفة البحتة إذا كانت فرضيتك الصفرية صحيحة. من المحتمل جدًا أن يحدث بالصدفة.

إذا أجريت عددًا كبيرًا من الاختبارات لتقييم فرضية (تسمى الاختبارات المتعددة) ، فأنت بحاجة إلى التحكم في ذلك في تعيينك لمستوى الأهمية أو حساب القيمة الاحتمالية. على سبيل المثال ، إذا كانت هناك ثلاث نتائج تقيس فعالية دواء أو تدخل آخر ، فسيتعين عليك تعديل هذه التحليلات الثلاثة.

الخطوة 5: رسم خاتمة

1. قيمة p ارفض فرضيتك الصفرية لصالح فرضيتك البديلة. نتيجتك ذات دلالة إحصائية.
2. قيمة p> مستوى الأهمية (α) => فشل في رفض فرضيتك الصفرية. نتيجتك ليست ذات دلالة إحصائية.

لم يتم إعداد اختبار الفرضية بحيث يمكنك إثبات فرضية فارغة تمامًا. لذلك ، عندما لا تجد دليلًا ضد فرضية العدم ، فإنك تفشل في رفض فرضية العدم. عندما تجد أدلة قوية بما يكفي ضد فرضية العدم ، فإنك ترفض الفرضية الصفرية. تُترجم استنتاجاتك أيضًا إلى بيان حول فرضيتك البديلة. عند تقديم نتائج اختبار الفرضية ، قم بتضمين الإحصائيات الوصفية في استنتاجاتك أيضًا. قم بالإبلاغ عن قيم p الدقيقة بدلاً من نطاق معين. على سبيل المثال ، “يختلف معدل التنبيب بشكل كبير حسب عمر المريض ، حيث أن المرضى الأصغر سنًا لديهم معدل أقل من التنبيب الناجح (p = 0.02).” فيما يلي مثالان إضافيان مع الاستنتاج بعدة طرق مختلفة.

مثال:

• H₀: لا يوجد فرق في البقاء على قيد الحياة بين مجموعات التدخل ومجموعات المراقبة.
• H_a: هناك فرق في البقاء بين مجموعات التدخل ومجموعات المراقبة.
• α = 0.05 ؛ 20٪ زيادة في البقاء على قيد الحياة لمجموعة التدخل ؛ القيمة الاحتمالية = 0.002

استنتاج:

• رفض الفرضية الصفرية لصالح الفرضية البديلة.
• كان الفرق في البقاء على قيد الحياة بين مجموعات التدخل والسيطرة ذات دلالة إحصائية.
• كانت هناك زيادة بنسبة 20 ٪ في البقاء على قيد الحياة لمجموعة التدخل مقارنة مع مجموعة التحكم (P = 0.001).

مثال:

• H₀: لا يوجد فرق في البقاء على قيد الحياة بين مجموعات التدخل ومجموعات المراقبة.
• H_a: هناك فرق في البقاء بين مجموعات التدخل ومجموعات المراقبة.
• α = 0.05 ؛ زيادة معدل البقاء على قيد الحياة بنسبة 5٪ بين مجموعة التدخل ومجموعة المراقبة ؛ القيمة الاحتمالية = 0.20.

استنتاج:

• فشل في رفض فرضية العدم.
• لم يكن الفرق في البقاء على قيد الحياة بين مجموعات التدخل والسيطرة ذات دلالة إحصائية.
• لم تكن هناك زيادة كبيرة في البقاء على قيد الحياة لمجموعة التدخل مقارنة مع مجموعة التحكم (P = 0.20).