الضبط (Regularization) في نماذج تعلم الآلة

هل سبق أن حصلت على نتائج منخفضة بعد تطبيق أحد نماذج تعلم الآلة؟

أين تكمن المشكلة؟ في بياناتك أم في النموذج؟

نتفق جميعاً على أهمية ما قدمته لنا نماذج تعلم الآلة (Machine Learning Models) في العديد من مجالات الحياة، وعلى الانطباع المبهر الذي يظهر علينا بعد تطبيق أحدها. لكن مع الأسف هذا الانبهار قد يتلاشى بعد تطبيق أحد هذه النماذج على أرض الواقع، فليست جميع البيانات بذلك الشكل الذي يجعل هذه النماذج تحقق أفضل النتائج. لتتضح الأمور، يجب أن نعلم أنه عند تطبيق أي نموذج من نماذج تعلم الآلة فنحن أمام ثلاث حالات: حالة نسعى للوصول إليها وهي الأفضل (Optimal or Good Fit)، وحالتين تعدان من المشاكل التي نحاول تفاديها وهما فرط التخصيص (Overfitting) وفرط التعميم (Underfitting) كما هو موضح في الشكل (١).

شكل (١): حالات نماذج تعلم الآلة

ما نهدف إليه في هذه المقالة هو حل مشكلة فرط التخصيص باستخدام طريقة تسمى الضبط (Regularization).

١ فرط التخصيص (Overfitting)

لنتعرف قليلاً على المشكلة التي نسعى لحلها بالإجابة على ما هو فرط التخصيص؟ وما سببه؟

١.١ ما هو فرط التخصيص (Overfitting)؟

شكل (٢): فرط التخصيص (Overfitting)

في عملية تعلم الآلة نقوم بتقسيم البيانات إلى بيانات تدريب (Training data) وبيانات اختبار (Testing data)، فبيانات التدريب تستخدم لتدريب النموذج، وبيانات الاختبار تستخدم لتقييم أداء النموذج على بيانات لم يسبق له أن رآها. وتظهر مشكلة فرط التخصيص عندما يتعلم النموذج على بيانات التدريب بشكل مثالي حيث تكون نسبة الخطأ صغيرة، لكن أداءه يكون منخفضاً ونسبة الخطأ عالية على بيانات الاختبار.

٢.١ لماذا يحدث فرط التخصيص (Overfitting)؟  

من الأسباب التي تؤدي لحدوث مشكلة فرط التخصيص هو زيادة نسبة تعقيد النموذج (Model Complexity). وتختلف أسباب زيادة التعقيد (Complexity) بين نماذج تعلم الآلة، فقد يكون أحد أسبابها هو وجود عدد كبير من الخصائص (Features) مقابل عدد قليل من البيانات (Observations). من العوامل التي تعقّد النموذج أيضاً هي درجة كثيرة الحدود (Degree of Polynomial) التي تمثله، فكلما زادت زاد تعقيد النموذج.

٢ الضبط (Regularization)

يعد الضبط أحد الطرق المستخدمة لحل مشكلة فرط التخصيص، بحيث يقوم بتقليل تأثير معاملات المتغيرات وهذا بدوره سوف يؤدي إلى تقليل نسبة تعقيد النموذج. وبعبارة أخرى يمكن أن نصف عمل الضبط كالمقايضة بين الحصول على نموذج جيد مقابل تصغير قيم معاملات المتغيرات.

شكل (٣): Generalization Problem in Regression

يوجد العديد من أنواع الضبط، ومن أشهرها Ridge وLasso، بالإضافة إلى نوع آخر يعتبر دمج بين هذين النوعين السابقين وهو Elastic-net، وسوف نرى كيف يعمل كل نوع على حدة.

مراجعة: Least Squares Loss Function

سبق أن رأينا الارتباط الخطي المتعدد (Multiple Linear Regression) حيث تكتب معادلته بهذا الشكل:

هنا تمثل ما نريد توقعه و هي معاملات المتغيرات ().

عملية تدريب النموذج تتطلب منا حساب نسبة الخطأ، وأحد المعادلات المستخدمة لهذا الغرض هي RSS

(Residual Sum of Squares):

حيث هي القيمة الحقيقية و القيمة المتوقعة. الهدف من معادلة RSS هو ضبط قيم المعاملات حتى نحصل على المعاملات التي تعطينا أقل نسبة خطأ.

ما سوف يقوم به الضبط هو إضافة حد جديد إلى معادلة (Cost Function) سواء كانت RSS أو غيرها للحصول على ما يسمى عنصر الضبط (Regularization Component) والذي سيكون مسؤولاً عن عملية ضبط معاملات المتغيرات للنموذج كما في المعادلة التالية:

: Regularization term وتسمى ايضاً Hyperparameter للنموذج وهي تمثل مقدار التصغير الذي سوف نقوم به على المعاملات نحو الصفر، وسوف يختلف شكل Regularization Component حسب نوع الضبط الذي نطبقه كما سوف نرى.

١.٢ النوع الأول: L2) Ridge)

يعمل Ridge على إضافة مجموع تربيع المعاملات (باستثناء w0) إلى دالة RSS كما هو مظلل باللون الأصفر في المعادلة التالية:

يشمل الحد الأخير (Regularization Component) المتغيرات التالية:

تربيع معامل المتغير .

على المعاملات فكلما زادت قيمة

لتتضح الصورة بشكل أفضل، لنفترض أن لكل متغير قوة معينة نمثلها من خلال معامل هذا المتغير. فقبل تطبيق عملية الضبط ستكون جميع معاملات المتغيرات لها نفس قوة التأثير كما في الشكل التالي:

شكل (٤): قبل تطبيق الضبط (Regularization)

لكن بعد إضافة Ridge إلى معادلة RSS

شكل (٥): بعد تطبيق Ridge

كما نرى في الشكل أعلاه تأثير  على معاملات المتغيرات، فكلما زادت قيمة  كلما قلت قيمة معامل المتغير (لكنها لن تصل إلى الصفر أبداً)، حيث إن المتغيرات الأقل أهمية سيكون التأثير عليها أكبر كما نرى مع المتغير .

ماذا سيحدث لو كانت قيمة ؟

شاركنا إجابتك في التعليقات.

٢.٢ النوع الثاني: L1) Lasso)

يأخذ Lasso شكلاً مختلفاً عن Ridge بتغيير بسيط بالمعادلة، فبدلاً من إضافة المجموع التربيعي لمعاملات المتغيرات إلى معادلة RSS، يضيف Lasso مجموع القيمة المطلقة لمعاملات المتغيرات كما في المعادلة التالية:

كما نلاحظ:

شكل (٦): بعد تطبيق Lasso

كما نشاهد بالشكل أعلاه أنه كلما زادت قيمة  كلما قلت معاملات المتغيرات. ولكن بعكس ما يتبعه Ridge، هنا بعض المعاملات أصبحت قيمتها صفر، كما حصل مع  و، وكأننا استبعدنا هذين المتغيرين عن نموذج التعلم، وهنا تكمن ميزة Lasso فهو يسمح بعمل ما يسمى باختيار الخصائص (Features Selection).

٣.٢ النوع الثالث: Elastic-net

بكل بساطة يعتبر Elastic-net دمجاً بين النوعين السابقين Lasso وRidge، فهو يعمل على إضافتهما سوياً إلى معادلة RSS كما في المعادلة التالية:

يمكننا ضبط تأثير كل من Lasso وRidge بشكل مستقل، فكما نلاحظ لدينا  و وهذا بدوره يتيح لنا جعل تأثير Lasso أكبر من Ridge، أو العكس.

٣ متى نستخدم كل نوع ( Ridge، Lasso، Elastic Net)؟

يفضل غالباً تطبيق الضبط، خاصة إذا كانت المتغيرات لدينا كثيرة مقارنة بعدد الأمثلة (Observations)، ويكون التفضيل بين أنواع الضبط حسب الآتي:

في حال كنا نود استبعاد المتغيرات غير المفيدة والإبقاء على المهمة منها هنا يفضل اختيار Lasso أو Elastic Net، لأنها تقوم بعملية اختيار الخصائص (Features Selection) وهي تقليل قيم المتغيرات غير المجدية إلى الصفر، ولكن في حال كنا نود فقط ضبط درجات تأثير المتغيرات مع الإبقاء عليها كلها، عندها يكون Ridge الخيار الأفضل.

4 ما يمكننا تحقيقه من خلال عملية الضبط (Regularization)؟

تساعدنا عملية الضبط على حل مشكلة التداخل الخطي (Multicollinearity) في البيانات. وما نقصده بالتداخل الخطي هو أن يكون هناك ترابط عالي (High Correlations) بين المتغيرات المستقلة في النموذج، وهذا يعتبر من المشاكل التي تؤثر على أداء وصحة النموذج بشكل سلبي. ومن النماذج التي تساعدنا على حل هذه المشكلة نموذج Lasso، فهو يستطيع التعامل مع التداخل الخطي بين المتغيرات المستقلة، وقد يكون حله بشكل صارم حيث أنه يلغي المتغيرات الأقل تأثيراً.

وحتى نضمن تنفيذ عملية الضبط بأفضل شكل فيجب علينا اختيار قيمة  (Tuning Parameter) بشكل دقيق، فكما رأينا أنه كلما زدنا من قيمة  كلما تخلصنا أو قللنا من تأثير المتغيرات الأقل أهمية، وبالتالي تخلصنا من مشكلة فرط التخصيص وحصلنا على نموذج بنسبة صحة أكبر. لكن سوف نصل إلى نقطة معينة تكون زيادة قيمة  بعدها تؤدي إلى استبعاد متغيرات مهمة للنموذج، وبالتالي ترتفع نسبة الانحياز (Bias) مما قد يؤدي للوقوع في بمشكلة أخرى وهي فرط التعميم.

كانت هذه أساسيات عملية الضبط بشكل مختصر، فهمها سيساعدك على التعمق بشكل أكبر في هذا المجال.