الانحدار الخطي (Linear Regression)

في اعتقادي، الانحدار الخطي (Linear Regression) (وكذلك يطلق عليه الارتباط الخطي)* من المداخل المناسبة لفهم كيف تعمل خوارزميات تعلم الآلة لسهولة شرحه وفهمه. الانحدار الخطي تجدونه في أغلب كتب الإحصاء وتعلم الآلة، قد يكون هناك تفاوت بسيط في شرح المفهوم بين المجالين، ولكن في النهاية هو نفسه. الانحدار الخطي يستخدم لتوقع قيمة مستمرة (continuous number)، مثل درجات الحرارة، أو الأسعار، بخلاف القيم المتقطعة (discrete) أو الفئات (categories). أحد الأمثلة الشائعة الاستخدام عند شرح الانحدار الخطي هي أسعار المنازل، وهي ما سأستخدمه هنا.

يستخدم الانحدار لتقدير العلاقة بين المتغيرات، فمثلاً ما هي العلاقة بين حجم المنزل وقيمته؟ أسهل طرق التوقع هي الانحدار الخطي، بحيث يتم تقدير العلاقة بين المتغيرات بمعادلة خطية (مثل الخط المستقيم لمتغيرين، أو مستوي لثلاثة). في هذا الدرس سيقتصر حديثي على الانحدار الخطي فقط.

معادلة الخط المستقيم

قد تكون نسيت، ولكنك بالتأكيد أخذت معادلة الخط المستقيم في الرياضيات، وهي معادلة بسيطة سأشرحها هنا تنشيطاً للذاكرة. تأخذ معادلة الخط المستقيم الشكل التالي:

حيث هي الميل (slope) و نقطة التقاطع (intercept) مع المحور . الشكل التالي يوضح شكل الخط المستقيم بميل = 1، وتقاطع = 0:

وهذا الشكل لخط بميل = 1، وتقاطع = 2:

وهذا لخط بميل = 2، وتقاطع = 0:

وهذا لخط بميل = 0.5، وتقاطع = 0:

الانحدار الخطي

سأستخدم أحد الأمثلة المشهورة لتسهيل شرح مفهوم الانحدار الخطي، وهو مثال تسعير المنازل. لنفترض أن لدينا بيانات العديد من المنازل وأسعارها، هذه البيانات تشتمل على مواصفات المنزل، مثل مساحته، عدد الغرف، الحي والمدينة، عدد دورات المياه، وغيرها من المواصفات. كيف يمكن توقع السعر المناسب للمنزل بناء على مواصفاته؟ لنجيب على هذا السؤال نحتاج أن نعرف ارتباط أسعار المنازل ببعض المواصفات، ودرجة تأثيرها على السعر. للتبسيط سنأخذ فقط المساحة وارتباطها بالسعر كما هو موضح بهذا الشكل (ملاحظة: المثال تخيلي لتسهيل المفهوم، البيانات الحقيقية قد لا تكون بهذا التنظيم):

في هذا المثال، هناك تناسب طردي بين المساحة والسعر، بحيث إذا ازدادت المساحة فالغالب أن السعر يزداد.

في الانحدار الخطي، السؤال الذي نريد الإجابة عليه هو: ما هو أنسب خط يصف العلاقة بين المساحة والسعر؟ يطلق على المساحة المتغير المستقل (independent variable)، والسعر المتغير التابع (dependent variable) لأننا نحتاج للمساحة كي نحسب السعر. كيف نعرف أفضل خط؟ هناك العديد من الخطوط التي قد تصف العلاقة بين المتغيرين، مثل ما هو موضح في هذا الشكل:

في تعلم الآلة، يطلق على ناتج التعلم نموذج (model) -والبعض يطلق عليه hypothesis، وغالباً ما يكون معادلة رياضية. في مثالنا هذا للارتباط الخطي النموذج الناتج سيكون معادلة الخط المستقيم التي شرحتها سابقاً. فمثلاً في هذا الشكل:

معادلة الخط كالتالي:

حيث الميل (slope) و نقطة التقاطع (intercept) مع المحور . لنفترض أن و ، إذا كان لدينا بيت مساحته 500 متر مربع ()، فإن السعر المتوقع للبيت هو:

(ألف)

لنحصل على أفضل نموذج (هنا النموذج عبارة عن خط فقط)، نحتاج أن نعرف الميل ونقطة التقاطع للخط. ومهمة تعلم الآلة هي البحث عن هذه القيم عن طريق البيانات المتاحة كما سأشرح بعد قليل. يتم معرفة أفضل نموذج عن طريق البحث عن أقل النماذج خطأ. وهنا مفهوم مهم، كيف نحسب الخطأ؟ كما مر علينا، فإن القيمة التي تم توقعها عن طريق النموذج هي ، بينما القيمة الحقيقية للمنزل (التي لدينا فعلياً) هي . نستطيع حساب الخطأ بحساب الفرق بين القيمتين. هذا الشكل يوضح الفروق بين القيم الحقيقية والمتوقعة:

أحد الطرق المشهورة لحساب الخطأ يطلق عليها Residual Sum of Squares أو RSS اختصاراً (ولها اسم آخر وهو Sum of Squared Errors SSE) وتحسب بالمعادلة:

حيث كما مر علينا سابقاً أن:

يطلق على RSS دالة التكلفة (Cost function)، وهذه الدالة مهمة جداً لاختيار أفضل نموذج. نستطيع حساب أفضل نموذج عن طريق اختيار و اللذين يعطياننا أقل قيمة لـ RSS. ويمكن اختيار هاتين القيمتين عن طريق ما يطلق عليه التحسين (optimization).

التحسين (Optimization)

التحسين (optimization) مجال ضخم يستخدم في عدة تخصصات كعلوم الحاسب، وبحوث العمليات. وبشكل مبسط يهدف التحسين إلى البحث عن أفضل الاختيارات وفقاً للقيود الموجودة (constraints) للحصول على أفضل النتائج. حسب المطلوب والمشكلة، قد يكون الهدف الحصول على الأعلى (maximization) أو الأقل (minimization). هناك الكثير من طرق التحسين، وسأشرح هنا واحدة من أكثرها استخداماً في تعلم الآلة وهي خوارزمية Gradient Descent.

في البداية لنتصور الهدف من التحسين، لنرسم شكل المعادلة التالية  من متغيرين: و

مصدر الصورة

كما ذكرت، فإن الهدف من التحسين هو البحث عن أفضل الاختيارات (وهي هنا المتغيرين و ) التي نستطيع الحصول بها على أعلى أو أقل قيمة للدالة . وكما هو واضح في الشكل فإن بعض الدوال تحتوي على مرتفعات ومنخفضات، الهدف أن نحاول الوصول إلى الأعلى أو الأقل حسب المشكلة. هدفنا في الانحدار الخطي أن نبحث عن المتغيرات التي تعطينا أقل قيمة للخطأ، وبهذا فنحن نحاول أن نبحث عن المنخفض بتقليل الخطأ (minimization). هناك بعض المعادلات التي تعطيك شكل مقعر مما يسهل كثيراً عملية التحسين، ولحسن الحظ فإن RSS التي تم شرحها من هذه المعادلات، وشكلها عموما يشبه هذه الرسمة:

مصدر الصورة

حسناً، بعد أن عرفنا شكل المعادلة، كيف يمكننا الوصول إلى القاع؟ هنا يأتي دور خورزمية التحسين Gradient Descent. الفكرة الأساسية لخوارزمية Gradient Descent هي البحث في الاتجاه الأكثر تغيراً في المعادلة، ورياضياً يمكن حساب سرعة التغير عند أي نقطة في المعادلة عن طريق حساب التفاضل (derivative) -تعريف gradient هو التفاضل للمتجهات. الشكل التالي يبين معدل التغير عند أكثر من نقطة:

في خوارزمية Gradient Descent سيتم الاتجاه إلى القاع، فإذا كانت قيمة التفاضل موجبة فسيتم الاتجاه إلى اليسار (كما في الشكل)، وإذا كانت سالبة يتم الاتجاه لليمين، وتتوقف عند الوصول إلى الصفر مما يعني الوصول للقاع لعدم وجود تغير. هذا الشكل يبين كيف يتم البحث عن أفضل نقطة:

مصدر الصورة

بعد حساب التفاضل للدالة RSS سنحصل على:

ملاحظة: لا يحتاج أن تعرف الآن كيف تم حساب التفاضل حتى تفهم طريقة عمل الخوارزمية. المجال لا يتسع لشرح كيفية حساب التفاضل.

يتم في خوارزمية Gradient Descent البحث خلال تكرار برمجي (loop) عن أفضل قيمة للمتغيرين و ، وذلك عن طريق تحديث القيمتين من خلال المعادلة التالية:

حيث  تدل على القيمة عبر الزمن (أي خلال التكرار البرمجي)، و هي قيمة تحدد مقياس الخطوات (step size) عند البحث، وهي قيمة مهمة وقد يتأثر أداء التعلم على اختيارها بطريقة مناسبة. يمكن كتابة نفس المعادلة بطريقة أفضل باستخدام المتجهات:

بعد أن ننتهي نكون قد أنهينا تدريب نموذج بسيط لتعلم الآلة، ونستطيع أن نستخدمه إذا كان عندنا مساحة أرض () ونود معرفة سعرها عن طريق المعادلة التالية:

هذا باختصار كيف تعمل خوارزمية الانحدار الخطي. في البداية عرّفنا Cost Function ثم استخدمنا التحسين Optimization للحصول على أفضل نموذج Model. والنموذج هو الناتج النهائي لخورازمية تعلم الآلة، الذي نستطيع استخدامه للتوقع المستقبلي في مثالنا هذا.

غالباً لن نستطيع أن نحل المشاكل الحقيقية بهذه البساطة، فمثال البيت يحتاج للكثير من الخصائص غير مساحة الأرض حتى نعرف أفضل سعر، فحينها نحتاج أن ندخل عدة متغيرات في الدالة (multiple regression). وكذلك بعض الأحيان لا تكون البيانات مرتبة بطريقة خطية فلا يمكن تمثيلها بخط مستقيم، حينها نحتاج أن نبحث عن نموذج غير خطي مناسب للبيانات (non-linear regression). كما يمكن بتغيير بسيط لهذه الخوارزمية استخدامها للتصنيف (classification) بدلاً من التوقع، وتسمى هذه بخوارزمية logistic regression. سنشرح هذه المفاهيم في دروس لاحقة على الموقع إن شاء الله.

لا تترد بالسؤال في التعليقات عن ما أشكل عليك فهمه، وأتمنى لمن لديه إضافة أو تعليق أن يشارك لزيادة الفائدة.

*تم اختيار الانحدار الخطي ترجمة لـ Linear Regression حيث أنها الأكثر انتشاراً واعتماداً لدى الكثير، كان هذا الدرس يستخدم “الارتباط الخطي” ترجمة للمصطلح، ولكن تم تغييره.