خوارزمية نزول التدرج: المنهجية والمتغيرات وأفضل الممارسات

التحسين جزء لا يتجزأ من التعلم الآلي. تمتلك جميع خوارزميات التعلم الآلي تقريبًا وظيفة تحسين كقطعة أساسية. كما توحي الكلمة ، فإن التحسين في التعلم الآلي هو إيجاد الحل الأمثل لبيان المشكلة.

في هذه المقالة ، ستقرأ عن واحدة من أكثر خوارزميات التحسين استخدامًا ، نزول التدرج. يمكن استخدام خوارزمية النسب المتدرج مع أي خوارزمية للتعلم الآلي وهي سهلة الفهم والتنفيذ. إذن ، ما هو بالضبط النسب المتدرج؟ بنهاية هذه المقالة ، سيكون لديك فهم أوضح لخوارزمية نزول التدرج وكيف يمكن استخدامها لتحديث معلمات النموذج.

نزول متدرج

قبل الخوض في خوارزمية النسب المتدرج ، يجب أن تعرف ما هي دالة التكلفة. دالة التكلفة هي وظيفة تُستخدم لقياس أداء النموذج الخاص بك لمجموعة بيانات معينة. يجد الفرق بين القيمة المتوقعة والقيمة المتوقعة ، وبالتالي تحديد هامش الخطأ.

الهدف هو تقليل دالة التكلفة بحيث يكون النموذج دقيقًا. لتحقيق هذا الهدف ، تحتاج إلى العثور على المعلمات المطلوبة أثناء تدريب النموذج الخاص بك. نزول التدرج هو أحد خوارزمية التحسين المستخدمة للعثور على معاملات دالة لتقليل دالة التكلفة. النقطة التي تكون عندها دالة التكلفة هي الحد الأدنى تُعرف بالحد الأدنى العالمي.

مصدر

الحدس وراء خوارزمية الانحدار

افترض أن لديك وعاءًا كبيرًا مشابهًا لشيء ما لديك فيه فاكهتك. هذا الوعاء هو مخطط دالة التكلفة. يعتبر الجزء السفلي من الوعاء هو أفضل معامل تكون دالة التكلفة عنده الحد الأدنى. تُستخدم قيم مختلفة كمعامِلات لحساب دالة التكلفة. تتكرر هذه الخطوة حتى يتم العثور على أفضل المعاملات.

يمكنك تخيل نزول متدرج ككرة تتدحرج في الوادي. الوادي هو مخطط دالة التكلفة هنا. تريد أن تصل الكرة إلى قاع الوادي ، حيث يمثل قاع الوادي أقل وظيفة تكلفة. اعتمادًا على موضع بدء الكرة ، قد تستقر الكرة على العديد من قيعان الوادي. ومع ذلك ، قد لا تكون هذه القيعان هي أدنى النقاط وتعرف باسم الحدود الدنيا المحلية.

مصدر

اقرأ: التعزيز في التعلم الآلي: ما المقصود بالوظائف والأنواع والميزات

خوارزمية نزول التدرج- المنهجية

يبدأ حساب نزول التدرج بالقيم الأولية للمعاملات للوظيفة التي يتم تعيينها على 0 أو قيمة عشوائية صغيرة.

المعامل = 0 (أو قيمة صغيرة)

• يتم حساب دالة التكلفة بوضع قيمة المعامل هذه في الدالة.

دالة التكلفة = f (معامل)

• نعلم من مفهوم التفاضل والتكامل أن مشتقة الدالة هي ميل الدالة. سيساعدك حساب المنحدر على معرفة الاتجاه لتحريك قيم المعامل. يجب أن يكون الاتجاه بحيث تحصل على تكلفة (خطأ) أقل في التكرار التالي.

del = مشتق (دالة التكلفة)

• بعد معرفة اتجاه الانحدار من المنحدر ، تقوم بتحديث قيم المعامل وفقًا لذلك. يمكن تحديد معدل التعلم (ألفا) للتحكم في مدى تغير هذه المعاملات في كل تكرار. تحتاج إلى التأكد من أن معدل التعلم هذا ليس مرتفعًا جدًا ولا منخفضًا جدًا.

المعامل = المعامل - (alpha * del)

• تتكرر هذه العملية حتى تصبح دالة التكلفة 0 أو قريبة جدًا من 0.

f (معامل) = 0 (أو قريب من 0)

اختيار معدل التعلم مهم. يمكن أن يؤدي اختيار معدل تعليمي مرتفع جدًا إلى تجاوز الحد الأدنى العالمي. على العكس من ذلك ، يمكن أن يساعدك معدل التعلم المنخفض جدًا في الوصول إلى الحد الأدنى العالمي ، لكن التقارب بطيء جدًا ، ويستغرق العديد من التكرارات.

مصدر

متغيرات خوارزمية النسب المتدرج

نزول دفعة متدرجة

يعد نزول الدُفعة المتدرجة أحد أكثر المتغيرات استخدامًا لخوارزمية نزول التدرج. يتم حساب دالة التكلفة على مجموعة بيانات التدريب بأكملها لكل تكرار. يُشار إلى الدفعة الواحدة على أنها تكرار واحد للخوارزمية ، ويُعرف هذا النموذج باسم نزول التدرج اللوني للدفعة.

الانحدار العشوائي

في بعض الحالات ، يمكن أن تكون مجموعة التدريب كبيرة جدًا. في هذه الحالات ، سيستغرق نزول التدرج اللوني للدفعة وقتًا طويلاً للحساب حيث يحتاج التكرار الواحد إلى تنبؤ لكل مثيل في مجموعة التدريب. يمكنك استخدام النسب المتدرج العشوائي في هذه الظروف حيث تكون مجموعة البيانات ضخمة. في نزول التدرج العشوائي ، يتم تحديث المعاملات لكل مثيل تدريب وليس في نهاية مجموعة المثيلات.

نزول دفعة صغيرة متدرجة

كل من نزول التدرج الدفعي ونسب التدرج العشوائي لهما إيجابيات وسلبيات. ومع ذلك ، يمكن أن يكون استخدام مزيج من نزول التدرج الدفعي ونسب التدرج العشوائي مفيدًا. في النسب المتدرج للدفعة الصغيرة ، لا يتم استخدام مجموعة البيانات بأكملها ولا تستخدم مثيلًا واحدًا في كل مرة. تأخذ في الاعتبار مجموعة من الأمثلة التدريبية. عدد الأمثلة في هذه المجموعة أقل من مجموعة البيانات بأكملها ، وتُعرف هذه المجموعة باسم الدُفعة المصغرة.

أفضل الممارسات لخوارزمية النسب المتدرج

• تكلفة الخريطة مقابل الوقت: يساعدك رسم التكلفة فيما يتعلق بالوقت على تصور ما إذا كانت التكلفة تتناقص أم لا بعد كل تكرار. إذا رأيت أن التكلفة تظل دون تغيير ، فحاول تحديث معدل التعلم.
• معدل التعلم: معدل التعلم منخفض جدًا ويتم تحديده غالبًا على أنه 0.01 أو 0.001. تحتاج إلى محاولة معرفة القيمة الأفضل بالنسبة لك.
• مدخلات إعادة القياس: ستعمل خوارزمية نزول التدرج على تقليل دالة التكلفة بشكل أسرع إذا تم إعادة قياس جميع متغيرات الإدخال إلى نفس النطاق ، مثل [0 ، 1] أو [-1 ، 1].
• تمريرات أقل: عادةً ، لا تحتاج خوارزمية أصل التدرج العشوائي إلى أكثر من 10 تمريرات للعثور على أفضل المعاملات.

راجع: 25 أسئلة وأجوبة مقابلة التعلم الآلي

تغليف

ستتعرف على دور النسب المتدرج في تحسين خوارزمية التعلم الآلي. أحد العوامل المهمة التي يجب مراعاتها هو اختيار معدل التعلم الصحيح لخوارزمية النسب المتدرج للتنبؤ الأمثل.

تقدم upGrad دبلوم PG في التعلم الآلي والذكاء الاصطناعي وماجستير العلوم في التعلم الآلي والذكاء الاصطناعي الذي قد يوجهك نحو بناء مستقبل مهني. ستشرح هذه الدورات الحاجة إلى التعلم الآلي والخطوات الإضافية لجمع المعرفة في هذا المجال التي تغطي مفاهيم متنوعة تتراوح من خوارزميات النسب المتدرج إلى الشبكات العصبية.