كيفية التعامل مع مشاكل التعلم الآلي

تتمثل إحدى المهام الرئيسية لأجهزة الكمبيوتر في أتمتة المهام البشرية. بعض هذه المهام بسيطة ومتكررة ، مثل "نقل X من A إلى B." يصبح الأمر أكثر إثارة للاهتمام عندما يتعين على الكمبيوتر اتخاذ قرارات بشأن المشكلات التي يصعب إضفاء الطابع الرسمي عليها. هذا هو المكان الذي نبدأ فيه مواجهة مشاكل التعلم الآلي الأساسية.

تاريخيًا ، تم إنشاء هذه الخوارزميات بواسطة علماء أو خبراء لديهم معرفة وثيقة بمجالهم وكانوا يعتمدون إلى حد كبير على القواعد. مع انفجار قوة الحوسبة وتوافر مجموعات بيانات كبيرة ومتنوعة ، تحول التركيز نحو نهج حسابي أكثر.

ترتبط مفاهيم التعلم الآلي الأكثر شيوعًا هذه الأيام بالشبكات العصبية ، وفي تجربتي ، خلق هذا انطباعًا لدى العديد من الأشخاص بأن الشبكات العصبية هي نوع من الأسلحة المعجزة لجميع مشاكل الاستدلال. في الواقع ، هذا بعيد كل البعد عن الحقيقة. في نظر الإحصائي ، فهم يشكلون فئة واحدة من مناهج الاستدلال مع نقاط القوة والضعف المرتبطة بها ، ويعتمد الأمر تمامًا على المشكلة سواء كانت الشبكات العصبية ستكون الحل الأفضل أم لا.

في كثير من الأحيان ، هناك نهج أفضل.

في هذه المقالة ، سنحدد هيكلًا لمهاجمة مشكلات التعلم الآلي. لا يوجد مجال للخوض في الكثير من التفاصيل حول نماذج محددة للتعلم الآلي ، ولكن إذا كانت هذه المقالة تثير الاهتمام ، فيمكن أن تقدم المقالات اللاحقة حلولاً مفصلة لبعض مشكلات التعلم الآلي المثيرة للاهتمام.

أولاً ، دعنا نبذل بعض الجهد في توضيح سبب وجوب توخي الحذر أكثر من التفكير تلقائيًا في "الشبكة العصبية" عند مواجهة مشكلة التعلم الآلي.

إيجابيات وسلبيات الشبكات العصبية

مع الشبكات العصبية ، يتم الاستدلال من خلال "شبكة" مرجحة. تتم معايرة الأوزان أثناء ما يسمى بعملية "التعلم" ، ثم يتم تطبيقها لاحقًا لتعيين النتائج للمدخلات.

بهذه البساطة ، فإن جميع الأوزان هي معلمات للشبكة التي تمت معايرتها ، وعادة ما يعني ذلك وجود عدد كبير جدًا من المعلمات بالنسبة للإنسان.

لذلك قد نعتبر الشبكات العصبية نوعًا من الصندوق الأسود للاستدلال الذي يربط المدخلات بالمخرجات ، مع عدم وجود نموذج محدد بينهما.

دعونا نلقي نظرة فاحصة على إيجابيات وسلبيات هذا النهج.

مزايا الشبكات العصبية

• المدخلات هي البيانات نفسها. نتائج قابلة للاستخدام حتى مع القليل من الهندسة المميزة أو بدونها.
• مهارة قابلة للتدريب. مع عدم وجود هندسة مميزة ، ليست هناك حاجة لمهارات يصعب تطويرها مثل الحدس أو خبرة المجال. الأدوات القياسية متاحة للاستدلالات العامة.
• تتحسن الدقة مع كمية البيانات. كلما زادت المدخلات التي تراها ، كان أداء الشبكة العصبية أفضل.
• قد يتفوق أداء النماذج الكلاسيكية في حالة عدم وجود معلومات كاملة عن النموذج. فكر في المشاعر العامة ، على سبيل المثال.
• يمكن للاستدلال المفتوح اكتشاف أنماط غير معروفة. إذا كنت تستخدم نموذجًا وتركت اعتبارًا منه ، فلن يكتشف الظاهرة المقابلة. يمكن للشبكات العصبية.

مثال ناجح للشبكة العصبية: وجدت منظمة العفو الدولية من Google كوكبًا يدور حول نجم بعيد - حيث لم تفعل وكالة ناسا - من خلال تحليل بيانات التلسكوب المتراكمة.

عيوب الشبكات العصبية

• إنها تتطلب الكثير من البيانات (المشروحة!). أولاً ، هذا القدر من البيانات ليس متاحًا دائمًا. التقارب بطيء. يمكن معايرة النموذج الصلب (على سبيل المثال ، في الفيزياء) بعد بضع ملاحظات - مع الشبكات العصبية ، هذا غير وارد. التعليقات التوضيحية تتطلب الكثير من العمل ، ناهيك عن أنها ، في حد ذاتها ، ليست مضمونة.
• لا توجد معلومات حول الهيكل الداخلي للبيانات. هل أنت مهتم بما يعتمد عليه الاستدلال؟ لا حظ هنا. هناك حالات يؤدي فيها الضبط اليدوي للبيانات إلى تحسين الاستدلال بقفزة ، لكن الشبكة العصبية لن تكون قادرة على المساعدة في ذلك.
• قضايا التجهيز. يحدث غالبًا أن تحتوي الشبكة على معلمات أكثر مما تبرره البيانات ، مما يؤدي إلى استدلال دون المستوى الأمثل.
• يعتمد الأداء على المعلومات. إذا كانت هناك معلومات كاملة حول مشكلة ما ، فإن النموذج الصلب يميل إلى التفوق في الأداء على الشبكة العصبية.
• هناك مشاكل في أخذ العينات. يعتبر أخذ العينات دائمًا مشكلة حساسة ، ولكن مع وجود نموذج ، يمكن للمرء أن يطور بسرعة فكرة أخذ العينات التي تنطوي على مشاكل. الشبكات العصبية تتعلم فقط من البيانات ، لذلك إذا حصلت على بيانات متحيزة ، سيكون لديهم استنتاجات متحيزة.

مثال على الفشل: أخبرتني علاقة شخصية عن شركة كبرى (لا أستطيع ذكر اسمها) كانت تعمل على رصد المركبات العسكرية في الصور الجوية. كانت لديهم صور لمثل هذه المركبات وأخرى لم تكن كذلك. التقطت معظم صور الفصل الأول في يوم ممطر ، بينما التقط الثاني في طقس مشمس. نتيجة لذلك ، تعلم النظام التمييز بين الضوء والظل.

باختصار ، تشكل الشبكات العصبية فئة واحدة من طرق الاستدلال التي لها مزاياها وعيوبها.

من المرجح أن حقيقة أن شعبيتها تتفوق على جميع الأساليب الإحصائية الأخرى في نظر الجمهور لها علاقة بحوكمة الشركات أكثر من أي شيء آخر.

يعد تدريب الأشخاص على استخدام الأدوات القياسية وأساليب الشبكة العصبية الموحدة عملية أكثر توقعًا بكثير من البحث عن خبراء المجال والفنانين من مختلف المجالات. ومع ذلك ، فإن هذا لا يغير حقيقة أن استخدام شبكة عصبية لمشكلة بسيطة ومحددة جيدًا هو مجرد إطلاق النار على عصفور بمدفع: فهو يحتاج إلى الكثير من البيانات ، ويتطلب الكثير من التعليقات التوضيحية ، وفي المقابل قد فقط ضعيف الأداء عند مقارنته بنموذج صلب. ليست أفضل حزمة.

ومع ذلك ، هناك قوة هائلة في حقيقة أنهم "يدمقرطون" المعرفة الإحصائية. بمجرد النظر إلى حل الاستدلال المستند إلى الشبكة العصبية على أنه مجرد أداة برمجة ، فقد يساعد حتى أولئك الذين لا يشعرون بالراحة تجاه الخوارزميات المعقدة. لذلك ، حتمًا ، يتم الآن بناء الكثير من الأشياء التي لم تكن لتوجد لولا ذلك إذا كان بإمكاننا العمل فقط باستخدام نماذج متطورة.

الاقتراب من مشاكل التعلم الآلي

عند التعامل مع مشكلات التعلم الآلي ، فهذه هي الخطوات التي ستحتاج إلى اتباعها:

• تحديد معايير القبول
• تنظيف البيانات الخاصة بك وتعظيم محتوى المعلومات IST
• اختيار نهج الاستدلال الأمثل
• تدريب ، اختبار ، كرر

دعونا نرى هذه العناصر بالتفصيل.

تحديد معايير القبول

يجب أن يكون لديك فكرة عن الدقة المستهدفة في أقرب وقت ممكن ، إلى أقصى حد ممكن. سيكون هذا هو الهدف الذي تعمل من أجله.

تنقية بياناتك وتعظيم محتواها المعلوماتي

هذه هي الخطوة الأكثر أهمية. بادئ ذي بدء ، يجب ألا تحتوي بياناتك على أخطاء (أو قليلة). تطهيرها من هذه خطوة أولى أساسية. استبدل القيم المفقودة ، وحاول تحديد الأنماط التي من الواضح أنها مزيفة ، وتخلص من التكرارات وأي شذوذ آخر قد تلاحظه.

بالنسبة للمعلومات ، إذا كانت بياناتك مفيدة للغاية (بالمعنى الخطي) ، فإن أي طريقة استدلال ستعطيك نتائج جيدة عمليًا. إذا لم تكن المعلومات المطلوبة موجودة ، فستكون النتيجة ضوضاء. تعظيم المعلومات يعني في المقام الأول العثور على أي علاقات غير خطية مفيدة في البيانات وخطيها. إذا كان ذلك يحسن المدخلات بشكل كبير ، عظيم. إذا لم يكن الأمر كذلك ، فقد يلزم إضافة المزيد من المتغيرات. إذا لم يؤد كل هذا إلى ثمار ، فقد تتأثر دقة الهدف.

مع بعض الحظ ، ستكون هناك متغيرات فردية مفيدة. يمكنك تحديد المتغيرات المفيدة إذا كنت - على سبيل المثال - ترسمها مقابل متغير (متغيرات) هدف التعلم ووجدت أن المؤامرة تشبه الوظيفة (على سبيل المثال ، النطاق الضيق في الإدخال يتوافق مع نطاق ضيق في الإخراج). يمكن بعد ذلك جعل هذا المتغير خطيًا - على سبيل المثال ، إذا تم رسمه على شكل قطع مكافئ ، اطرح بعض القيم وخذ الجذر التربيعي.

بالنسبة للمتغيرات الصاخبة - يتوافق النطاق الضيق في الإدخال مع نطاق واسع في المخرجات - قد نحاول دمجها مع متغيرات أخرى.

للحصول على فكرة عن الدقة ، قد ترغب في قياس احتمالات الفئة الشرطية لكل من المتغيرات الخاصة بك (لمشاكل التصنيف) أو تطبيق بعض أشكال الانحدار البسيطة جدًا ، مثل الانحدار الخطي (لمشاكل التنبؤ). إذا تحسن محتوى المعلومات الخاص بالمدخلات ، فسيتم تحسين استنتاجك أيضًا ، ولا تريد ببساطة إضاعة الكثير من الوقت في هذه المرحلة في معايرة النموذج عندما لا تكون البيانات جاهزة بعد. لذا استمر في الاختبار بأبسط ما يمكن.

اختيار نهج الاستدلال الأمثل

بمجرد أن تصبح بياناتك في حالة جيدة ، يمكنك الذهاب إلى طريقة الاستدلال (قد تظل البيانات مصقولة لاحقًا ، إذا لزم الأمر).

هل يجب عليك استخدام نموذج؟ حسنًا ، إذا كان لديك سبب وجيه للاعتقاد بأنه يمكنك بناء نموذج جيد للمهمة ، فربما ينبغي عليك ذلك. إذا كنت لا تعتقد ذلك ، ولكن هناك الكثير من البيانات مع التعليقات التوضيحية الجيدة ، فيمكنك حينئذٍ استخدام الشبكة العصبية بدون استخدام اليدين. ومع ذلك ، في تطبيقات التعلم الآلي العملية ، غالبًا ما لا توجد بيانات كافية لذلك.

دقة اللعب مقابل التغطية غالبًا ما تؤتي ثمارها بشكل كبير. عادة ما تكون الأساليب الهجينة جيدة تمامًا. افترض أن البيانات تجعلك تحصل على دقة تقارب 100٪ على 80٪ منها بنموذج بسيط؟ هذا يعني أنه يمكنك إثبات النتائج بسرعة ، وإذا كان نظامك يمكنه تحديد وقت تشغيله في منطقة صديقة بنسبة 80٪ ، فأنت قد غطيت معظم المشكلة بشكل أساسي. قد لا يكون عميلك سعيدًا تمامًا بعد ، ولكن هذا سيكسبك ثقته بسرعة. وليس هناك ما يمنعك من القيام بشيء مماثل فيما يتعلق بالبيانات المتبقية: بجهد معقول الآن يمكنك تغطية ، على سبيل المثال ، 92٪ من البيانات بدقة 97٪. صحيح ، في بقية البيانات ، إنها نقرة لعملة معدنية ، لكنك أنتجت بالفعل شيئًا مفيدًا.

بالنسبة لمعظم التطبيقات العملية ، يعد هذا مفيدًا جدًا. لنفترض أنك تعمل في مجال الإقراض وتريد أن تقرر من الذي ستقدمه للقرض ، وكل ما تعرفه هو أن خوارزمية لديك دقيقة للغاية في 70٪ من العملاء. رائع - صحيح أن 30٪ من المتقدمين الآخرين سيحتاجون إلى مزيد من المعالجة ، ولكن يمكن أن يكون 70٪ مؤتمتًا بالكامل. أو: لنفترض أنك تحاول أتمتة عمل المشغل لمراكز الاتصال ، يمكنك القيام بعمل جيد (سريع وقذر) في أبسط المهام فقط ، لكن هذه المهام تغطي 50٪ من المكالمات؟ رائع ، يوفر مركز الاتصال المال إذا كان بإمكانه أتمتة 50٪ من مكالماته بشكل موثوق.

للتلخيص: إذا لم تكن البيانات غنية بالمعلومات الكافية ، أو كانت المشكلة معقدة للغاية بحيث لا يمكن معالجتها بالكامل ، ففكر خارج الصندوق. حدد المشاكل الفرعية المفيدة التي يسهل حلها حتى تحصل على فكرة أفضل.

بمجرد أن يكون نظامك جاهزًا ، تعلم واختبره وحلقه حتى تصبح راضيًا عن النتائج.

تدريب ، اختبار ، كرر

بعد الخطوات السابقة ، لم يتبق سوى القليل من الاهتمام. لديك البيانات وطريقة التعلم الآلي ، لذا حان الوقت لاستخراج المعلمات عبر التعلم ثم اختبار الاستدلال على مجموعة الاختبار. تشير الأدبيات إلى أنه يجب استخدام 70٪ من السجلات للتدريب و 30٪ للاختبار.

إذا كنت راضيًا عن النتائج ، تنتهي المهمة. ولكن ، على الأرجح ، قمت بتطوير بعض الأفكار الجديدة أثناء الإجراء ، ويمكن أن تساعدك هذه على تحقيق الدقة. ربما تحتاج المزيد من البيانات؟ أو مجرد مزيد من تطهير البيانات؟ أو نموذج آخر؟ في كلتا الحالتين ، من المحتمل أن تكون مشغولاً لفترة طويلة.

لذا ، حظًا سعيدًا واستمتع بالعمل الذي ينتظرنا!