الحصول على أقصى استفادة من النماذج المدربة مسبقًا

معظم نماذج التعلم العميق الجديدة التي يتم إصدارها ، خاصة في البرمجة اللغوية العصبية ، كبيرة جدًا جدًا: تحتوي على معلمات تتراوح من مئات الملايين إلى عشرات المليارات.

بالنظر إلى الهندسة المعمارية الجيدة بدرجة كافية ، فكلما كان النموذج أكبر ، زادت قدرته على التعلم. وبالتالي ، تتمتع هذه النماذج الجديدة بقدرة تعليمية هائلة ويتم تدريبها على مجموعات بيانات كبيرة جدًا.

وبسبب ذلك ، فإنهم يتعلمون التوزيع الكامل لمجموعات البيانات التي تم تدريبهم عليها. يمكن للمرء أن يقول إنهم يشفرون المعرفة المضغوطة لمجموعات البيانات هذه. يسمح هذا باستخدام هذه النماذج لتطبيقات مثيرة جدًا للاهتمام - أكثرها شيوعًا هو نقل التعلم. يعمل التعلم عن طريق النقل على ضبط النماذج المدربة مسبقًا على مجموعات البيانات / المهام المخصصة ، والتي تتطلب بيانات أقل بكثير ، وتتقارب النماذج بسرعة كبيرة مقارنة بالتدريب من البداية.

كيف النماذج المدربة مسبقًا هي خوارزميات المستقبل

على الرغم من استخدام النماذج المدربة مسبقًا أيضًا في رؤية الكمبيوتر ، ستركز هذه المقالة على استخدامها المتطور في مجال معالجة اللغة الطبيعية (NLP). هندسة المحولات هي العمارة الأكثر شيوعًا والأقوى المستخدمة في هذه النماذج.

على الرغم من أن BERT بدأ ثورة تعلم تحويل البرمجة اللغوية العصبية ، فسوف نستكشف طرازي GPT-2 و T5. تم تدريب هذه النماذج مسبقًا - سيؤدي ضبطها على تطبيقات معينة إلى مقاييس تقييم أفضل بكثير ، لكننا سنستخدمها خارج الصندوق ، أي بدون ضبط دقيق.

نماذج البرمجة اللغوية العصبية المدربة مسبقًا: OpenAI's GPT-2

أثار GPT-2 جدلًا كبيرًا عندما تم إصداره مرة أخرى في عام 2019. نظرًا لأنه كان جيدًا جدًا في إنشاء نص ، فقد جذب انتباه وسائل الإعلام تمامًا وأثار الكثير من الأسئلة المتعلقة بمستقبل الذكاء الاصطناعي.

تم تدريب GPT-2 على 40 جيجابايت من البيانات النصية ، وهو نموذج كبير جدًا يحتوي على قدر هائل من المعرفة المضغوطة من مقطع عرضي للإنترنت.

يحتوي GPT-2 على الكثير من حالات الاستخدام المحتملة. يمكن استخدامه للتنبؤ باحتمالية الجملة. هذا ، بدوره ، يمكن استخدامه للتصحيح التلقائي للنص. بعد ذلك ، يمكن استخدام التنبؤ بالكلمات مباشرة لبناء مكون الإكمال التلقائي لـ IDE (مثل Visual Studio Code أو PyCharm) لكتابة التعليمات البرمجية وكذلك كتابة النص العام. سنستخدمها لإنشاء نص تلقائي ، ويمكن استخدام مجموعة كبيرة من النصوص لتحليل اللغة الطبيعية.

توليد النص

إن قدرة نموذج مدرب مسبقًا مثل GPT-2 على إنشاء نص متماسك أمر مثير للإعجاب. يمكننا أن نمنحه نصًا بادئة ونطلب منه إنشاء الكلمة أو العبارة أو الجملة التالية.

مثال على حالة الاستخدام هو إنشاء مجموعة بيانات لمراجعات المنتج لمعرفة نوع الكلمات المستخدمة بشكل عام في المراجعات الإيجابية مقابل المراجعات السلبية.

لنلقِ نظرة على بعض الأمثلة ، بدءًا بما سنحصل عليه إذا بدأنا بالبادئة الإيجابية ، "أحببت هذا الفيلم حقًا!"

كما ترى ، لم تكن مراجعة الكلمات في أي مكان في البادئة ، ولكن نظرًا لأن معظم المراجعات عبارة عن عناوين يتبعها نص المراجعة ، فقد أجبر هذا النموذج على التكيف مع هذا التوزيع. لاحظ أيضًا الإشارة إلى Batman v Superman .

دعونا نرى مثالاً آخر. بدلاً من مراجعة الفيلم ، سنحاول إنشاء مراجعة للمنتج باستخدام البادئة السلبية ، "منتج مهملات! لا تشتري."

مرة أخرى ، يمكن الاستدلال على البادئة كعنوان لمراجعة المنتج ، لذلك يبدأ النموذج في إنشاء نص يتبع هذا النمط. يمكن لـ GPT-2 إنشاء أي نوع من النص مثل هذا.

دفتر ملاحظات Google Colab جاهز للاستخدام في التجارب ، كما هو الحال في العرض التوضيحي المباشر "Write With Transformer".

إجابة السؤال

نعم ، نظرًا لأن GPT-2 تم ​​تدريبه على الويب ، فإنه "يعرف" الكثير من المعرفة البشرية التي تم نشرها عبر الإنترنت حتى عام 2019. ويمكن أن يعمل أيضًا مع الأسئلة السياقية ، ولكن سيتعين علينا اتباع التنسيق الصريح لـ " السؤال: X ، الإجابة: "قبل السماح لها بمحاولة الإكمال التلقائي. ولكن إذا أجبرنا النموذج على الإجابة على سؤالنا ، فقد ينتج عنه إجابة غامضة جدًا. إليك ما يحدث لمحاولة إجبارها على الإجابة على أسئلة مفتوحة لاختبار معرفتها:

كما نرى ، قدم النموذج المدرب مسبقًا إجابة مفصلة جدًا عن السؤال الأول. بالنسبة للثاني ، فقد بذل قصارى جهده ، لكنه لا يقارن ببحث Google.

من الواضح أن GPT-2 لديها إمكانات هائلة. صقله ، يمكن استخدامه للأمثلة المذكورة أعلاه بدقة أعلى بكثير. ولكن حتى GPT-2 المدربة مسبقًا التي نقوم بتقييمها لا تزال ليست بهذا السوء.

نماذج البرمجة اللغوية العصبية المدربة مسبقًا: Google's T5

يعد T5 من Google أحد أكثر نماذج اللغات الطبيعية تقدمًا حتى الآن. يعتمد على العمل السابق على نماذج المحولات بشكل عام. على عكس BERT ، الذي كان يحتوي فقط على كتل تشفير ، و GPT-2 ، الذي يحتوي على كتل فك تشفير فقط ، يستخدم T5 كليهما .

كان تدريب GPT-2 على 40 جيجابايت من البيانات النصية مثيرًا للإعجاب بالفعل ، ولكن تم تدريب T5 على مجموعة بيانات سعة 7 تيرابايت . على الرغم من أنه تم تدريبه على عدد كبير جدًا جدًا من التكرارات ، إلا أنه لا يمكنه المرور بكامل النص. على الرغم من أن T5 يمكنه إنشاء نص مثل GPT-2 ، إلا أننا سنستخدمه في حالات استخدام الأعمال الأكثر إثارة للاهتمام.

تلخيص

لنبدأ بمهمة بسيطة: تلخيص النص. بالنسبة لشركات تطوير الذكاء الاصطناعي التي ترغب في إنشاء تطبيق يلخص مقالًا إخباريًا ، فإن T5 مناسب تمامًا لهذه المهمة. على سبيل المثال ، عند إعطاء هذه المقالة إلى T5 ، إليك ثلاثة ملخصات مختلفة أنتجتها:

كما نرى ، فقد قام بعمل رائع في تلخيص المقال. أيضا ، كل ملخص يختلف عن الآخرين.

التلخيص باستخدام النماذج المدربة مسبقًا له تطبيقات محتملة ضخمة. يمكن أن تكون إحدى حالات الاستخدام المثيرة للاهتمام هي إنشاء ملخص لكل مقال تلقائيًا ووضع ذلك في البداية للقراء الذين يريدون فقط ملخصًا. يمكن المضي قدمًا في ذلك من خلال تخصيص الملخص لكل مستخدم . على سبيل المثال ، إذا كان لدى بعض المستخدمين مفردات أصغر ، فيمكن أن يحصلوا على ملخص باختيارات كلمات أقل تعقيدًا. هذا مثال بسيط للغاية ، لكنه يوضح قوة هذا النموذج.

يمكن أن تكون حالة الاستخدام الأخرى المثيرة للاهتمام هي استخدام مثل هذه الملخصات في تحسين محركات البحث لموقع الويب. على الرغم من أنه يمكن تدريب T5 على إنشاء مُحسنات محركات بحث عالية الجودة تلقائيًا ، إلا أن استخدام الملخص قد يساعد خارج الصندوق ، دون إعادة تدريب النموذج.

قراءة الفهم

يمكن أيضًا استخدام T5 لفهم القراءة ، على سبيل المثال ، الإجابة على أسئلة من سياق معين. يحتوي هذا التطبيق على حالات استخدام شيقة للغاية سنراها لاحقًا. لكن لنبدأ ببعض الأمثلة:

لا توجد إشارة صريحة إلى أن داروين اخترع النظرية ، لكن النموذج استخدم معرفته الحالية جنبًا إلى جنب مع بعض السياق للوصول إلى الاستنتاج الصحيح.

ماذا عن سياق صغير جدا؟

حسنًا ، كان ذلك سهلاً جدًا. ماذا عن سؤال فلسفي؟

على الرغم من أننا نعلم أن الإجابة على هذا السؤال معقدة للغاية ، فقد حاول T5 التوصل إلى إجابة قريبة جدًا ومعقولة. مجد!

دعونا نأخذ الأمر أبعد من ذلك. دعنا نطرح بعض الأسئلة باستخدام مقالة Engadget المذكورة سابقًا كسياق.

كما ترى ، فإن الإجابة على الأسئلة السياقية لـ T5 جيدة جدًا. يمكن أن تتمثل إحدى حالات استخدام الأعمال في إنشاء روبوت محادثة سياقي لمواقع الويب التي تجيب على الاستفسارات ذات الصلة بالصفحة الحالية.

يمكن أن تكون حالة الاستخدام الأخرى هي البحث عن بعض المعلومات من المستندات ، على سبيل المثال ، طرح أسئلة مثل ، "هل يعد استخدام كمبيوتر محمول للشركة لمشروع شخصي انتهاكًا للعقد؟" باستخدام وثيقة قانونية كسياق. على الرغم من أن T5 لها حدودها ، إلا أنها مناسبة تمامًا لهذا النوع من المهام.

قد يتساءل القراء ، لماذا لا نستخدم نماذج متخصصة لكل مهمة؟ إنها نقطة جيدة: ستكون الدقة أعلى بكثير وستكون تكلفة نشر النماذج المتخصصة أقل بكثير من نموذج البرمجة اللغوية العصبية الذي تم تدريبه مسبقًا في T5. لكن جمال T5 بالتحديد هو أنه "نموذج واحد يحكمهم جميعًا" ، أي أنه يمكنك استخدام نموذج واحد مُدرَّب مسبقًا لأي مهمة من مهام البرمجة اللغوية العصبية تقريبًا. بالإضافة إلى ذلك ، نريد استخدام هذه النماذج خارج الصندوق ، دون إعادة التدريب أو الضبط الدقيق. لذلك بالنسبة للمطورين الذين ينشئون تطبيقًا يلخص المقالات المختلفة ، بالإضافة إلى التطبيق الذي يقوم بالإجابة على الأسئلة السياقية ، يمكن لنموذج T5 نفسه القيام بكليهما.

النماذج المدربة مسبقًا: نماذج التعلم العميق التي ستكون موجودة في كل مكان قريبًا

في هذه المقالة ، استكشفنا النماذج المدربة مسبقًا وكيفية استخدامها خارج الصندوق لحالات استخدام الأعمال المختلفة. تمامًا مثل خوارزمية الفرز الكلاسيكية المستخدمة في كل مكان تقريبًا لفرز المشكلات ، سيتم استخدام هذه النماذج المدربة مسبقًا كخوارزميات قياسية. من الواضح تمامًا أن ما اكتشفناه كان مجرد خدش سطح تطبيقات البرمجة اللغوية العصبية ، وهناك الكثير الذي يمكن القيام به بواسطة هذه النماذج.

يمكن لنماذج التعلم العميق المدربة مسبقًا مثل StyleGAN-2 و DeepLabv3 تشغيل تطبيقات رؤية الكمبيوتر بطريقة مماثلة. أتمنى أن تكون قد استمتعت بهذا المقال وأتطلع إلى سماع تعليقاتك أدناه.