6 أنواع من وظائف التنشيط في الشبكات العصبية يجب أن تعرفها

مع تحول التعلم العميق إلى تقنية سائدة ، في الآونة الأخيرة ، كان هناك الكثير من الحديث عن الشبكات العصبية الاصطناعية أو الشبكات العصبية الاصطناعية. اليوم ، تعد ANN مكونًا أساسيًا في المجالات الناشئة المتنوعة مثل التعرف على خط اليد وضغط الصور وتنبؤ البورصة وغير ذلك الكثير. اقرأ المزيد عن أنواع الشبكات العصبية الاصطناعية في التعلم الآلي.

لكن ما هي الشبكة العصبية الاصطناعية؟

الشبكة العصبية الاصطناعية هي نموذج التعلم العميق الذي يستمد الإلهام من البنية العصبية للدماغ البشري. تم تصميم الشبكات العصبية الاصطناعية لتقليد وظائف الدماغ البشري الذي يتعلم من التجارب ويتكيف وفقًا للموقف. مثل الدماغ البشري له بنية متعددة المستويات تحتوي على بلايين من الخلايا العصبية مرتبة في تسلسل هرمي ، فإن ANN لديها أيضًا شبكة من الخلايا العصبية المترابطة مع بعضها البعض عبر محاور عصبية.

تمرر هذه الخلايا العصبية المترابطة إشارات كهربائية (تسمى المشابك العصبية) من طبقة إلى أخرى. هذا التقليد لنمذجة الدماغ يسمح لـ ANN بالتعلم من التجربة دون الحاجة إلى تدخل بشري.

قراءة: الشبكة العصبية الاصطناعية في تعدين البيانات

وبالتالي ، فإن الشبكات العصبية الاصطناعية عبارة عن هياكل معقدة تحتوي على عناصر تكيفية مترابطة تُعرف باسم الخلايا العصبية الاصطناعية التي يمكنها إجراء عمليات حسابية كبيرة لتمثيل المعرفة. إنهم يمتلكون جميع الصفات الأساسية للنظام العصبي البيولوجي ، بما في ذلك القدرة على التعلم ، والقوة ، واللاخطية ، والتوازي العالي ، والتسامح مع الخطأ والفشل ، والقدرة على التعامل مع المعلومات غير الدقيقة والغامضة ، والقدرة على التعميم.

انضم إلى دورات الذكاء الاصطناعي عبر الإنترنت من أفضل الجامعات في العالم - الماجستير ، وبرامج الدراسات العليا التنفيذية ، وبرنامج الشهادات المتقدمة في ML & AI لتسريع مسار حياتك المهنية.

الخصائص الأساسية للشبكات العصبية الاصطناعية

• تضفي اللاخطية ملاءمة أفضل للبيانات.
• يعزز التوازي العالي المعالجة السريعة والتسامح مع فشل الأجهزة.
• يسمح التعميم بتطبيق النموذج على البيانات غير المكتسبة.
• عدم حساسية الضوضاء التي تسمح بالتنبؤ الدقيق حتى بالنسبة للبيانات غير المؤكدة وأخطاء القياس.
• التعلم والتكيف يسمحان للنموذج بتحديث بنيته الداخلية وفقًا للبيئة المتغيرة.

تهدف الحوسبة المستندة إلى ANN في المقام الأول إلى تصميم خوارزميات رياضية متقدمة تسمح للشبكات العصبية الاصطناعية بالتعلم عن طريق محاكاة معالجة المعلومات ووظائف اكتساب المعرفة للدماغ البشري.

مكونات الشبكات العصبية الاصطناعية

تتكون الشبكات العصبية الاصطناعية من ثلاث طبقات أو مراحل أساسية - طبقة إدخال وطبقة / طبقات مخفية وطبقة إخراج.

• طبقة الإدخال: يتم تغذية الطبقة الأولى بالمدخلات ، أي البيانات الأولية. ينقل المعلومات من العالم الخارجي إلى الشبكة. في هذه الطبقة ، لا يتم إجراء أي عمليات حسابية - تقوم العقد فقط بتمرير المعلومات إلى الطبقة المخفية.
• الطبقة المخفية: في هذه الطبقة ، تكون العقد مخفية خلف طبقة الإدخال - وهي تشكل جزء التجريد في كل شبكة عصبية. تحدث جميع العمليات الحسابية على المعالم التي تم إدخالها من خلال طبقة الإدخال في الطبقة / الطبقات المخفية ، ثم تنقل النتيجة إلى طبقة الإخراج.
• طبقة الإخراج: تصور هذه الطبقة نتائج الحسابات التي أجرتها الشبكة للعالم الخارجي.

مصدر

يمكن تصنيف الشبكات العصبية إلى أنواع مختلفة بناءً على نشاط الطبقة / الطبقات المخفية. على سبيل المثال ، في شبكة عصبية بسيطة ، يمكن للوحدات المخفية بناء تمثيلها الفريد للمدخلات. هنا ، تحدد الأوزان بين الوحدات المخفية ووحدات الإدخال متى تكون كل وحدة مخفية نشطة.

وبالتالي ، من خلال ضبط هذه الأوزان ، يمكن للطبقة المخفية اختيار ما يجب أن تمثله. تشمل البنى الأخرى نماذج الطبقة الواحدة والطبقات المتعددة. في طبقة واحدة ، عادة ما يكون هناك طبقة إدخال وإخراج فقط - فهي تفتقر إلى طبقة مخفية. بينما ، في نموذج متعدد الطبقات ، هناك طبقة مخفية واحدة أو أكثر.

ما هي وظائف التنشيط في الشبكة العصبية؟

كما ذكرنا سابقًا ، تعد الشبكات العصبية الاصطناعية عنصرًا حاسمًا في العديد من الهياكل التي تساعد في إحداث ثورة في العالم من حولنا. لكن هل تساءلت يومًا ، كيف تقدم شبكات ANN أداءً متطورًا لإيجاد حلول لمشاكل العالم الحقيقي؟

الجواب - وظائف التنشيط.

تستخدم الشبكات العصبية الاصطناعية وظائف التنشيط (AFs) لإجراء عمليات حسابية معقدة في الطبقات المخفية ثم نقل النتيجة إلى طبقة الإخراج. الغرض الأساسي من AFs هو إدخال خصائص غير خطية في الشبكة العصبية.

يقوم بتحويل إشارات الإدخال الخطية للعقدة إلى إشارات خرج غير خطية لتسهيل تعلم كثيرات الحدود عالية المستوى التي تتجاوز درجة واحدة للشبكات العميقة. يتمثل أحد الجوانب الفريدة لـ AFs في أنها قابلة للتفاضل - وهذا يساعدها على العمل أثناء الانتشار العكسي للشبكات العصبية.

ما هي الحاجة إلى اللاخطية؟

إذا لم يتم تطبيق وظائف التنشيط ، فستكون إشارة الخرج دالة خطية ، وهي متعددة الحدود من درجة واحدة. في حين أنه من السهل حل المعادلات الخطية ، إلا أن حاصل قسمة تعقيدها محدود ، وبالتالي ، فإن لديها قوة أقل لتعلم التعيينات الوظيفية المعقدة من البيانات. وبالتالي ، بدون AFs ، ستكون الشبكة العصبية نموذج انحدار خطي بقدرات محدودة.

هذا بالتأكيد ليس ما نريده من الشبكة العصبية. مهمة الشبكات العصبية هي حساب العمليات الحسابية المعقدة للغاية. علاوة على ذلك ، بدون AFs ، لا يمكن للشبكات العصبية أن تتعلم ونمذجة البيانات المعقدة الأخرى ، بما في ذلك الصور والكلام ومقاطع الفيديو والصوت وما إلى ذلك.

تساعد AF الشبكات العصبية على فهم مجموعات البيانات الضخمة المعقدة وعالية الأبعاد وغير الخطية التي لها بنية معقدة - فهي تحتوي على طبقات مخفية متعددة بين طبقة الإدخال والإخراج.

قراءة: التعلم العميق مقابل الشبكة العصبية

الآن ، دون مزيد من اللغط ، دعنا نتعمق في الأنواع المختلفة لوظائف التنشيط المستخدمة في شبكات ANN.

أنواع وظائف التنشيط

1. وظيفة السيني

في ANN ، فإن الوظيفة السينية هي AF غير خطي تستخدم بشكل أساسي في الشبكات العصبية المغذية. إنها دالة حقيقية قابلة للتفاضل ، ومحددة لقيم المدخلات الحقيقية ، وتحتوي على مشتقات موجبة في كل مكان بدرجة معينة من النعومة. تظهر الوظيفة السينية في طبقة الإخراج لنماذج التعلم العميق وتستخدم للتنبؤ بالمخرجات القائمة على الاحتمالات. يتم تمثيل الوظيفة السينية على النحو التالي:

مصدر

بشكل عام ، يتم تطبيق مشتقات الدالة السينية على خوارزميات التعلم. الرسم البياني للدالة السينية على شكل 'S'.

تتضمن بعض العيوب الرئيسية لوظيفة السيني تشبع التدرج ، والتقارب البطيء ، والتدرجات الرطبة الحادة أثناء الانتشار العكسي من داخل الطبقات المخفية العميقة إلى طبقات الإدخال ، والإخراج المركزي غير الصفري الذي يتسبب في انتشار تحديثات التدرج في اتجاهات مختلفة.

2. وظيفة الظل الزائدية (تان)

وظيفة الظل الزائدية ، والمعروفة أيضًا باسم وظيفة tanh ، هي نوع آخر من AF. إنها دالة أكثر سلاسة مركزية على الصفر ولها نطاق بين -1 إلى 1. ونتيجة لذلك ، يتم تمثيل ناتج الدالة tanh من خلال:

مصدر

تُستخدم وظيفة tanh على نطاق واسع أكثر من وظيفة السيني لأنها توفر أداء تدريب أفضل للشبكات العصبية متعددة الطبقات. أكبر ميزة لوظيفة tanh هي أنها تنتج مخرجات مركزية صفرية ، وبالتالي تدعم عملية الانتشار العكسي. تم استخدام وظيفة tanh في الغالب في الشبكات العصبية المتكررة لمعالجة اللغة الطبيعية ومهام التعرف على الكلام.

ومع ذلك ، فإن وظيفة tanh أيضًا لها قيود - تمامًا مثل الدالة السينية ، لا يمكنها حل مشكلة التدرج اللوني التلاشي. أيضًا ، لا يمكن للدالة tanh الوصول إلى التدرج اللوني 1 إلا عندما تكون قيمة الإدخال 0 (x تساوي صفر). نتيجة لذلك ، يمكن أن تنتج الوظيفة بعض الخلايا العصبية الميتة أثناء عملية الحساب.

3. وظيفة Softmax

وظيفة softmax هي نوع آخر من AF تستخدم في الشبكات العصبية لحساب توزيع الاحتمالات من متجه للأرقام الحقيقية. تنشئ هذه الوظيفة مخرجات تتراوح بين القيمتين 0 و 1 ومجموع الاحتمالات يساوي 1. يتم تمثيل وظيفة softmax على النحو التالي:

مصدر

تُستخدم هذه الوظيفة بشكل أساسي في النماذج متعددة الفئات حيث تُرجع احتمالات كل فئة ، مع وجود أعلى احتمالية للفئة المستهدفة. يظهر في جميع طبقات الإخراج تقريبًا لمعمارية DL حيث يتم استخدامها. يتمثل الاختلاف الأساسي بين السيني و softmax AF في أنه بينما يتم استخدام الأول في التصنيف الثنائي ، يتم استخدام الأخير للتصنيف متعدد المتغيرات.

4. وظيفة Softsign

وظيفة softsign هي وظيفة AF أخرى تُستخدم في حوسبة الشبكة العصبية. على الرغم من أنها في المقام الأول في مشاكل حساب الانحدار ، إلا أنها تستخدم في الوقت الحاضر أيضًا في تطبيقات تحويل النص إلى كلام المستندة إلى DL. إنها متعددة الحدود من الدرجة الثانية ، ويمثلها:

مصدر

هنا "x" تساوي القيمة المطلقة للمدخل.

يتمثل الاختلاف الرئيسي بين دالة softsign و tanh في أنه على عكس دالة tanh التي تتقارب أسيًا ، فإن وظيفة softsign تتقارب في شكل متعدد الحدود.

5. وظيفة الوحدة الخطية المصححة (ReLU)

تعد وظيفة الوحدة الخطية المصححة (ReLU) واحدة من أكثر أنظمة التركيز البؤري التلقائي شيوعًا في نماذج DL ، وهي وظيفة ضبط بؤري تلقائي سريع التعلم يعد بتقديم أداء متطور مع نتائج ممتازة. بالمقارنة مع AFs الأخرى مثل وظائف sigmoid و tanh ، توفر وظيفة ReLU أداءً وتعميمًا أفضل بكثير في التعلم العميق. الوظيفة عبارة عن دالة خطية تقريبًا تحتفظ بخصائص النماذج الخطية ، مما يجعلها سهلة التحسين باستخدام طرق النسب المتدرجة.

تنفذ وظيفة ReLU عملية حد على كل عنصر إدخال حيث يتم تعيين جميع القيم الأقل من الصفر على الصفر. وبالتالي ، يتم تمثيل ReLU على النحو التالي:

مصدر

من خلال تصحيح قيم المدخلات الأقل من الصفر وتعيينها إلى الصفر ، تقضي هذه الوظيفة على مشكلة التدرج اللوني التلاشي التي لوحظت في الأنواع السابقة من وظائف التنشيط (السيني والتانه).

تتمثل الميزة الأكثر أهمية لاستخدام وظيفة ReLU في الحساب في أنها تضمن حسابًا أسرع - فهي لا تحسب الأسي والأقسام ، وبالتالي تعزز سرعة الحساب الإجمالية. جانب آخر مهم لوظيفة ReLU هو أنها تقدم تناثرًا في الوحدات المخفية عن طريق سحق القيم بين الصفر إلى الحد الأقصى.

6. وظيفة الوحدات الخطية الأسية (ELUs)

وظيفة الوحدات الخطية الأسية (ELUs) هي AF تُستخدم أيضًا لتسريع تدريب الشبكات العصبية (تمامًا مثل وظيفة ReLU). أكبر ميزة لوظيفة ELU هي أنها يمكن أن تقضي على مشكلة التدرج المتلاشي باستخدام الهوية للقيم الإيجابية وعن طريق تحسين خصائص التعلم للنموذج.

تحتوي وحدات ELU على قيم سلبية تدفع متوسط ​​تنشيط الوحدة أقرب إلى الصفر ، وبالتالي تقليل التعقيد الحسابي وتحسين سرعة التعلم. يعد ELU بديلاً ممتازًا لـ ReLU - فهو يقلل تحولات التحيز عن طريق دفع التنشيط المتوسط ​​نحو الصفر أثناء عملية التدريب.

يتم تمثيل وظيفة الوحدة الخطية الأسية على النحو التالي:

يتم تقديم مشتق أو تدرج معادلة ELU على النحو التالي:

مصدر

هنا تساوي "α" المعلمة الفوقية ELU التي تتحكم في نقطة التشبع لمدخلات الشبكة السلبية ، والتي يتم تعيينها عادةً على 1.0. ومع ذلك ، فإن وظيفة ELU لها قيود - فهي ليست صفرية التوسيط.

خاتمة

اليوم ، اكتسبت AFs مثل ReLU و ELU أقصى قدر من الاهتمام لأنها تساعد في القضاء على مشكلة التدرج المتلاشي التي تسبب مشاكل كبيرة في تدريب عملية التدريب وتقليل دقة وأداء نماذج الشبكة العصبية.

تحقق من برنامج الشهادة المتقدم في التعلم الآلي والسحابة مع IIT Madras ، أفضل مدرسة هندسية في الدولة لإنشاء برنامج لا يعلمك فقط التعلم الآلي ولكن أيضًا النشر الفعال له باستخدام البنية التحتية السحابية. هدفنا من هذا البرنامج هو فتح أبواب المعهد الأكثر انتقائية في الدولة ومنح المتعلمين إمكانية الوصول إلى أعضاء هيئة التدريس والموارد المذهلة من أجل إتقان مهارة عالية ومتنامية