من عالم البيانات جونيور / التعلم الآلي إلى عالم البيانات / خبير مهندس التعلم الآلي
نشرت: 2020-12-07من عالم البيانات جونيور / التعلم الآلي إلى عالم البيانات الكامل / مهندس التعلم الآلي
تغيرت النظرة الحالية في مجال علوم البيانات بشكل ملحوظ مقارنة بثلاثة أو حتى عامين. يجب ألا ينتهي منحنى التعلم أبدًا. لكي تزدهر ، يجب على المرء تطوير مجموعة المهارات المناسبة لتلبية توقعات الصناعة الحالية.
"القدرة على التكيف تتعلق بالفرق القوي بين التكيف للتكيف والتكيف لتحقيق الفوز." - ماكس ماكيون.
دعونا نلقي نظرة على العناصر الرئيسية التي يمكن أن تساعدنا في الانتقال من عالم البيانات جونيور / التعلم الآلي إلى عالم البيانات المكدس الكامل / التعلم الآلي.
جدول المحتويات
توقع الماضي
من الضروري فهم المسؤولية السابقة للتكيف مع التوقعات الحالية للصناعة. باختصار ، كان الدور اليومي لعالم البيانات في الماضي يتضمن بشكل عام:
- كانت مساحة الذكاء الاصطناعي لا تزال جديدة نسبيًا (على الرغم من عدم وجودها في الأكاديميين) والعديد من الشركات والشركات الناشئة كانت تحلل تطبيقاتها وحالة الاستخدام الصالحة.
- كان البحث هو التركيز الأساسي. كان التحذير هنا هو أن هذا البحث عدة مرات لم يتماشى بشكل مباشر مع جوهر المنظمة. لذلك في البداية لم يكن هناك الكثير من المصداقية المتوقعة.
- بشكل عام ، اعتادت الشركات على مزج أدوار عالم البيانات مع محلل البيانات أو مهندس البيانات. مرة أخرى ، بسبب غموض تطبيق مؤسسة AI.
- كان لدى الأفراد أيضًا نوع من المعضلة المماثلة. لم يكن الكثير من أبحاثهم أو عملهم متوافقًا بشكل مباشر ، ولم يكن من الممكن عمليًا تقديمه كمنتج.
التوقعات الحالية
شهدت عملية دمقرطة الذكاء الاصطناعي تطورات ملحوظة من الشركات والشركات الناشئة. دعونا نحاول فهم ذلك ،
- تميز الصناعة الآن دور عالم البيانات ، ومهندس التعلم الآلي ، ومحلل البيانات ، ومهندس البيانات ، وحتى مهندس MLops.
- لم تعد الشركات تسمح بالبحث في البرية ، لأنها تعرف حالة الاستخدام التي يتم الاستفادة منها بالضبط. كما يلزم وجود عقلية واضحة ونهج منفصل مماثل من الفرد.
- يجب أن يحتوي كل بحث أو نقطة حماية على منتج ملموس وقابل للخدمة.
اقرأ أيضًا: مهنة في تعلم الآلة
تشريح شامل لجميع الأدوار
إذا كان علينا اختيار مجال واحد حيث تفوقت الشركات في مجال الذكاء الاصطناعي ، فإنه بلا شك التوقع الواضح من جميع أنواع الأدوار ، والتي هي باختصار:
- عالم البيانات: عالم البيانات هو شخص (بشكل عام من الإحصائيات / الخلفية الرياضية) يستخدم مجموعة متنوعة من الوسائل بما في ذلك الذكاء الاصطناعي لاستخراج معلومات قيمة من البيانات.
- الاختلاف الأساسي بين محلل البيانات وعالم البيانات هو - يعتمد الأول عمومًا على معرفة المجال وطرق المدرسة القديمة اليدوية لفهم البيانات على نطاق صغير إلى متوسط ، في حين أن الأخير مسؤول عن جمع البيانات وتحليلها وتفسيرها على نطاق أوسع باستخدام وسائل أوسع من الأدوات مثل الذكاء الاصطناعي ، و SQL ، والطرق اليدوية القديمة ، وما إلى ذلك ،
- معرفة المجال ليست ضرورية ولكن وجودها مفيد.
- تتمثل المهمة الأساسية في الحفاظ على الأفكار المساهمة في الأعمال واستخراجها من البيانات وليس تطوير البرنامج أو المنتج.
- يمكن أن يصبح الإحصائي أو الرياضي عالمًا جيدًا للبيانات.
2. مهندس تعلم الآلة: مهندس برمجيات متخصص يطور منتجًا أو خدمة بناءً على الذكاء الاصطناعي.
- يحتاج مهندس ML إلى امتلاك كل خبرة هندسة البرمجيات التقليدية جنبًا إلى جنب مع المعرفة بالذكاء الاصطناعي لأنه سيقوم في النهاية ببناء برنامج مع الذكاء الاصطناعي في صميمه.
- المهمة الأساسية ليست استخراج البيانات ولكن تطوير أداة ذكاء اصطناعي يمكنها أداء نفس الوظيفة.
- يمكن للمطور الذي يتمتع بمعرفة جيدة بالتعلم الآلي / التعلم العميق وكذلك هندسة البرمجيات أن يصبح مهندسًا جيدًا لتعلم الآلة.
3. مهندس عمليات التعلم الآلي: مهندس برمجيات متخصص يقوم بصيانة وتشغيل خط الأنابيب الذي يستخدمه نظام ML.
- مجال جديد نسبيًا مستوحى من DevOps. على الرغم من اختلافها عن أدوار DevOps التقليدية.
- على عكس هندسة البرمجيات التقليدية ، فإن تطوير أي منتج / برنامج / خدمة على أساس الذكاء الاصطناعي لا يتوقف عند الانتهاء من بناء البرنامج. يجب تحديثه بانتظام ببيانات جديدة ، وهي "Data-Drift".
- تشمل الوظيفة الأساسية جميع أعمال DevOps التقليدية بالإضافة إلى صيانة / أتمتة خط الأنابيب و Data-Drift
- يمكن للمطور الذي يتمتع بمعرفة جيدة بالتعلم الآلي / التعلم العميق وهندسة البرمجيات والتقنيات السحابية أن يصبح مهندس MlOps جيدًا.
بالنسبة لطالب جديد أو شخص يهدف إلى التقدم في حياته المهنية ، يجب فهم كل هذه الأدوار والتوقعات جيدًا. بالنظر إلى أن الشركات تميز هذا الدور بوضوح ، فمن المتوقع أن يكون هذا هو الحال أيضًا بالنسبة للأفراد. العقلية الغامضة عديمة الفائدة على الإطلاق.
مكدس نظام التعلم الآلي الكامل
دعونا ننتقل الآن إلى النقطة الأساسية. لكي تصبح مهندس تعلم آلي متكامل ، من الضروري فهم المفهوم الكامن وراء المكدس.
ما هو المكدس الكامل؟
- على غرار هندسة البرمجيات التقليدية ، فإن تطوير نظام قائم على الذكاء الاصطناعي يحتاج أيضًا إلى مجموعة من الأدوات. يمكن الإشارة إلى هذا الجناح الكامل باسم Full Stack.
- عادةً ما يتم إنشاء المكدس الكامل باستخدام ثلاث كتل بناء ، تقنية السحابة ، تقنية الحوكمة وتقنية الذكاء الاصطناعي.
- هناك مكونات متعددة لبناء نظام ذكاء اصطناعي عبر اللبنات الأساسية الثلاثة. تتضمن القائمة التكوين ، وتحويل جمع البيانات والتحقق منها ، ورمز ML (التدريب والتحقق من الصحة) ، وأدوات إدارة الموارد (العملية والآلة) ، والبنية التحتية للخدمة ، والمراقبة (يمكن ربطها باستخدام Data Drift). هذه القائمة ليست شاملة ، لكنها بالتأكيد عامة ويمكن تعديلها حسب الحاجة.
- لذلك ، للالتزام بنظام ML الجيد الأداء ، يتعين علينا استخدام مجموعة الأدوات لتغطية جميع المكونات المذكورة أعلاه ، وأحيانًا أكثر من عنصر لجزء واحد.
ما هي أهمية القدرة على تصميم نظام مكدس كامل؟
رصيد الموافقة المسبقة عن علم: الديون التقنية المخفية في ورقة أنظمة التعلم الآلي
- كما ذكرت أعلاه ، لا تسمح أعمال اليوم بالبحث / POC دون الاستدامة الملموسة للمنتج.
- لن أبالغ إذا قلت أن التدريب النموذجي ليس هو الجزء الأكثر أهمية ، في الواقع ، سأصنفه في المرتبة الثالثة أو حتى الرابعة. يصبح الشخص الذي يمكنه تصميم المكدس وصيانته أمرًا حيويًا للشركة ، لأنه ،
- إذا كان نفس الشخص الذي سيقوم بتدريب نموذج ما يحتفظ أيضًا بخط أنابيب بيانات (أو يساهم) ، فيمكنه / لها تصميمه لتلبية الاحتياجات الدقيقة.
- سيساعد فهم البنية التحتية للنشر على بناء مركز أداء أكثر.
- سيساعد فهم خدمة الأشعة تحت الحمراء في جزء السرعة والكمون (وهو عمومًا أعلى صرخة لأي نظام ML).
- سيساعد فهم المراقبة في انحراف البيانات وفي أداء النموذج على المدى الطويل.
- لذلك ، يمكن للفرد الذي يعرف كل هذا أن يجعل خط الأنابيب بأكمله أكثر كفاءة ويزيد من الأداء. ولكن قبل كل شيء ، فإنه يوفر التكلفة على الشركة حيث يمكن الآن لشخص واحد التعامل مع أدوار متعددة ، وبالتالي زيادة قيمة الفرد للشركة.
للتلخيص ، من الضروري ألا يقتصر الأمر على مجرد هوس دقة النموذج ، ولكن أيضًا مهووس بجميع مقاييس الأداء الرئيسية - السرعة ، والكمون ، والدقة ، واحتياجات البنية التحتية ، وطلبات الخدمة ، وما إلى ذلك.
اقرأ أيضًا: أفكار مشروع التعلم الآلي
نظرة عامة حول كيفية عمل نظام المكدس الكامل
نظرة عامة على دورة حياة نظام ML المثالي
رصيد الموافقة المسبقة عن علم: Microsoft MLOps
يجب أن يتبع خط أنابيب ML المثالي المفاهيم التالية:
- الحكم:
- إصدار كود المشروع
- إصدار البيانات
- إصدار النموذج
- توثيق
- متجر القطع الأثرية العالمي لتخزين الأصول ذات الإصدار
- مخطط خط الأنابيب العام:
- الاكتشاف المشترك + سياسة التجريب
- تتبع التجربة (مثل بعض المقاييس والنتائج والأداء)
- استراتيجية مشتركة لربط مكونات خط الأنابيب
- نشر النتائج
- آلية لإعادة إنتاج وإعادة إنشاء الميناء بسهولة
- دعم CI / CD
- البنية التحتية الكافية لدعم التنمية وكذلك الإنتاج
- سهولة التكيف مع الإنتاج ونقاط النهاية
- خدمات قابلة للتطوير للبنية التحتية لتلبية الطلبات المتزايدة باستمرار
نظرة عامة على خط الأنابيب
- تكوين إعداد لمرة واحدة مع المكدس
- إصدار مجموعة البيانات مع DVC.
- تجربة تتبع سترات مع MLflow / Wandb.
- نتائج السجل ، والمقاييس ، وما إلى ذلك ، باستخدام MLflow / Wandb في متجر Universal Artifact (تخزين البيانات الثنائية الكبيرة في Azure كخلفية).
- نموذج السجل (أو أي أصول ذات صلة) كأصول تم إصدارها باستخدام MLflow / Wandb في متجر Universal Artifact.
- قم بتعبئة المكونات الفردية باستخدام Docker.
- قم بتخزين مكونات الحزمة مع مستودع Docker المطلوب
- يجب أن يتم التغليف والنشر باستخدام CI / CD.
- جدولة تدريب النموذج الآلي بناءً على المراقبة المستمرة لانحراف البيانات.
احصل على شهادة علوم البيانات من أفضل الجامعات في العالم. تعلم برامج PG التنفيذية أو برامج الشهادات المتقدمة أو برامج الماجستير لتتبع حياتك المهنية بشكل سريع.
خاتمة
للبقاء على صلة ، وحيوية ، وعضو فريق رئيسي ، من الضروري زيادة خيمة المعرفة لدينا. مما لا شك فيه أنه سيساعد المرء على التقدم في أي بيئة تنافسية.
إذا كنت مهتمًا بمعرفة المزيد حول التعلم الآلي ، فراجع دبلوم PG في IIIT-B & upGrad في التعلم الآلي والذكاء الاصطناعي المصمم للمهنيين العاملين ويقدم أكثر من 450 ساعة من التدريب الصارم ، وأكثر من 30 دراسة حالة ومهمة ، IIIT- حالة الخريجين B ، أكثر من 5 مشاريع تتويجا عملية ومساعدة وظيفية مع أفضل الشركات.
