يقولون البيانات هي النفط الجديد - هل هذا صحيح حقًا؟

نشرت: 2018-01-05

high in demand يجب أن تتساءل - هناك طلب كبير perks get there ما مزايا الوصول إليها دعونا نفهم كل شيء:

جدول المحتويات

ما هي البيانات الضخمة بالضبط؟
دعنا نلقي نظرة على بعض قصص النجاح
ماذا عن الشركات الصغيرة؟ هل الاستثمار في البيانات الضخمة يستحق كل هذا العناء بالنسبة لهم؟
لماذا المتخصصون في البيانات مميزون جدًا؟
ما الذي يجعل البيانات الضخمة النفط الجديد
كيف يمكنك التحول إلى محترف بيانات؟
لماذا تعتبر البيانات قيّمة ومهمة؟
كيف تختلف أدوار البيانات الرئيسية الثلاثة - مهندس البيانات ومحلل البيانات وعالم البيانات عن بعضها البعض؟

ما هي البيانات الضخمة بالضبط؟

في يوم عادي ، نقوم بإنشاء حوالي 10 جيجا بايت من البيانات بشكل فردي عن طريق مكالماتنا واستخدامنا لوسائل التواصل الاجتماعي والصور وتتبع الموقع وفواتير التسوق وغير ذلك الكثير. بتجميع كل ذلك لكل فرد لديه إمكانية الوصول إلى التكنولوجيا ، فإننا ننظر إلى مليار جيجابايت من البيانات التي تم إنشاؤها في جميع أنحاء العالم. إذا كان هذا يبدو كبيرًا بما يكفي بالنسبة لك ، فيمكننا ببساطة تسميته "البيانات الضخمة".

حسنًا ، هناك الكثير من البيانات. وماذا في ذلك؟
أدرك الباحثون وعمالقة التكنولوجيا أهمية هذه البيانات وبدأوا في البحث عن الأشخاص الذين يمكنهم التعامل مع هذه البيانات واستكشافها والاستفادة منها . أنجبت ثلاثة ألقاب جديدة ومجنونة حسب الطلب مهندس بيانات ومحلل بيانات وعالم بيانات على التوالي.

	عالم البيانات	مهندس بيانات	محلل بيانات
دور	تنظيف وتنظيم وإنشاء الرؤى من البيانات (الكبيرة)	إدارة وحماية ومركزية ودمج أنظمة البيانات ومصدرها	جمع ومعالجة وإجراء التحليل الإحصائي على البيانات
عقلية	إنشاء الذكاء الاصطناعي باستخدام البيانات الضخمة	تصميم معمارية البيانات بسهولة	استخلاص الرؤى من البيانات
مهارات	تعلم الآلة والحوسبة الموزعة وتصور البيانات	تخزين البيانات ، وبنى قواعد البيانات ، ووظائف الاستخراج والتحويل والتحميل (ETL) وإدارة النظام	الاتصال والتصور وأدوات جداول البيانات والذكاء المستند إلى الأعمال
الأدوات واللغات	Python، R، SQL، Spark، Map-Reduce	Hadoop ، Spark ، Hive ، PIG ، SQL	SAS، VBA، R، Excel، Tableau
متوسط الدخل	125000 دولار	110000 دولار	90000 دولار

رائع ، نحن نفهم ما يفعلونه. لكن لماذا الضجيج؟
من هو عالم البيانات ومحلل البيانات ومهندس البيانات؟

دعنا نلقي نظرة على بعض قصص النجاح

Xerox: بعد الانتقال إلى حل البيانات الضخمة ، غيرت الشركة نهجها مما أدى إلى قيام Xerox بإعادة تنظيم نموذج التوظيف وخفض معدلات تناقص موظفي الدعم بنسبة 20٪ ، مما يوفر للشركة ملايين الدولارات على المدى الطويل.
IBM: من خلال الحصول على `` The Weather Company '' وتسخير البيانات الضخمة التي تم جمعها من أكثر من 100000 من أجهزة استشعار مراقبة الطقس والطائرات المتخصصة والتطبيقات في الأدوات والأجهزة المختلفة الأخرى ، يستفيد IBM Watson من أكثر من 2.2 مليار نقطة تجميع بيانات فريدة تتيح مراقبة الطقس بشكل مستمر. $500,000,000 الخسائر والأضرار الناجمة عن الطقس تقدر بنحو 500.000.000 دولار Paypal: طور نظامًا آليًا للكشف عن الاحتيال يحلل مليارات السجلات ويحقق معدل خسارة رائدًا في الصناعة بنسبة 0.5٪.
تسلا: تحليل البيانات الهائلة الناتجة عن أجهزة الكمبيوتر الموجودة على متن كل سيارة ، يمكن للمهندسين التنبؤ بفشل الأجزاء ومشكلات السلامة المحتملة والتحكم الآلي وعمليات الإغلاق في حالات الطوارئ.
قد تعتقد أن هؤلاء عمالقة يمكنهم تحمل مليارات الدولارات!

ماذا عن الشركات الصغيرة؟ هل الاستثمار في البيانات الضخمة يستحق كل هذا العناء بالنسبة لهم؟

هناك عدد غير قليل من الحلول الجاهزة المتاحة في السوق ، بالإضافة إلى خدمات من موفري الخدمات السحابية مثل AWS أو Google Cloud أو Azure. كل هذا يجعل أدوات تحليل البيانات الضخمة ميسورة التكلفة. تستفيد الشركات الناشئة متوسطة الحجم المنتظمة من هذه الخدمات ، وبعض الشركات الهندية الشهيرة التي تستخدم الخدمات السحابية هي Freshdesk و Sigtuple و Paralleldots وما إلى ذلك.
حولت الشركات الناشئة عمالقة التكنولوجيا مثل Google ، و Facebook ، و Apple ، و Microsoft ، وما إلى ذلك ، وأنشأت مختبرات الذكاء الاصطناعي الخاصة بهم فقط لتطوير الأبحاث حول التعامل مع البيانات الضخمة وخلق عجائب منها.
تطبيقات البيانات الضخمة التي تحيط بك

لماذا المتخصصون في البيانات مميزون جدًا؟

دعونا نتعمق أكثر في عقلية متخصص البيانات ، فإن المهارة الأكثر تحديًا وفريدة من نوعها التي تفصل بين متخصص البيانات العظيم عن أدوار DSA (علوم وتحليلات البيانات) الأخرى هي القدرة على استخدام البيانات الضخمة. مع هذه الكميات الهائلة من البيانات التي تتدفق في كل ثانية ، يصبح من الصعب معالجة واستخراج معلومات مفيدة بسرعة.
يحل متخصصو البيانات مشكلة البيانات الضخمة هذه عن طريق استخدام مجموعة من الخوارزميات المتقدمة والتكنولوجيا المعروفة باسم التعلم الآلي أو التعلم العميق الذي يشق طريقه بشكل متزايد في حياتنا اليومية.

يعد كل من مساعد Google و Siri و Alexa و Cortana و Prisma وفلاتر Snapchat وموقع Facebook وعلامات الوجوه وما إلى ذلك أمثلة على التعلم الآلي. في صميم كل هذه التقنيات تكمن بذرة البيانات الضخمة التي توفر الوقود والحياة للتعلم العميق أو الذكاء الاصطناعي.

ما الذي يجعل البيانات الضخمة النفط الجديد
البيانات الضخمة في ضخامتها هي محيط شاسع من الفرص غير المستغلة. يستثمر عمالقة التكنولوجيا مليارات الدولارات للتنقيب واستخراج المعلومات الحيوية المخبأة في أعماق هذه البيانات الضخمة. في مقارنة مباشرة مع مورد حيوي مشابه جدًا في الاقتصاد الحديث: النفط الخام ، فإن البيانات الضخمة هي بالفعل النفط / الوقود الجديد للمستقبل.
" الذكاء الاصطناعي هو الكهرباء الجديدة" ،يقول أندرو نغ (عالم في الذكاء الاصطناعي) يشرح القوة التي يجلبها الذكاء الاصطناعي في توفير حلول العصر الحديث. ويؤكد كذلك على أهمية البيانات الضخمة وربما يزيد من قيمتها بالتوازي مع النفط مما يجعله "النفط الجديد" للقرن الحادي والعشرين.
لحظة الحقيقة:

"يرى متخصصو البيانات البيانات الضخمة على أنها نفط (لقيمتها) ويطورون الخبرة لاستخراجها ومعالجتها وتحويلها إلى رؤى / حلول لا تلبي احتياجات الشركات فحسب ، بل الجميع!"
في الآونة الأخيرة ، قامت شركة Google Deepmind بمعالجة ملايين البيتابايتات ووجدت كوكبين خارجيين جديدين مخفيين في أعين الباحثين بين النجوم . طورت العديد من الشركات الناشئة حلول صور أفضل في اكتشاف السرطان من أفضل أخصائيي الأشعة في العالم. تزداد شعبية المركبات ذاتية القيادة وأطلقت Google سماعات أذن تسمح بالترجمة الحية لأي لغة إلى ما يمكنك فهمه. كل هذه الاختراقات كانت ممكنة فقط بسبب البيانات الضخمة .
أدوار البيانات الضخمة والرواتب في صناعة التمويل
الآن ، دعنا نجيب على السؤال الذهبي:

كيف يمكنك التحول إلى محترف بيانات؟
لكي تصبح محترفًا أفضل في مجال البيانات ، سواء كان محللًا أو عالم بيانات أو مهندس بيانات ، يحتاج المرء إلى فهم قوة وإمكانات البيانات الضخمة . من المفيد لمحترفي البيانات الطموحين أن يتسخ أيديهم باستخدام تقنيات البيانات الضخمة. على الرغم من أن الفهم العميق لخوارزميات التعلم الآلي أمر لا بد منه!
لا تتردد في مراجعة الدورات التالية التي تهدف على وجه التحديد إلى تطوير المعرفة في مجال البيانات:
برنامج PG في هندسة البيانات الضخمة مع BITS Pilani
دبلوم PG في علوم البيانات مع IIIT- بنغالور
دبلوم PG في التعلم الآلي والذكاء الاصطناعي
فهمتك! ما هي خياراتي؟
تعرف على تقنيات البيانات الضخمة وتعرف على أدوات مثل Spark و Hive و Hadoop و YARN و HBase و Map-Reduce. يمكنك أن تقرر ما إذا كنت تريد المتابعة كعالم بيانات أو محلل بيانات أو مهندس بيانات. ستجد فرصًا لا حصر لها ووظائف ذات رواتب عالية في جميع أنحاء العالم تحت إشراف عمالقة التكنولوجيا والشركات متعددة الجنسيات الأخرى التي تستغل قوة البيانات الضخمة.

البيانات تسمى الزيت الجديد. إنها تغير معنى التحليلات وتقدم ثورة الذكاء الاصطناعي كل يوم. تعمل البيانات على تغذية المستقبل بينما نتحدث ، ويعد ركوب سفينة شراعية طويلة فكرة جيدة.
لماذا تعتبر البيانات قيّمة ومهمة؟
يمكن استخدام البيانات لتسريع عمليات الشركة ، وإزالة الأخطاء في عملية الإنتاج واتخاذ القرار ، واكتشاف المخاطر وتقليلها قبل حدوثها ، وما إلى ذلك. نتيجة لذلك ، قد تستفيد أي صناعة من تحويل البيانات إلى قيمة. الشركات التي تضع البيانات في مركز عملياتها وتسمح لها بتوجيه كل إجراء ، وتمكين المستخدمين وتسريع عملية اتخاذ القرار عبر المؤسسة ، ستكون هي الفائز في المستقبل. سيصبحون أكثر قابلية للتكيف وتعطيلًا وابتكارًا. سوف يتبعهم الآخرون فقط عندما يميزون طريقهم ويضعون مسارهم الخاص.

كيف تختلف أدوار البيانات الرئيسية الثلاثة - مهندس البيانات ومحلل البيانات وعالم البيانات عن بعضها البعض؟
هناك مجموعة متنوعة من الأدوار المسؤولة عن جمع البيانات وتنظيمها وتحليلها حتى تصبح الشركة جادة في التعامل مع البيانات. بالنظر إلى النطاق الواسع لهذه العملية ، والتي تشمل كل شيء من البيانات الأولية إلى الرؤى القابلة للتنفيذ ، قد يكون هناك بعض المفاهيم الخاطئة حول ما هي مسؤولية كل وظيفة بيانات.

مهندسو البيانات ومحللو البيانات وعلماء البيانات هم الأدوار الرئيسية الثلاثة للبيانات التي توظفها الشركات لفرق البيانات الخاصة بهم. فيما يلي الاختلافات الرئيسية:

1. مهندس البيانات - تتمثل مهمة مهندس البيانات في معرفة كيفية جمع البيانات وتنظيمها والحفاظ عليها ، وبالتالي فهي جزء مهم من أي فريق بيانات. المهارات المطلوبة لتصبح مهندس بيانات هي SQL و Python و AWS و Kafka و Hadoop والتواصل بين الأشخاص وإدارة الوقت وما إلى ذلك.
2. محلل البيانات - سيكون لدى محلل البيانات الجيد الفضول والقدرة على النظر في البيانات من عدة وجهات نظر ، وتنقية البيانات وتحويلها للبحث عن الاتجاهات. قد يكتشفون طرقًا جديدة للمؤسسة لمتابعة ، مثل المواقع التي يمكن فيها جمع بيانات إضافية لمزيد من البحث المتعمق. متطلبات محلل البيانات هي SQL ، البرمجة الإحصائية ، Microsoft Excel ، التفكير النقدي ، تصور البيانات ، عرض البيانات ، إلخ.
3. علماء البيانات - علماء البيانات يصممون الخوارزميات ونماذج التنبؤ لاستخراج البيانات التي يحتاجها العمل ، ويساعدون في تحليل البيانات ومشاركة النتائج مع أقرانهم. المهارات الأساسية في علم البيانات هي التحليل الإحصائي والتعلم الآلي وعلوم الكمبيوتر والبرمجة والتواصل والمهارات الشخصية.