พวกเขากล่าวว่าข้อมูลคือน้ำมันใหม่ – จริงหรือไม่?

เผยแพร่แล้ว: 2018-01-05

high in demand คุณต้องสงสัย – ผู้เชี่ยวชาญด้านข้อมูลมี ความต้องการสูง perks get there อะไรคือ ข้อดี จะไปถึงจุดนั้นได้ มาทำความเข้าใจกันทั้งหมด:

สารบัญ

บิ๊กดาต้าคืออะไรกันแน่?

ในวันปกติ เราสร้างข้อมูลประมาณ 10GB ทีละรายการจากการโทร การใช้โซเชียลมีเดีย รูปภาพ การติดตามตำแหน่ง บิลซื้อของ และอื่นๆ อีกมากมาย เรากำลังพิจารณาข้อมูลจำนวนพันล้าน GB ที่สร้างขึ้นทั่วโลกจากการรวบรวมทั้งหมดสำหรับทุกคนที่เข้าถึงเทคโนโลยี หากฟังดูใหญ่พอสำหรับคุณ เราสามารถเรียกมันว่า “บิ๊กดาต้า” ได้ง่ายๆ

โอเค มีข้อมูลมากมาย แล้วไง?
นักวิจัยและยักษ์ใหญ่ด้านเทคโนโลยีเข้าใจถึงความสำคัญของข้อมูลนี้ และเริ่มไล่ล่าผู้ที่สามารถ จัดการ สำรวจ และ ใช้ ข้อมูล นี้ มันให้กำเนิดชื่อใหม่สามชื่อที่เป็นที่ต้องการและคลั่งไคล้ Data Engineer , Data Analyst และ Data Scientist ตามลำดับ

นักวิทยาศาสตร์ข้อมูล

ข้อมูลคือน้ำมันใหม่

วิศวกรข้อมูล

ข้อมูลคือน้ำมันใหม่

นักวิเคราะห์ข้อมูล

บทบาท ทำความสะอาด จัดระเบียบ และสร้างข้อมูลเชิงลึกจากข้อมูล (ขนาดใหญ่) จัดการ ปกป้อง รวมศูนย์และรวมระบบข้อมูลและแหล่งที่มา รวบรวม ประมวลผล และดำเนินการวิเคราะห์ทางสถิติเกี่ยวกับข้อมูล
ความคิด สร้าง AI โดยใช้ข้อมูลขนาดใหญ่ ออกแบบสถาปัตยกรรมข้อมูลได้อย่างง่ายดาย ได้ข้อมูลเชิงลึกจาก data
ทักษะ การเรียนรู้ของเครื่อง คอมพิวเตอร์แบบกระจาย และการแสดงข้อมูล คลังข้อมูล สถาปัตยกรรมฐานข้อมูล งาน Extract-Transform-Load (ETL) และการจัดการระบบ การสื่อสารและการแสดงภาพ เครื่องมือสเปรดชีตและระบบอัจฉริยะที่ขับเคลื่อนด้วยธุรกิจ
เครื่องมือและภาษา Python, R, SQL, Spark, Map-Reduce Hadoop, Spark, Hive, PIG, SQL SAS, VBA, R, Excel, ตาราง
เงินเดือนเฉลี่ย $125000 $110000 90000 เหรียญสหรัฐ

เจ๋ง เราเข้าใจสิ่งที่พวกเขาทำ แต่ทำไมโฆษณา?
ใครคือ Data Scientist, Data Analyst และ Data Engineer?

มาดูเรื่องราวความสำเร็จกันบ้าง

Xerox: หลังจากเลือกใช้โซลูชัน Big Data บริษัทได้เปลี่ยนแนวทางซึ่งส่งผลให้ Xerox จัดโครงสร้างกระบวนทัศน์การจ้างงานใหม่ และลดอัตราการออกจากงานของเจ้าหน้าที่ฝ่ายสนับสนุนลง 20% ซึ่งช่วยประหยัดเงินของบริษัทได้หลายล้านดอลลาร์ในระยะยาว
IBM: การเข้าซื้อกิจการ 'The Weather Company' และใช้ประโยชน์จาก Big Data ที่รวบรวมจากเซ็นเซอร์ตรวจสอบสภาพอากาศมากกว่า 100,000 ตัว เครื่องบินเฉพาะทาง แอปในอุปกรณ์ และอุปกรณ์อื่นๆ IBM Watson ได้รับประโยชน์จากจุดรวบรวมข้อมูลที่ไม่ซ้ำกันมากกว่า 2.2 พันล้านจุด ทำให้สามารถตรวจสอบสภาพอากาศได้อย่างต่อเนื่อง $500,000,000 ความสูญเสียและความเสียหายที่เกิดจากสภาพอากาศเกือบ 500,000,000 ดอลลาร์ Paypal: พัฒนาระบบตรวจจับการฉ้อโกงอัตโนมัติที่วิเคราะห์ข้อมูลนับพันล้านรายการซึ่งมีอัตราการสูญเสียระดับชั้นนำของอุตสาหกรรม 0.5%
เทสลา: การวิเคราะห์ข้อมูลมหาศาลที่สร้างโดยคอมพิวเตอร์ในรถแต่ละคัน วิศวกรสามารถคาดการณ์ความล้มเหลวของชิ้นส่วน ปัญหาด้านความปลอดภัยที่อาจเกิดขึ้น และการควบคุมอัตโนมัติและการล็อกดาวน์ฉุกเฉิน
คุณอาจคิดว่าสิ่งเหล่านี้เป็นยักษ์ใหญ่ที่สามารถจ่ายได้หลายพันล้านดอลลาร์!

แล้วธุรกิจขนาดเล็กล่ะ? การลงทุน Big Data คุ้มค่าสำหรับพวกเขาหรือไม่?

มีโซลูชันสำเร็จรูปอยู่สองสามตัวในตลาด รวมถึงบริการจากผู้ให้บริการระบบคลาวด์ เช่น AWS, Google Cloud หรือ Azure ทั้งหมดนี้ทำให้เครื่องมือวิเคราะห์ Big Data มีราคาไม่แพงนัก บริษัทสตาร์ทอัพขนาดกลางทั่วไปได้รับประโยชน์จากบริการเหล่านี้ บริษัทอินเดียยอดนิยมบางแห่งที่ใช้บริการคลาวด์ ได้แก่ Freshdesk, Sigtuple, Paralleldots เป็นต้น
สตาร์ทอัพที่เปลี่ยนยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Google, Facebook, Apple, Microsoft ฯลฯ ได้จัดตั้งห้องปฏิบัติการ AI ขึ้นเพื่อพัฒนาการวิจัยขั้นสูงเกี่ยวกับการจัดการ Big Data และสร้างสิ่งมหัศจรรย์จากมัน
แอปพลิเคชั่นข้อมูลขนาดใหญ่ที่อยู่รอบตัวคุณ

เหตุใดผู้เชี่ยวชาญด้านข้อมูลจึงมีความพิเศษ

มาเจาะลึกถึงแนวความคิดของผู้เชี่ยวชาญด้านข้อมูล ทักษะที่ท้าทายและไม่เหมือนใครที่แยกผู้เชี่ยวชาญด้านข้อมูลที่ยอดเยี่ยมออกจากบทบาท DSA (วิทยาศาสตร์ข้อมูลและการวิเคราะห์) อื่นๆ คือความสามารถในการใช้ข้อมูลขนาดใหญ่ ด้วยข้อมูลจำนวนมหาศาลที่ไหลเข้ามาในทุกวินาที การประมวลผลและดึงข้อมูลที่มีความหมายในทันทีกลายเป็นเรื่องยาก
ผู้เชี่ยวชาญด้านข้อมูลแก้ปัญหาข้อมูลขนาดใหญ่นี้โดยใช้อัลกอริธึมขั้นสูงและเทคโนโลยีที่เรียกกันทั่วไปว่าการเรียนรู้ด้วยเครื่องหรือการเรียนรู้เชิงลึกซึ่งกำลังเข้ามาในชีวิตประจำวันของเรามากขึ้น
ข้อมูลคือบล็อก Oil UpGrad ใหม่
Google Assistant, Siri, Alexa, Cortana, Prisma, ตัวกรอง Snapchat, ตำแหน่ง Facebook, การแท็กใบหน้า ฯลฯ ล้วนเป็นตัวอย่างการเรียนรู้ของเครื่อง แก่นแท้ของเทคโนโลยีเหล่านี้คือเมล็ดพันธุ์ของ ข้อมูลขนาดใหญ่ที่ให้เชื้อเพลิงและชีวิต สำหรับการเรียนรู้เชิงลึกหรือปัญญาประดิษฐ์

อะไรทำให้บิ๊กดาต้าเป็นน้ำมันใหม่

ข้อมูลขนาดใหญ่ในความยิ่งใหญ่เป็นมหาสมุทรอันกว้างใหญ่ของโอกาสที่ยังไม่ได้ใช้ ยักษ์ใหญ่ด้านเทคโนโลยีกำลังลงทุนหลายพันล้านดอลลาร์เพื่อเจาะลึกและดึงข้อมูลสำคัญที่ซ่อนอยู่ลึกลงไปในข้อมูลขนาดใหญ่นี้ ในการเปรียบเทียบโดยตรงกับทรัพยากรที่สำคัญที่คล้ายคลึงกันมากในระบบเศรษฐกิจสมัยใหม่: น้ำมันดิบ ข้อมูลขนาดใหญ่คือน้ำมัน/เชื้อเพลิงรูปแบบใหม่ในอนาคต

ปัญญาประดิษฐ์เป็นไฟฟ้าใหม่”,แอนดรูว์ อึ้ง (นักวิทยาศาสตร์ AI) อธิบายถึงพลังของปัญญาประดิษฐ์ที่นำมาซึ่งโซลูชั่นที่ทันสมัย เขายังยืนยันถึงความสำคัญของข้อมูลขนาดใหญ่และอาจก้าวล้ำค่าของมันขนานกับน้ำมันทำให้เป็น "น้ำมันใหม่" แห่งศตวรรษที่ 21
ช่วงเวลาแห่งความจริง:

“ผู้เชี่ยวชาญด้านข้อมูลมองว่าบิ๊กดาต้าเปรียบเสมือนน้ำมัน (สำหรับคุณค่าของมัน) และพัฒนาความเชี่ยวชาญเพื่อดึงข้อมูล ประมวลผล และแปลงเป็นข้อมูลเชิงลึก/โซลูชันที่ตอบสนองไม่เฉพาะกับบริษัทเท่านั้น แต่ทุกคนด้วย!”

เมื่อเร็ว ๆ นี้ Deepmind ของ Google ได้ประมวลผลหลายล้านเพตาไบต์และ พบดาวเคราะห์นอกระบบใหม่ 2 ดวงที่ซ่อนอยู่ในสายตาของนักวิจัยระหว่าง ดวงดาว บริษัทสตาร์ทอัพ หลายแห่งได้พัฒนาโซลูชันด้านภาพที่ ตรวจพบมะเร็งได้ดีกว่านักรังสีวิทยาที่ดีที่สุด ในโลก ยานยนต์ไร้คนขับกำลังได้รับความนิยมและ Google ได้เปิดตัวหูฟังที่ช่วยให้สามารถ แปลภาษาใด ๆ ก็ได้ ตามที่คุณเข้าใจ ความก้าวหน้าทั้งหมดนี้เกิดขึ้นได้จากข้อมูลขนาดใหญ่ เท่านั้น
บทบาท Big Data และเงินเดือนในอุตสาหกรรมการเงิน

ทีนี้มาตอบคำถามทองกัน:

คุณจะแปลงร่างเป็นผู้เชี่ยวชาญด้านข้อมูลได้อย่างไร

ในการเป็นผู้เชี่ยวชาญด้านข้อมูลที่ดีขึ้น ไม่ว่าจะเป็นนักวิเคราะห์ นักวิทยาศาสตร์ข้อมูล หรือวิศวกรข้อมูล เราต้องเข้าใจถึงพลังและศักยภาพของข้อมูลขนาด ใหญ่ เป็นประโยชน์สำหรับมืออาชีพด้านข้อมูลที่ต้องการใช้เทคนิคข้อมูลขนาดใหญ่ แม้ว่าจะต้องเข้าใจอัลกอริธึมการเรียนรู้ของเครื่องอย่างลึกซึ้ง!
อย่าลังเลที่จะทบทวนหลักสูตรต่อไปนี้ที่มุ่งเป้าไปที่การพัฒนาความรู้ในโดเมนข้อมูลอย่างแม่นยำ:

  1. PG Program in Big Data Engineering with BITS Pilani
  2. PG Diploma in Data Science กับ IIIT-บังกาลอร์
  3. ประกาศนียบัตร PG ในการเรียนรู้ของเครื่องและปัญญาประดิษฐ์

เข้าใจแล้ว! ตัวเลือกของฉันคืออะไร?
ทำความคุ้นเคยกับเทคโนโลยีข้อมูลขนาดใหญ่และทำความคุ้นเคยกับเครื่องมือต่างๆ เช่น Spark, Hive, Hadoop, YARN, HBase และ Map-Reduce คุณสามารถตัดสินใจว่าจะดำเนินการในฐานะนักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ข้อมูล หรือวิศวกรข้อมูลหรือไม่ คุณจะพบกับโอกาสที่ไม่รู้จบและงานที่ได้ค่าตอบแทนสูงทั่วโลกภายใต้ยักษ์ใหญ่ด้านเทคโนโลยีและบรรษัทข้ามชาติอื่นๆ ที่ควบคุมพลังของข้อมูลขนาดใหญ่

ข้อมูลกำลังถูกเรียกว่าน้ำมันใหม่ มันเปลี่ยนความหมายของการวิเคราะห์และความก้าวหน้าของการปฏิวัติปัญญาประดิษฐ์ทุกวัน ข้อมูลกำลังเติมเชื้อเพลิงให้กับอนาคตในขณะที่เราพูดและการขึ้นเรือยาวเป็นความคิดที่ดี

เหตุใดข้อมูลจึงมีค่าและมีความสำคัญ

สามารถใช้ข้อมูลเพื่อเพิ่มความเร็วในการดำเนินงานขององค์กร ขจัดข้อผิดพลาดในกระบวนการผลิตและการตัดสินใจ ตรวจสอบและลดความเสี่ยงก่อนที่จะเกิดขึ้น และอื่นๆ ด้วยเหตุนี้ อุตสาหกรรมใดๆ อาจได้รับประโยชน์จากการเปลี่ยนข้อมูลให้เป็นมูลค่า บริษัทต่างๆ ที่วางข้อมูลไว้ที่ศูนย์กลางของการดำเนินงานและอนุญาตให้ขับเคลื่อนทุกการกระทำ เพิ่มพลังให้ผู้ใช้และเร่งการตัดสินใจทั่วทั้งองค์กร จะเป็นผู้ชนะในอนาคต พวกเขาจะปรับตัว ก่อกวน และสร้างสรรค์มากขึ้น คนอื่นจะติดตามพวกเขาเมื่อพวกเขาแยกแยะเส้นทางและกำหนดเส้นทางของตนเอง

บทบาทหลักสามประการของ Data – Data Engineer, Data Analyst และ Data Scientist แตกต่างกันอย่างไร?

มีหลายบทบาทที่รับผิดชอบในการรวบรวม จัดระเบียบ และวิเคราะห์ข้อมูล เพื่อให้องค์กรจัดการกับข้อมูลอย่างจริงจัง ด้วยช่วงกว้างของกระบวนการนี้ ซึ่งรวมถึงทุกอย่างตั้งแต่ข้อมูลดิบไปจนถึงข้อมูลเชิงลึกที่นำไปปฏิบัติได้ จึงอาจมีความเข้าใจผิดบางประการเกี่ยวกับสิ่งที่แต่ละงานข้อมูลต้องรับผิดชอบ

วิศวกรข้อมูล นักวิเคราะห์ข้อมูล และนักวิทยาศาสตร์ข้อมูลเป็นบทบาทสำคัญ 3 ประการด้านข้อมูลที่บริษัทจ้างให้กับทีมข้อมูลของตน นี่คือความแตกต่างที่สำคัญ:

1. วิศวกรข้อมูล - งานของวิศวกรข้อมูลคือการหาวิธีรวบรวม จัดระเบียบ และเก็บรักษาข้อมูล ดังนั้นจึงเป็นส่วนสำคัญของทีมข้อมูล ทักษะตามความต้องการในการเป็น Data Engineer ได้แก่ SQL, Python, AWS, Kafka, Hadoop, การสื่อสารระหว่างบุคคล, การจัดการเวลา เป็นต้น
2. Data Analyst - นักวิเคราะห์ข้อมูลที่ดีจะมีความอยากรู้อยากเห็นและความสามารถในการมองเข้าไปในข้อมูลจากหลาย ๆ มุมมอง การล้างข้อมูลและการแปลงข้อมูลเพื่อค้นหาแนวโน้ม พวกเขาอาจค้นพบหนทางใหม่ๆ ให้องค์กรดำเนินการ เช่น สถานที่ที่สามารถรวบรวมข้อมูลเพิ่มเติมเพื่อการวิจัยในเชิงลึกยิ่งขึ้น ข้อกำหนดสำหรับ Data Analyst ได้แก่ SQL, Statistical Programming, Microsoft Excel, Critical Thinking, Data Visualization, Data Presentation เป็นต้น
3. นักวิทยาศาสตร์ข้อมูล – นักวิทยาศาสตร์ข้อมูลสร้างอัลกอริธึมและแบบจำลองการคาดการณ์เพื่อดึงข้อมูลที่ธุรกิจต้องการ และช่วยในการวิเคราะห์ข้อมูลและแบ่งปันสิ่งที่ค้นพบกับเพื่อนร่วมงาน ทักษะหลักของ Data Science ได้แก่ การวิเคราะห์ทางสถิติ แมชชีนเลิร์นนิง วิทยาการคอมพิวเตอร์ การเขียนโปรแกรม การสื่อสาร และทักษะที่อ่อนนุ่ม