พวกเขากล่าวว่าข้อมูลคือน้ำมันใหม่ – จริงหรือไม่?
เผยแพร่แล้ว: 2018-01-05high in demand คุณต้องสงสัย – ผู้เชี่ยวชาญด้านข้อมูลมี ความต้องการสูง perks get there อะไรคือ ข้อดี จะไปถึงจุดนั้นได้ มาทำความเข้าใจกันทั้งหมด:
สารบัญ
บิ๊กดาต้าคืออะไรกันแน่?
ในวันปกติ เราสร้างข้อมูลประมาณ 10GB ทีละรายการจากการโทร การใช้โซเชียลมีเดีย รูปภาพ การติดตามตำแหน่ง บิลซื้อของ และอื่นๆ อีกมากมาย เรากำลังพิจารณาข้อมูลจำนวนพันล้าน GB ที่สร้างขึ้นทั่วโลกจากการรวบรวมทั้งหมดสำหรับทุกคนที่เข้าถึงเทคโนโลยี หากฟังดูใหญ่พอสำหรับคุณ เราสามารถเรียกมันว่า “บิ๊กดาต้า” ได้ง่ายๆ
โอเค มีข้อมูลมากมาย แล้วไง?
นักวิจัยและยักษ์ใหญ่ด้านเทคโนโลยีเข้าใจถึงความสำคัญของข้อมูลนี้ และเริ่มไล่ล่าผู้ที่สามารถ จัดการ สำรวจ และ ใช้ ข้อมูล นี้ มันให้กำเนิดชื่อใหม่สามชื่อที่เป็นที่ต้องการและคลั่งไคล้ Data Engineer , Data Analyst และ Data Scientist ตามลำดับ
นักวิทยาศาสตร์ข้อมูล | วิศวกรข้อมูล | นักวิเคราะห์ข้อมูล | |
| บทบาท | ทำความสะอาด จัดระเบียบ และสร้างข้อมูลเชิงลึกจากข้อมูล (ขนาดใหญ่) | จัดการ ปกป้อง รวมศูนย์และรวมระบบข้อมูลและแหล่งที่มา | รวบรวม ประมวลผล และดำเนินการวิเคราะห์ทางสถิติเกี่ยวกับข้อมูล |
| ความคิด | สร้าง AI โดยใช้ข้อมูลขนาดใหญ่ | ออกแบบสถาปัตยกรรมข้อมูลได้อย่างง่ายดาย | ได้ข้อมูลเชิงลึกจาก data |
| ทักษะ | การเรียนรู้ของเครื่อง คอมพิวเตอร์แบบกระจาย และการแสดงข้อมูล | คลังข้อมูล สถาปัตยกรรมฐานข้อมูล งาน Extract-Transform-Load (ETL) และการจัดการระบบ | การสื่อสารและการแสดงภาพ เครื่องมือสเปรดชีตและระบบอัจฉริยะที่ขับเคลื่อนด้วยธุรกิจ |
| เครื่องมือและภาษา | Python, R, SQL, Spark, Map-Reduce | Hadoop, Spark, Hive, PIG, SQL | SAS, VBA, R, Excel, ตาราง |
| เงินเดือนเฉลี่ย | $125000 | $110000 | 90000 เหรียญสหรัฐ |
เจ๋ง เราเข้าใจสิ่งที่พวกเขาทำ แต่ทำไมโฆษณา?
ใครคือ Data Scientist, Data Analyst และ Data Engineer?
มาดูเรื่องราวความสำเร็จกันบ้าง
Xerox: หลังจากเลือกใช้โซลูชัน Big Data บริษัทได้เปลี่ยนแนวทางซึ่งส่งผลให้ Xerox จัดโครงสร้างกระบวนทัศน์การจ้างงานใหม่ และลดอัตราการออกจากงานของเจ้าหน้าที่ฝ่ายสนับสนุนลง 20% ซึ่งช่วยประหยัดเงินของบริษัทได้หลายล้านดอลลาร์ในระยะยาว
IBM: การเข้าซื้อกิจการ 'The Weather Company' และใช้ประโยชน์จาก Big Data ที่รวบรวมจากเซ็นเซอร์ตรวจสอบสภาพอากาศมากกว่า 100,000 ตัว เครื่องบินเฉพาะทาง แอปในอุปกรณ์ และอุปกรณ์อื่นๆ IBM Watson ได้รับประโยชน์จากจุดรวบรวมข้อมูลที่ไม่ซ้ำกันมากกว่า 2.2 พันล้านจุด ทำให้สามารถตรวจสอบสภาพอากาศได้อย่างต่อเนื่อง $500,000,000 ความสูญเสียและความเสียหายที่เกิดจากสภาพอากาศเกือบ 500,000,000 ดอลลาร์ Paypal: พัฒนาระบบตรวจจับการฉ้อโกงอัตโนมัติที่วิเคราะห์ข้อมูลนับพันล้านรายการซึ่งมีอัตราการสูญเสียระดับชั้นนำของอุตสาหกรรม 0.5%
เทสลา: การวิเคราะห์ข้อมูลมหาศาลที่สร้างโดยคอมพิวเตอร์ในรถแต่ละคัน วิศวกรสามารถคาดการณ์ความล้มเหลวของชิ้นส่วน ปัญหาด้านความปลอดภัยที่อาจเกิดขึ้น และการควบคุมอัตโนมัติและการล็อกดาวน์ฉุกเฉิน
คุณอาจคิดว่าสิ่งเหล่านี้เป็นยักษ์ใหญ่ที่สามารถจ่ายได้หลายพันล้านดอลลาร์!
แล้วธุรกิจขนาดเล็กล่ะ? การลงทุน Big Data คุ้มค่าสำหรับพวกเขาหรือไม่?
มีโซลูชันสำเร็จรูปอยู่สองสามตัวในตลาด รวมถึงบริการจากผู้ให้บริการระบบคลาวด์ เช่น AWS, Google Cloud หรือ Azure ทั้งหมดนี้ทำให้เครื่องมือวิเคราะห์ Big Data มีราคาไม่แพงนัก บริษัทสตาร์ทอัพขนาดกลางทั่วไปได้รับประโยชน์จากบริการเหล่านี้ บริษัทอินเดียยอดนิยมบางแห่งที่ใช้บริการคลาวด์ ได้แก่ Freshdesk, Sigtuple, Paralleldots เป็นต้น
สตาร์ทอัพที่เปลี่ยนยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Google, Facebook, Apple, Microsoft ฯลฯ ได้จัดตั้งห้องปฏิบัติการ AI ขึ้นเพื่อพัฒนาการวิจัยขั้นสูงเกี่ยวกับการจัดการ Big Data และสร้างสิ่งมหัศจรรย์จากมัน
แอปพลิเคชั่นข้อมูลขนาดใหญ่ที่อยู่รอบตัวคุณ
เหตุใดผู้เชี่ยวชาญด้านข้อมูลจึงมีความพิเศษ
มาเจาะลึกถึงแนวความคิดของผู้เชี่ยวชาญด้านข้อมูล ทักษะที่ท้าทายและไม่เหมือนใครที่แยกผู้เชี่ยวชาญด้านข้อมูลที่ยอดเยี่ยมออกจากบทบาท DSA (วิทยาศาสตร์ข้อมูลและการวิเคราะห์) อื่นๆ คือความสามารถในการใช้ข้อมูลขนาดใหญ่ ด้วยข้อมูลจำนวนมหาศาลที่ไหลเข้ามาในทุกวินาที การประมวลผลและดึงข้อมูลที่มีความหมายในทันทีกลายเป็นเรื่องยาก
ผู้เชี่ยวชาญด้านข้อมูลแก้ปัญหาข้อมูลขนาดใหญ่นี้โดยใช้อัลกอริธึมขั้นสูงและเทคโนโลยีที่เรียกกันทั่วไปว่าการเรียนรู้ด้วยเครื่องหรือการเรียนรู้เชิงลึกซึ่งกำลังเข้ามาในชีวิตประจำวันของเรามากขึ้น

Google Assistant, Siri, Alexa, Cortana, Prisma, ตัวกรอง Snapchat, ตำแหน่ง Facebook, การแท็กใบหน้า ฯลฯ ล้วนเป็นตัวอย่างการเรียนรู้ของเครื่อง แก่นแท้ของเทคโนโลยีเหล่านี้คือเมล็ดพันธุ์ของ ข้อมูลขนาดใหญ่ที่ให้เชื้อเพลิงและชีวิต สำหรับการเรียนรู้เชิงลึกหรือปัญญาประดิษฐ์

อะไรทำให้บิ๊กดาต้าเป็นน้ำมันใหม่
ข้อมูลขนาดใหญ่ในความยิ่งใหญ่เป็นมหาสมุทรอันกว้างใหญ่ของโอกาสที่ยังไม่ได้ใช้ ยักษ์ใหญ่ด้านเทคโนโลยีกำลังลงทุนหลายพันล้านดอลลาร์เพื่อเจาะลึกและดึงข้อมูลสำคัญที่ซ่อนอยู่ลึกลงไปในข้อมูลขนาดใหญ่นี้ ในการเปรียบเทียบโดยตรงกับทรัพยากรที่สำคัญที่คล้ายคลึงกันมากในระบบเศรษฐกิจสมัยใหม่: น้ำมันดิบ ข้อมูลขนาดใหญ่คือน้ำมัน/เชื้อเพลิงรูปแบบใหม่ในอนาคต
“ ปัญญาประดิษฐ์เป็นไฟฟ้าใหม่”,แอนดรูว์ อึ้ง (นักวิทยาศาสตร์ AI) อธิบายถึงพลังของปัญญาประดิษฐ์ที่นำมาซึ่งโซลูชั่นที่ทันสมัย เขายังยืนยันถึงความสำคัญของข้อมูลขนาดใหญ่และอาจก้าวล้ำค่าของมันขนานกับน้ำมันทำให้เป็น "น้ำมันใหม่" แห่งศตวรรษที่ 21
ช่วงเวลาแห่งความจริง:“ผู้เชี่ยวชาญด้านข้อมูลมองว่าบิ๊กดาต้าเปรียบเสมือนน้ำมัน (สำหรับคุณค่าของมัน) และพัฒนาความเชี่ยวชาญเพื่อดึงข้อมูล ประมวลผล และแปลงเป็นข้อมูลเชิงลึก/โซลูชันที่ตอบสนองไม่เฉพาะกับบริษัทเท่านั้น แต่ทุกคนด้วย!”
เมื่อเร็ว ๆ นี้ Deepmind ของ Google ได้ประมวลผลหลายล้านเพตาไบต์และ พบดาวเคราะห์นอกระบบใหม่ 2 ดวงที่ซ่อนอยู่ในสายตาของนักวิจัยระหว่าง ดวงดาว บริษัทสตาร์ทอัพ หลายแห่งได้พัฒนาโซลูชันด้านภาพที่ ตรวจพบมะเร็งได้ดีกว่านักรังสีวิทยาที่ดีที่สุด ในโลก ยานยนต์ไร้คนขับกำลังได้รับความนิยมและ Google ได้เปิดตัวหูฟังที่ช่วยให้สามารถ แปลภาษาใด ๆ ก็ได้ ตามที่คุณเข้าใจ ความก้าวหน้าทั้งหมดนี้เกิดขึ้นได้จากข้อมูลขนาดใหญ่ เท่านั้น
บทบาท Big Data และเงินเดือนในอุตสาหกรรมการเงินทีนี้มาตอบคำถามทองกัน:
คุณจะแปลงร่างเป็นผู้เชี่ยวชาญด้านข้อมูลได้อย่างไร
ในการเป็นผู้เชี่ยวชาญด้านข้อมูลที่ดีขึ้น ไม่ว่าจะเป็นนักวิเคราะห์ นักวิทยาศาสตร์ข้อมูล หรือวิศวกรข้อมูล เราต้องเข้าใจถึงพลังและศักยภาพของข้อมูลขนาด ใหญ่ เป็นประโยชน์สำหรับมืออาชีพด้านข้อมูลที่ต้องการใช้เทคนิคข้อมูลขนาดใหญ่ แม้ว่าจะต้องเข้าใจอัลกอริธึมการเรียนรู้ของเครื่องอย่างลึกซึ้ง!
อย่าลังเลที่จะทบทวนหลักสูตรต่อไปนี้ที่มุ่งเป้าไปที่การพัฒนาความรู้ในโดเมนข้อมูลอย่างแม่นยำ:
- PG Program in Big Data Engineering with BITS Pilani
- PG Diploma in Data Science กับ IIIT-บังกาลอร์
- ประกาศนียบัตร PG ในการเรียนรู้ของเครื่องและปัญญาประดิษฐ์
เข้าใจแล้ว! ตัวเลือกของฉันคืออะไร?
ทำความคุ้นเคยกับเทคโนโลยีข้อมูลขนาดใหญ่และทำความคุ้นเคยกับเครื่องมือต่างๆ เช่น Spark, Hive, Hadoop, YARN, HBase และ Map-Reduce คุณสามารถตัดสินใจว่าจะดำเนินการในฐานะนักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ข้อมูล หรือวิศวกรข้อมูลหรือไม่ คุณจะพบกับโอกาสที่ไม่รู้จบและงานที่ได้ค่าตอบแทนสูงทั่วโลกภายใต้ยักษ์ใหญ่ด้านเทคโนโลยีและบรรษัทข้ามชาติอื่นๆ ที่ควบคุมพลังของข้อมูลขนาดใหญ่ข้อมูลกำลังถูกเรียกว่าน้ำมันใหม่ มันเปลี่ยนความหมายของการวิเคราะห์และความก้าวหน้าของการปฏิวัติปัญญาประดิษฐ์ทุกวัน ข้อมูลกำลังเติมเชื้อเพลิงให้กับอนาคตในขณะที่เราพูดและการขึ้นเรือยาวเป็นความคิดที่ดี
เหตุใดข้อมูลจึงมีค่าและมีความสำคัญ
สามารถใช้ข้อมูลเพื่อเพิ่มความเร็วในการดำเนินงานขององค์กร ขจัดข้อผิดพลาดในกระบวนการผลิตและการตัดสินใจ ตรวจสอบและลดความเสี่ยงก่อนที่จะเกิดขึ้น และอื่นๆ ด้วยเหตุนี้ อุตสาหกรรมใดๆ อาจได้รับประโยชน์จากการเปลี่ยนข้อมูลให้เป็นมูลค่า บริษัทต่างๆ ที่วางข้อมูลไว้ที่ศูนย์กลางของการดำเนินงานและอนุญาตให้ขับเคลื่อนทุกการกระทำ เพิ่มพลังให้ผู้ใช้และเร่งการตัดสินใจทั่วทั้งองค์กร จะเป็นผู้ชนะในอนาคต พวกเขาจะปรับตัว ก่อกวน และสร้างสรรค์มากขึ้น คนอื่นจะติดตามพวกเขาเมื่อพวกเขาแยกแยะเส้นทางและกำหนดเส้นทางของตนเอง
บทบาทหลักสามประการของ Data – Data Engineer, Data Analyst และ Data Scientist แตกต่างกันอย่างไร?
มีหลายบทบาทที่รับผิดชอบในการรวบรวม จัดระเบียบ และวิเคราะห์ข้อมูล เพื่อให้องค์กรจัดการกับข้อมูลอย่างจริงจัง ด้วยช่วงกว้างของกระบวนการนี้ ซึ่งรวมถึงทุกอย่างตั้งแต่ข้อมูลดิบไปจนถึงข้อมูลเชิงลึกที่นำไปปฏิบัติได้ จึงอาจมีความเข้าใจผิดบางประการเกี่ยวกับสิ่งที่แต่ละงานข้อมูลต้องรับผิดชอบ
วิศวกรข้อมูล นักวิเคราะห์ข้อมูล และนักวิทยาศาสตร์ข้อมูลเป็นบทบาทสำคัญ 3 ประการด้านข้อมูลที่บริษัทจ้างให้กับทีมข้อมูลของตน นี่คือความแตกต่างที่สำคัญ:
1. วิศวกรข้อมูล - งานของวิศวกรข้อมูลคือการหาวิธีรวบรวม จัดระเบียบ และเก็บรักษาข้อมูล ดังนั้นจึงเป็นส่วนสำคัญของทีมข้อมูล ทักษะตามความต้องการในการเป็น Data Engineer ได้แก่ SQL, Python, AWS, Kafka, Hadoop, การสื่อสารระหว่างบุคคล, การจัดการเวลา เป็นต้น
2. Data Analyst - นักวิเคราะห์ข้อมูลที่ดีจะมีความอยากรู้อยากเห็นและความสามารถในการมองเข้าไปในข้อมูลจากหลาย ๆ มุมมอง การล้างข้อมูลและการแปลงข้อมูลเพื่อค้นหาแนวโน้ม พวกเขาอาจค้นพบหนทางใหม่ๆ ให้องค์กรดำเนินการ เช่น สถานที่ที่สามารถรวบรวมข้อมูลเพิ่มเติมเพื่อการวิจัยในเชิงลึกยิ่งขึ้น ข้อกำหนดสำหรับ Data Analyst ได้แก่ SQL, Statistical Programming, Microsoft Excel, Critical Thinking, Data Visualization, Data Presentation เป็นต้น
3. นักวิทยาศาสตร์ข้อมูล – นักวิทยาศาสตร์ข้อมูลสร้างอัลกอริธึมและแบบจำลองการคาดการณ์เพื่อดึงข้อมูลที่ธุรกิจต้องการ และช่วยในการวิเคราะห์ข้อมูลและแบ่งปันสิ่งที่ค้นพบกับเพื่อนร่วมงาน ทักษะหลักของ Data Science ได้แก่ การวิเคราะห์ทางสถิติ แมชชีนเลิร์นนิง วิทยาการคอมพิวเตอร์ การเขียนโปรแกรม การสื่อสาร และทักษะที่อ่อนนุ่ม


