นี่เป็นครั้งแรกของซีรีส์สองตอน

ส่วนที่หนึ่ง — การสร้างคลังข้อมูล

ทุกวันนี้ใครๆ ก็ต้องการสร้างคลังข้อมูล แต่มีความจำเป็นจริงๆหรือ? แม้ว่าคุณต้องการมัน คุณจะรู้ได้อย่างไรว่าคุณกำลังสร้างสิ่งที่ถูกต้อง และเมื่อไหร่ที่คุณจะเริ่มเก็บเกี่ยวผลประโยชน์จากมันก่อน

แต่อย่างแรกเลย คลังข้อมูลคืออะไร? พูดง่ายๆ คือเป็นที่เดียวที่คุณสามารถจัดเก็บข้อมูลจากแหล่งที่มาทั้งหมดได้ ช่วยตอบคำถามที่ต้องการการวิเคราะห์ที่ซับซ้อนซึ่งเกี่ยวข้องกับข้อมูลจากหลายแหล่ง คุณยังสามารถสร้างคลังข้อมูลในแบบที่คุณได้รับการดูแลความต้องการข้อมูลที่ใช้บ่อยที่สุดได้อย่างรวดเร็ว

ปีที่แล้ว เรากำลังประสบปัญหากับคำถามนี้ที่ UpGrad ว่าจะสร้างหรือไม่สร้างคลังข้อมูล

เพื่อที่จะตอบคำถามนี้และคำถามอื่นๆ อีกมากมาย เราได้พูดคุยกับคนอื่นๆ มากมายที่เคยทำมาก่อน สิ่งแรกที่เราสังเกตเห็นคือ การสร้างคลังข้อมูล (หรือ DW) คุณต้องมีทีมวิศวกรข้อมูล สถาปนิก นักวิเคราะห์ และผู้จัดการผลิตภัณฑ์ที่เหมาะสม คำถามแรกที่เราถามคือ – มันคุ้มกับการลงทุนมากขนาดนั้นจริงหรือ?

ในการหาคำตอบที่ถูกต้อง เราต้องถามตัวเองด้วยชุดคำถามที่ถูกต้อง คำถามเหล่านี้อาจต้องใช้เวลาและพลังงานมาก แต่เมื่อคุณตอบคำถามเหล่านี้เสร็จแล้ว คุณจะมั่นใจมากขึ้นว่าจะก้าวไปข้างหน้ากับ DW หรือไม่ ที่นี่ เราจะให้คำตอบที่เราได้รับจากการฝึกหัดของเราเองเพื่อเพิ่มความเข้าใจ และหวังว่าจะช่วยคุณในกระบวนการตัดสินใจว่าจะตั้งค่าคลังข้อมูลของคุณเองหรือไม่

คำถาม #1: คุณต้องการคำตอบอะไรจากการวิเคราะห์/ข้อมูล และความถี่เท่าไร?

อย่างที่คุณคงทราบอยู่แล้ว คำถามนี้เป็นคำถามที่สำคัญที่สุด คุณต้องมีส่วนร่วมกับทีมอื่น (การขาย การตลาด ธุรกิจ) ในขณะที่ตอบคำถามเหล่านี้เพื่อให้แน่ใจว่าคุณจะไม่พลาดทุกสิ่ง

สิ่งนี้มีความหมายสำหรับเรา : เราต้องการ 3 คำตอบที่สำคัญจากการวิเคราะห์/ข้อมูล:

ก. ช่องทางการตลาดใดที่ทำงานได้ดี เช่น การระบุแหล่งที่มาหลายช่องทาง

ทีมการตลาดของ UpGrad ใช้ช่องทางต่างๆ ทั้งแบบออนไลน์และออฟไลน์ ในการหาผู้ใช้ เราจัดการประชุมเชิงปฏิบัติการและกิจกรรมแบบออฟไลน์สำหรับมืออาชีพที่ต้องการอัพเกรดอาชีพ เรายังใช้ช่องทางออนไลน์เช่น Facebook และ Google เพื่อดึงดูดผู้เชี่ยวชาญเหล่านี้ ดังนั้นจึงเป็นสิ่งสำคัญมากสำหรับเราที่จะรู้ว่าช่องทางใดทำงานได้ดี เพื่อสร้างกลยุทธ์ทางการตลาดของเราเป็นรายสัปดาห์หรือรายวัน นอกจากนี้ เรายังต้องการทราบด้วยว่าการทำรีมาร์เก็ตติ้งหรือความพยายามแบบออฟไลน์ส่งผลต่อการแปลงผู้ใช้เหล่านี้เป็นนักเรียนแบบชำระเงินหรือไม่

ข. ช่องทางการแปลงของเรามีหน้าตาเป็น อย่างไร ?

ช่องทางของเราดูใหญ่กว่าบริษัทส่วนใหญ่มาก เข้าชมครั้งแรก — สมัคร — เริ่มการสมัคร — ส่งใบสมัคร — ทดสอบแล้ว/ยกเว้น — รายการโปรด — ชำระเงิน สิ่งสำคัญคือต้องรู้ว่าช่องทางมีหน้าตาเป็นอย่างไรโดยพิจารณาจากคุณสมบัติต่างๆ เช่น เมือง กลุ่มอายุ ช่องทางการได้มา ฯลฯ

ค. เราสามารถคาดเดาได้ว่าผู้ใช้จะจบลงด้วยการจ่ายเงินหรือไม่ เช่น การให้คะแนนลูกค้าเป้าหมาย ?

การให้คะแนนลูกค้าเป้าหมายขึ้นอยู่กับสองสิ่ง - ความพอดีและความสนใจ ความพอดีจะพิจารณาจากคุณลักษณะของผู้ใช้ เช่น ประสบการณ์หลายปี คะแนน GRE/GMAT/CAT เป็นต้น ความสนใจขึ้นอยู่กับว่าผู้ใช้ใช้งานเว็บไซต์มากเพียงใด หรือผู้ใช้ตอบสนองต่อการโทรหรืออีเมลอย่างไร

นอกเหนือจากนี้ เราต้องการ:

ง. ติดตาม ผลการปฏิบัติงานของนักเรียน ทุกคนในหลักสูตรหรือโปรแกรมเพื่อให้เราสามารถช่วยเหลือพวกเขาได้ในเวลาที่เหมาะสม

อี ตรวจสอบ การให้คะแนนและความคิดเห็นของนักเรียน เกี่ยวกับเนื้อหาหลักสูตร

เรามีคำถามแบบนี้อีกมากจากทีมต่างๆ… แต่คุณคงเข้าใจแล้ว

คำถาม #2 : คำตอบใดต่อไปนี้จากการตั้งค่าปัจจุบัน หรือต้องการการปรับแต่งเพียงเล็กน้อย

การถามคำถามนี้จะทำให้คุณเข้าใจถึงความสามารถของฐานข้อมูลในปัจจุบันได้ดี ตรวจสอบให้แน่ใจว่าคุณมีวิศวกรที่เหมาะสมอยู่ในห้องเมื่อคุณถามสิ่งนี้ (คำใบ้: ส่วนใหญ่จะเป็นวิศวกรส่วนหลังในการเริ่มต้นที่ดูแลฐานข้อมูลธุรกรรม)

สิ่งนี้มีความหมายสำหรับเรา :

ก. การระบุแหล่งที่มาหลายช่องทาง

ก่อนตัดสินใจซื้อ ผู้เข้าชมจะเข้าชมหลายครั้งผ่านช่องทางต่างๆ บางครั้งพวกเขาก็หาคุณเจอบน Google และมาที่เว็บไซต์ของคุณ และบางครั้งพวกเขาก็มาเพื่อเข้าร่วมกิจกรรมส่งเสริมการขายแบบออฟไลน์ ดังนั้น เมื่อผู้เยี่ยมชมซื้อสินค้าในที่สุด เราต้องการที่จะสามารถระบุได้ว่าช่องทางใดมีประสิทธิภาพมากที่สุด ในการทำเช่นนั้น เราต้องรวมทั้งข้อมูลออนไลน์และออฟไลน์* ไว้ในที่เดียวและเรียกใช้รูปแบบการระบุแหล่งที่มาที่แตกต่างกัน

ข. ช่องทางการแปลง

ช่องทางของเราได้รวมองค์ประกอบออฟไลน์บางอย่างอีกครั้ง เช่น รายการสั้นและการทดสอบ ซึ่งทีมที่ปรึกษาจะอัปโหลดไปยัง Salesforce ด้วยตนเอง ช่องทางต้องการการรวมข้อมูลสตรีมเว็บเข้ากับข้อมูล Salesforce

ค. คะแนนนำ

เครื่องมือให้คะแนนลูกค้าเป้าหมายส่วนใหญ่เป็นแบบพื้นฐาน ตัวอย่างเช่น คุณสามารถให้คะแนนตามเหตุการณ์ที่สตรีมใน Pardot (โดย Salesforce) เราต้องการระบบที่สามารถผสานข้อมูลจาก Salesforce การวิเคราะห์เว็บ และอีเมลเพื่อให้คะแนนสุดท้ายตามความเหมาะสมและความสนใจ

ง. การแสดงของนักเรียน

เนื่องจากข้อมูลนี้จัดเก็บไว้ในฐานข้อมูลธุรกรรม เราจึงสามารถค้นหาเครื่องมือสร้างภาพ เช่น BIME หรือ Tableau เพื่อดึงข้อมูลและสร้างแดชบอร์ดการติดตามเหล่านี้

อี คะแนนและรีวิวของนักเรียน

เช่นเดียวกับ (ง) ด้านบน

ดังนั้นเราจึงเริ่มสร้างสคีมาคลังข้อมูล โดยคำนึงถึง a, b และ c สตาร์ทอัพจำนวนมากไม่ต้องการคะแนนลูกค้าเป้าหมายและมีแหล่งข้อมูลเพียงแหล่งเดียวสำหรับช่องทางการแปลงและการระบุแหล่งที่มา สำหรับสตาร์ทอัพเหล่านั้น เครื่องมือ Business Intelligence (BI) จะมีประสิทธิภาพมากกว่าการสร้างคลังข้อมูลจริงๆ

คำถาม #3: สิ่งต่างๆ จะดูแตกต่างออกไปเมื่อคุณขยายขนาดในอีก 1-2 ปีข้างหน้าหรือไม่

ในระดับใหญ่ ฐานข้อมูลธุรกรรมของคุณอาจมีขนาดใหญ่มาก และการสืบค้นอาจช้าลงหรือเริ่มล้มเหลว คุณควรวางแผนสำหรับสถานการณ์ดังกล่าวด้วยในขณะออกแบบคลังสินค้า

สิ่งนี้มีความหมายสำหรับเรา:

ตารางฐานข้อมูลกิจกรรมนักเรียนของเราจะเติบโตอย่างรวดเร็วเมื่อเราเพิ่มหลักสูตรและนักเรียนมากขึ้น แบบสอบถามได้เริ่มช้าลงแล้ว คุณควรคำนึงถึงสิ่งนี้ขณะออกแบบสคีมา

คำถาม #4 : มีที่อื่นที่คุณต้องการส่งข้อมูลที่คุณต้องการในคลังข้อมูลของคุณหรือไม่?

ข้อมูลที่จัดเก็บในคลังสินค้าอาจมีกรณีการใช้งานที่แตกต่างกันมากมาย นอกเหนือจากกรณีหลัก กรณีการใช้งานเหล่านี้ช่วยให้คุณคิดเกี่ยวกับสคีมา และรวมฟิลด์เพิ่มเติม หากจำเป็น ขณะสร้างสคีมา

สิ่งนี้มีความหมายสำหรับเรา:

ทีมที่ปรึกษาใช้คะแนนลูกค้าเป้าหมาย ดังนั้นเราจึงต้องส่งข้อมูลนี้ไปยัง Salesforce คะแนนความพอดีของคะแนนนำสามารถใช้โดยทีมหลักสูตรเฉพาะเพื่อยกเว้นพวกเขาจากหลักสูตรโดยอัตโนมัติ ทีมการตลาดใช้รูปแบบการระบุแหล่งที่มา ดังนั้นเราจึงต้องส่งไปยังเครื่องมือ BI ในรูปแบบเฉพาะ

สุดท้าย คำถาม #5 : คุณมีทีมที่เหมาะสมในการตัดสินใจหรือไม่ เช่น:

1. คุณควรใช้ฐานข้อมูลการวิเคราะห์ใด โดยพิจารณาจากขนาดและกรณีการใช้งานการวิเคราะห์
2. สคีมา/โมเดลข้อมูลสำหรับกรณีการใช้งานปัจจุบันควรเป็นอย่างไร สคีมานี้สามารถปรับขนาดได้หรือไม่
3. ETL ชนิดใดที่จำเป็นสำหรับการสร้างฐานข้อมูลการวิเคราะห์ ETL จะใช้เวลาเท่าไร?
4. ความถี่ในการอัปเดตของตารางต่างๆ จะเป็นอย่างไร คุณควรจัดการกับกรณีการใช้งานแบบเรียลไทม์เช่นกรณีสำหรับเครื่องมือแนะนำอย่างไร

คุณจะต้องมีวิศวกรข้อมูล วิศวกรอาวุโสที่ทำงานกับข้อมูลอย่างน้อย 3-5 ปี และนักวิทยาศาสตร์ด้านข้อมูลในการตัดสินใจหลายอย่าง

หลังจากพิจารณาคำถามทั้ง 5 ข้อนี้แล้ว สตาร์ทอัพก็สามารถตัดสินใจได้ว่าจะสร้างคลังข้อมูลหรือไม่ รายการข้อดีและข้อเสียอย่างง่ายของคลังข้อมูลเพื่อช่วยให้คุณประเมินเพิ่มเติมได้:

ข้อดี -

1. คุณจะสามารถควบคุมข้อมูลของคุณได้อย่างเต็มที่ และเปลี่ยนไปใช้เครื่องมือของบุคคลที่สามได้อย่างง่ายดายและเมื่อมีราคาแพงกว่าสำหรับคุณหรือไม่ตรงตามข้อกำหนดของคุณ
2. คุณสามารถสร้างผลิตภัณฑ์วิทยาศาสตร์ข้อมูลได้! คำแนะนำ การค้นหา การวิเคราะห์ความรู้สึก สแปม vs แฮม ฯลฯ โปรดใช้ความระมัดระวังและตรวจสอบล่วงหน้าว่าคุณต้องการข้อมูลแบบเรียลไทม์สำหรับผลิตภัณฑ์เหล่านี้หรือไม่ หรือจะต้องอัปเดตทุกชั่วโมง/ทุกวัน
3. ดังที่ได้กล่าวไว้ก่อนหน้านี้ คุณสามารถประหยัดเวลาและปัญหาสำหรับนักวิเคราะห์ได้มาก แบบสอบถามจะเร็วขึ้นและข้อมูลจะเชื่อถือได้

ข้อเสีย —

1. คุณต้องลงทุนด้านวิศวกรรมและการจัดเก็บข้อมูลอย่างหนัก นานก่อนที่คุณจะสามารถเริ่มเก็บเกี่ยวผลประโยชน์ได้
2. โอกาสที่งานสร้างครั้งแรกของคุณจะยังห่างไกลจากความสมบูรณ์แบบ หากคุณเป็นบริษัทระดับต้นถึงกลาง กระบวนการจำนวนมากยังคงพัฒนาอยู่ คุณไม่สามารถครอบคลุมกรณีที่จะเกิดขึ้นในอีก 3-6 เดือนข้างหน้า การเผชิญคำถามเช่นทำไมเราถึงคิดไม่ถึง ฯลฯ อาจทำให้คุณท้อแท้ได้ คุณจะต้องปัดเป่าความพ่ายแพ้เล็กๆ น้อยๆ เหล่านี้ และจับตาดูเป้าหมายระยะยาวของคุณ
3. องค์กรส่วนใหญ่ไม่มีการวิจัยและความอดทนที่เหมาะสมในการสร้างโซลูชัน Data Warehouse สำหรับความต้องการของพวกเขา คุณจะต้องลงทุนเวลามากก่อนที่จะเริ่มต้นทั้งหมด

เมื่อคุณทำแบบฝึกหัดนี้เสร็จแล้ว ฉันค่อนข้างมั่นใจว่าคุณจะพร้อมที่จะเริ่มดำเนินการตามเส้นทางการวิเคราะห์ข้อมูลสำหรับการเริ่มต้นของคุณและจะหลีกเลี่ยงข้อผิดพลาดที่มีค่าใช้จ่ายสูง แสดงความคิดเห็นด้านล่างและแจ้งให้เราทราบหากคุณชอบโพสต์นี้หรือพบว่ามีประโยชน์ โปรดติดตามตอนต่อไป!

* ถ้าเรามีเพียงช่องทางออนไลน์ เราอาจใช้การระบุแหล่งที่มาหลายช่องทางของ Google Analytics เรายังมีข้อมูลเหตุการณ์ออฟไลน์ ซึ่งสามารถอัปโหลดไปยัง Google Analytics แก้ไขปัญหา? อนิจจา GA ห้ามมิให้คุณส่งข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ ในกรณีที่ไม่มีข้อมูลอีเมล การเชื่อมโยงข้อมูลนี้กับแหล่งข้อมูลอื่นๆ เป็นเรื่องยาก เว้นแต่คุณจะจับคู่ ID ของ Google Analytics กับอีเมลในฐานข้อมูลของคุณเอง ให้ค้นหา ID เหล่านี้และอัปโหลดข้อมูลออฟไลน์ด้วย ID เหล่านี้ไปยัง GA