วิธีการทั้งมวล: The Kaggle Machine Learning Champion

สุภาษิต "สองหัวดีกว่าหัวเดียว" ใช้ความหมายใหม่เมื่อพูดถึงชุดการเรียนรู้ของเครื่อง วิธีการทั้งมวลคือบางส่วนของตระกูล ML ที่ได้รับการตกแต่งมากที่สุดในการแข่งขัน Kaggle ซึ่งพวกเขามักจะชนะการแข่งขันด้วยผลงานที่น่าประทับใจ

แต่เป็นเวลาหนึ่งศตวรรษก่อน Kaggle นักสถิติเซอร์ ฟรานซิส กัลตัน สังเกตเห็นถึงศักยภาพของหน่วยสืบราชการลับโดยรวม เขาเกิดขึ้นในการแข่งขันที่งานปศุสัตว์ซึ่งผู้เข้าร่วมต้องเดาน้ำหนักของวัวตัวหนึ่ง ผู้คนแปดร้อยคนส่งการเดา แต่ระดับทักษะของพวกเขาแตกต่างกัน: ชาวนาและคนขายเนื้อเดาร่วมกับชาวเมืองที่ไม่เคยเห็นวัวตัวผู้มาก่อน ดังนั้น Galton จึงคิดว่าการเดาโดยเฉลี่ยค่อนข้างผิด

ปรากฎว่าค่าเฉลี่ยของการเดาของฝูงชนลดลงน้อยกว่าหนึ่งปอนด์ (< 0.1%) อย่างไรก็ตาม แม้แต่การทำนายส่วนบุคคลที่ดีที่สุดก็ยังทำได้ดี

เป็นไปได้อย่างไร? อะไรทำให้ผลลัพธ์ที่ไม่คาดคิดเช่นนี้เกิดขึ้นได้?

อะไรทำให้เครื่องตระการตามีประสิทธิภาพ

เหตุการณ์ที่บีบให้ Galton ตั้งคำถามกับความเชื่อของเขายังแสดงให้เห็นด้วยว่าสิ่งใดที่ทำให้วงดนตรีมีประสิทธิภาพ: หากคุณมีแบบจำลองที่ แตกต่างกัน และเป็นอิสระ ซึ่งได้รับการฝึกฝนโดยใช้ ข้อมูลส่วนต่างๆ ของ ปัญหาเดียวกัน สิ่งเหล่านี้จะทำงานร่วมกันได้ดีกว่าแบบแยกส่วน เหตุผล? แต่ละรุ่นจะได้เรียนรู้ส่วนต่าง ๆ ของแนวคิด ดังนั้น แต่ละรุ่นจะให้ผลลัพธ์ที่ถูกต้องและข้อผิดพลาดตาม “ความรู้” ของมัน

แต่สิ่งที่น่าสนใจที่สุดคือส่วนที่จริงแต่ละส่วนจะเสริมส่วนอื่นๆ ในขณะที่ข้อผิดพลาดจะหักล้างกันและกัน:

คุณต้องฝึกโมเดลที่มีความแปรปรวนสูง (เช่น โครงสร้างการตัดสินใจ) กับชุดย่อยของข้อมูลที่แตกต่างกัน ความแปรปรวนที่เพิ่มเข้ามานี้หมายความว่าแต่ละรุ่นมีข้อมูลที่ต่างกันมากเกินไป แต่เมื่อรวมกัน ความแปรปรวนจะหายไปราวกับมีเวทมนตร์ ทำให้เกิดรูปแบบใหม่ที่แข็งแกร่งยิ่งขึ้น

เช่นเดียวกับในกรณีของ Galton เมื่อข้อมูลทั้งหมดจากแหล่งที่มาทั้งหมดรวมกัน ผลลัพธ์จะ "ฉลาดกว่า" กว่าจุดข้อมูลที่แยกได้

มองอย่างใกล้ชิดที่ Ensemble Learning ในการแข่งขัน Kaggle

ที่ Otto Group Product Classification Challenge ผู้เข้าร่วมต้องสร้างแบบจำลองการคาดการณ์ที่สามารถแยกแยะระหว่างหมวดหมู่ผลิตภัณฑ์หลักได้

คุณสามารถดูวิธีการสร้างแบบจำลองที่ชนะได้ที่นี่ มันเป็นการซ้อนกันของสามเลเยอร์: อันแรกมี 33 โมเดล, อันที่สองเพิ่มอีกสามอัน (XGBoost, โครงข่ายประสาทเทียม และ AdaBoost) และอันที่สามคือค่าเฉลี่ยถ่วงน้ำหนักของเอาต์พุตเลเยอร์ก่อนหน้า มันเป็นทั้งแบบจำลองและวงดนตรีที่ซับซ้อนมาก

ความสำเร็จอีกประการหนึ่งของ Kaggle คือโมเดลที่สร้างขึ้นโดย Chenglong Chen ในการแข่งขัน Crowdflower Search Results Relevance ความท้าทายคือการสร้างตัวทำนายที่สามารถใช้วัดความเกี่ยวข้องของผลการค้นหาได้ คุณสามารถอ่านคำอธิบายทั้งหมดเกี่ยวกับวิธีการของเขาได้ แต่เนื่องจากจุดสนใจของเราคือวงดนตรี ส่วนสำคัญของเรื่องคือโซลูชันที่ชนะใช้ทั้งมวลของแบบจำลอง 35 แบบ ซึ่งส่วนมากเป็นตระการตาด้วย—เมตา-วงดนตรี ดังนั้น พูด.

วิธีการทั้งมวล

มีหลายวิธีในการใช้วิธีการทั้งมวลในการเรียนรู้ของเครื่อง เราจะสำรวจวิธีการยอดนิยมบางส่วน:

• บรรจุถุง
  • ป่าสุ่ม
• ส่งเสริม
  • AdaBoost
  • ไล่ระดับการเร่งความเร็วและ XGBoost
• วิธีการวงดนตรีไฮบริด
  • โหวต
  • ซ้อน
  • เรียงซ้อน

บรรจุถุง

ดังที่กล่าวไว้ คุณต้องฝึกโมเดลจำนวนมากสำหรับชุดย่อยของข้อมูลที่แตกต่างกัน ในทางปฏิบัติ การดำเนินการนี้ไม่ใช่เรื่องง่ายเพราะคุณต้องการข้อมูลสำหรับโมเดลจำนวนมากมากกว่าที่คุณต้องการสำหรับโมเดลเดียว และบางครั้งก็ไม่ง่ายที่จะได้รับชุดข้อมูลคุณภาพสูง นี่คือเวลาที่การบรรจุถุง (การรวมบูตสแตรป) มีประโยชน์ เนื่องจากจะแยกข้อมูลผ่านการบูตสแตรป: ตัวอย่างสุ่มพร้อมการแทนที่ ส่งผลให้เกิดชุดย่อยต่างๆ ที่ทับซ้อนกัน

เมื่อคุณฝึกโมเดลทั้งมวลแล้ว คุณจะสร้างการคาดการณ์ขั้นสุดท้ายโดยรวบรวมการคาดการณ์แต่ละโมเดลผ่านเมตริกใดๆ ที่คุณต้องการ เช่น ค่าเฉลี่ย ค่ามัธยฐาน โหมด และอื่นๆ คุณยังสามารถใช้ความน่าจะเป็นในการทำนายแบบจำลองเพื่อสร้างตัวชี้วัดแบบถ่วงน้ำหนัก:

หากเราต้องการใช้แผนผังการตัดสินใจเป็นแบบจำลอง แต่เรามีคุณสมบัติการคาดการณ์ที่แข็งแกร่งเพียงไม่กี่รายการในข้อมูลของเรา ต้นไม้ทั้งหมดจะมีความคล้ายคลึงกัน เนื่องจากแอตทริบิวต์เดียวกันมักจะอยู่ในโหนดรูท ซึ่งให้ผลลัพธ์ที่คล้ายคลึงกันในแต่ละกิ่งของต้นไม้

ป่าสุ่ม

เทคนิคหนึ่งในการแก้ไขปัญหานี้คือ ฟอ เรสต์สุ่ม มันสร้างชุดการห่อโดยใช้ต้นไม้ แต่แต่ละโหนดจำกัดแอตทริบิวต์ที่เป็นไปได้ให้กับชุดย่อยแบบสุ่ม สิ่งนี้บังคับให้แบบจำลองแตกต่างไปจากเดิมเพื่อแก้ไขปัญหาก่อนหน้านี้ นอกจากนี้ยังทำให้ฟอเรสต์สุ่มเป็นแบบอย่างที่ดีมากสำหรับการเลือกคุณสมบัติ

Random Forest เป็นหนึ่งในโมเดล ML ที่ได้รับความนิยมมากที่สุด เนื่องจากให้ประสิทธิภาพที่ดีโดยมีค่าความแปรปรวนและเวลาการฝึกต่ำ

ส่งเสริม

การบูสต์ยังใช้การบูตสแตรปเพื่อฝึกโมเดล โดยมีข้อแตกต่างที่สำคัญคือ การเพิ่มน้ำหนักให้กับแต่ละอินสแตนซ์ตามข้อผิดพลาดในการทำนายแบบจำลอง แม้ว่าการบรรจุถุงจะเป็นกระบวนการแบบคู่ขนาน แต่การเพิ่มกำลังเป็นกระบวนการที่ต่อเนื่องกัน โดยที่แต่ละรุ่นมีความน่าจะเป็นมากกว่า ซึ่งช่วยให้สามารถเข้าถึงบางกรณีของการทำนายแบบจำลองก่อนหน้า

ด้วยการปรับเปลี่ยนนี้ การเพิ่มกำลังพยายามเพิ่มการมุ่งเน้นเหนืออินสแตนซ์ที่จัดประเภทผิดเพื่อให้ได้รับประสิทธิภาพระดับโลกที่ดีขึ้น:

มันเพิ่มน้ำหนักให้กับโมเดลด้วย ผู้ทำนายที่มีประสิทธิภาพดีกว่าในเวลาฝึกจะมีน้ำหนักที่สูงกว่าในขั้นตอนการคาดการณ์

มาดูโมเดลการบูสต์ที่ได้รับความนิยมมากที่สุดกัน:

AdaBoost

AdaBoost เป็นหนึ่งในการใช้งานบูสต์ครั้งแรก มันทำเกือบตรงตามที่เราสรุปไว้เกี่ยวกับการส่งเสริมโดยทั่วไป และใช้แผนผังการตัดสินใจเป็นแบบจำลอง มาอธิบายขั้นตอนการฝึกด้วยการเข้ารหัสหลอกกัน:

 For each instance i Assign w[i] (weight, same for all) For each iteration t Generate a subset s[t] by weighted boosting (using the w[i] weights) Train model m[t] using s[t] Store m[t] Calculate e[t] (error rate of m[t]) Assign error rate e[t] to stored m[t] model If (e[t] <= a_threshold) Exit for Update weights using m[t] errors

ณ เวลาคาดการณ์ มันจะให้น้ำหนักการคาดคะเนแต่ละรายการตามอัตราข้อผิดพลาด e[t] ที่คำนวณสำหรับแต่ละอัน ผลลัพธ์ที่มีอัตราความผิดพลาดสูงจะมีน้ำหนักน้อยกว่าผลลัพธ์ที่มีความแม่นยำมากกว่า

ไล่ระดับการเร่งความเร็วและ XGBoost

ปัญหาสำคัญประการหนึ่งในการฝึกโมเดลจำนวนมากและทำให้ทำงานร่วมกันได้คือการค้นหาการกำหนดค่าไฮเปอร์พารามิเตอร์ที่ดีที่สุด เป็นการยากที่จะหาการกำหนดค่าที่ดีที่สุดสำหรับรุ่นเดียว การค้นหาการกำหนดค่าที่ดีที่สุดสำหรับรุ่น n จะเพิ่มความซับซ้อนแบบทวีคูณ คอนฟิกูเรชันในอุดมคติสำหรับโมเดลแบบแยกมักจะไม่เหมือนกับคอนฟิกูเรชันสำหรับโมเดลที่ต้องทำงานร่วมกับผู้อื่น ดังนั้นคุณควรค้นหาการกำหนดค่าของทุกรุ่นพร้อมกัน แต่อย่างไร

การเร่งสีแบบไล่โทนสีนำวิธีแก้ปัญหาที่สวยงามมาสู่ปัญหานี้ มันสร้างฟังก์ชันการสูญเสียที่มีค่าไฮเปอร์พารามิเตอร์ทั้งหมดของโมเดลทั้งหมดเป็นอินพุต และเป็นเอาต์พุต ข้อผิดพลาดของทั้งมวล โดยการไล่ระดับสีจะค้นหาค่าต่ำสุดของฟังก์ชัน (เช่น ข้อผิดพลาดต่ำสุด) และด้วยเหตุนี้การกำหนดค่าพารามิเตอร์ไฮเปอร์พารามิเตอร์ที่ดีที่สุดสำหรับแต่ละรุ่น

แนวทางนี้ทำให้เกิดปัญหาการปรับขนาด เข้าสู่ราชาแห่งแมชชีนเลิร์นนิงสำหรับข้อมูลที่มีโครงสร้าง: การเร่งความเร็วแบบสุดขั้ว, XGBoost เรียกสั้นๆ ว่า เป็นการนำการไล่ระดับความชันมาใช้อย่างมีประสิทธิภาพอย่างเหลือเชื่อ ด้วยเทคนิคต่างๆ เช่น การคำนวณแบบคู่ขนาน ความสามารถในการตรวจสอบข้ามในตัว การทำให้เป็นมาตรฐานเพื่อหลีกเลี่ยงการโอเวอร์ฟิต และการเพิ่มประสิทธิภาพฮาร์ดแวร์ XGBoost มอบประสิทธิภาพที่โดดเด่น

XGBoost ได้รับความนิยมเมื่อผู้สร้างใช้มันเพื่อท้าทาย Kaggle และชนะด้วยอัตรากำไรที่กว้าง เขาเผยแพร่ผลลัพธ์และสร้างเสื้อคลุม Python เพื่อให้ผู้คนจำนวนมากขึ้นใช้งานได้ เมื่อหลายคนตระหนักถึงศักยภาพของมัน XGBoost ก็กลายเป็นแชมป์ ML อย่างรวดเร็ว

วิธีการวงดนตรีไฮบริด

แต่เรื่องราวไม่ได้จบเพียงแค่นั้น เราเคยเห็นวงดนตรีหลายประเภทที่ทุกคนใช้รุ่นเดียวกัน—ทำไมไม่ลองใช้หลายๆ รุ่นรวมกันล่ะ? หากคุณทำได้ดี คุณสามารถสร้างเมธอด ML ที่ทรงพลังยิ่งขึ้นได้ นั่นคือ ไฮบริดตระการตา

โหวต

การลงคะแนนเสียงเป็นหนึ่งในวิธีที่ง่ายที่สุดในการสร้างวงดนตรีลูกผสม มันฝึกอัลกอริธึมแบบจำลองต่างๆ มากมายและทำให้พวกเขา "ลงคะแนน" ในขั้นตอนการคาดการณ์:

คุณสามารถเพิ่มน้ำหนักให้กับแต่ละโมเดลตามประสิทธิภาพหรือการคาดการณ์ความน่าจะเป็น และสร้างการโหวตแบบถ่วงน้ำหนัก

ซ้อน

การเรียงซ้อนทำให้แนวคิดของการลงคะแนนก้าวหน้าโดยการเพิ่มเลเยอร์ใหม่เหนือแบบจำลองพื้นฐานเพื่อทำการทำนายขั้นสุดท้ายแทนที่จะคำนวณแค่ค่าเฉลี่ยหรือเสียงข้างมาก เพิ่มแนวคิดของการเรียนรู้เมตา เนื่องจากเลเยอร์ใหม่ไม่ได้เรียนรู้จากข้อมูล แต่มาจากการทำนายแบบจำลอง:

คุณสามารถซ้อนเมตาเลเยอร์ทั้งหมดได้ตามต้องการ ส่งผลให้โมเดลมีหลายระดับ สำหรับโมเดลแบบเรียงซ้อน ฉันแนะนำให้ใช้แผนผังการตัดสินใจ SVM หรือ Perceptron สำหรับรุ่นพื้นฐาน คุณสามารถใช้วิธีการใดก็ได้ที่คุณต้องการ แม้แต่ชุดอื่น เพื่อสร้างชุดของตระการตา การซ้อนจะทำงานได้ดียิ่งขึ้นกับโมเดลพื้นฐาน เช่น แผนผังการตัดสินใจ ที่ไม่เพียงแต่สร้างการทำนายค่าเท่านั้น แต่ยังรวมถึงความน่าจะเป็นที่จะถูกต้องด้วย

การซ้อนเป็นที่นิยมน้อยกว่าการใส่ถุงหรือการเพิ่มกำลัง เนื่องจากเป็นการยากที่จะตีความว่าโมเดลแบบซ้อนกำลังเรียนรู้อะไร และเนื่องจากมีรูปแบบที่หลากหลายมากขึ้น: คุณสามารถเล่นกับอัลกอริธึมแบบจำลอง การกำหนดค่าไฮเปอร์พารามิเตอร์ และเลเยอร์การซ้อนได้หลายแบบ อย่างไรก็ตาม ด้วยการผสมผสานรูปแบบที่ลงตัว การวางซ้อนได้แข็งแกร่งกว่าการเพิ่มและการบรรจุถุง

เรียงซ้อน

Cascading ใช้เมื่อคุณต้องการความแน่นอนในการทำนายในระดับที่ดี ใช้วิธีการซ้อน แต่มีเพียงหนึ่งโมเดลในแต่ละเลเยอร์ ในแต่ละระดับ โมเดลจะละทิ้งอินสแตนซ์ที่ถือว่าไม่ใช่ของคลาสที่ต้องการ

ด้วยการเรียงซ้อน โมเดลอย่างง่ายจะประเมินข้อมูลก่อนที่โมเดลที่ซับซ้อนจะทำ ในขั้นตอนการคาดการณ์ โมเดลแรกจะได้รับข้อมูล หากค่าความแน่นอนไม่เกิน x (ค่าต้องสูง ซึ่งมากกว่า 0.9) ค่าความแน่นอนจะส่งต่อไปยังโมเดลถัดไป มิฉะนั้น แคสเคดจะส่งกลับเอาต์พุตที่คาดการณ์ไว้ของโมเดลนั้น หากไม่มีเลเยอร์ใดที่สามารถทำนายคลาสที่ต้องการได้ด้วยความแน่นอนในระดับสูง วงดนตรีจะคืนค่าคลาสเชิงลบ

กรณีการใช้งานแบบคลาสสิกสำหรับโมเดลนี้กำลังคาดการณ์เมื่อธุรกรรมมีแนวโน้มว่าจะเป็นการฉ้อโกง สมมติว่าระบบคำนวณธุรกรรมหลายล้านรายการต่อวัน และเป็นไปไม่ได้ที่จะควบคุมแต่ละรายการด้วยตนเอง การใช้ cascading ensemble สามารถละทิ้งธุรกรรมที่ไม่ฉ้อโกงและมีความเป็นไปได้สูงมาก โดยเหลือเพียงชุดย่อยของธุรกรรมที่ต้องตรวจสอบด้วยตนเอง:

โมเดลเหล่านี้เป็นตัวเลือกที่ดีเมื่อคุณต้องการตัววัดการเรียกคืนที่ยอดเยี่ยม

ต่างจากการลงคะแนนและการเรียงซ้อน กลุ่มแบบเรียงซ้อนใช้วิธีการแบบหลายสถานะมากกว่าวิธีการแบบผู้เชี่ยวชาญหลายคน สิ่งสำคัญคือต้องระมัดระวังเกี่ยวกับการเรียงซ้อนที่ลึกมากเพราะอาจทำให้เกิดการทับซ้อนกันได้

คุณค่าของวิธีการทั้งมวล

การรวมแบบจำลองต่างๆ เข้าด้วยกันทำให้เราสร้างตัวทำนายที่ดีขึ้นและมีประสิทธิภาพมากขึ้น เช่นเดียวกับที่เกิดขึ้นเมื่อมนุษย์ทำงานร่วมกัน เราสรุปกลุ่มวงดนตรีสามกลุ่ม ได้แก่ การบรรจุหีบห่อ การเพิ่มพลัง และลูกผสม และเห็นว่าพวกเขาฝึกและทำนายอย่างไร

ต้นไม้แห่งการตัดสินใจอาจเป็นแบบจำลองที่อ่อนแอและไม่เสถียร (โดยมีความแปรปรวนสูง) แต่ต้นไม้จำนวนมาก (ป่าสุ่ม) อาจเป็นตัวทำนายที่แม่นยำและมีเสถียรภาพมาก ข้อดีหลักประการหนึ่งของวงดนตรีคือพวกเขาสร้างแบบจำลองที่มีความแปรปรวนต่ำและมีอคติต่ำ ซึ่งเป็นหนึ่งในข้อเสียที่ใหญ่ที่สุดในการเรียนรู้ของเครื่อง ในกรณีส่วนใหญ่ วิธีนี้มีประสิทธิภาพเหนือกว่าวิธีอื่นๆ และบางครั้งก็ดีกว่าการเรียนรู้เชิงลึกด้วยซ้ำ มีแนวโน้มที่จะอ่อนแอกว่าเครือข่ายประสาทเทียมเฉพาะเมื่อทำงานกับข้อมูลที่ไม่มีโครงสร้าง

หากเราทำการเปรียบเทียบกับโครงข่ายประสาทเทียมเชิงลึกต่อไป เราสามารถพูดได้ว่าตระการตามักจะเบาและเร็วกว่าในขั้นตอนการฝึกและทดสอบ นอกจากนี้ ยังไม่ต้องใช้ฮาร์ดแวร์ราคาแพงในการทำงาน เช่น GPU แบบแยกอันทรงพลัง

เป็นความจริงที่ตระการตาขาดความเป็นไปได้ที่มนุษย์จะเข้าใจโดยสัญชาตญาณ เนื่องจากการมีแบบจำลองหลายสิบหรือหลายร้อยแบบทำงานพร้อมกันทำให้เกิดเครื่องมือขนาดใหญ่และซับซ้อน โชคดีที่เทคนิคบางอย่างช่วยให้เราเข้าใจว่าวิธีการเหล่านี้ตัดสินใจอย่างไร วิธีหนึ่งที่ได้รับความนิยมมากที่สุดคือ LIME ซึ่งเป็นวิธีการที่สร้างคำอธิบายที่ตีความได้สำหรับอินสแตนซ์เฉพาะบนโมเดลการเรียนรู้ของเครื่อง

การแข่งขัน Kaggle ไม่ได้เกิดขึ้นเพียงเพื่อให้นักพัฒนาได้สนุกสนาน เรียนรู้ทักษะใหม่ๆ หรือลุ้นรับรางวัล เป้าหมายสูงสุดคือการสร้างโมเดลที่แข็งแกร่งและปล่อยพวกมันออกสู่ป่า เพื่อให้พวกเขาทำเวทย์มนตร์ในสถานการณ์จริง โมเดลประเภทนี้ถูกใช้โดยองค์กรที่จัดการกับปัญหาที่สำคัญ ตัวอย่างเช่น การตรวจจับการฉ้อโกงเป็นกรณีการใช้งานทั่วไปในอุตสาหกรรมต่างๆ เช่น การธนาคารและการเดินทาง ซึ่งเกี่ยวข้องกับการย้ายเงินจำนวนมากในธุรกรรมเดียว

วงดนตรีสร้างการคาดการณ์ได้ดีกว่าโดยมีความแปรปรวนและอคติต่ำกว่ารุ่นอื่นๆ อย่างไรก็ตาม เป็นการยากที่จะตีความสิ่งที่พวกเขากำลังเรียนรู้ และอาจมีความสำคัญอย่างยิ่งในแอปพลิเคชันที่มีความละเอียดอ่อนบางอย่าง ตัวอย่างหนึ่งคืออุตสาหกรรมสินเชื่อส่วนบุคคล: โมเดล ML สามารถกำหนดได้ว่าบุคคลใดมีสิทธิ์ได้รับเงินกู้หรือไม่ อย่างไรก็ตาม หากลูกค้าถามว่าทำไมสถาบันการเงินปฏิเสธเงินกู้ ควรมีคำอธิบายโดยละเอียด ไม่ใช่แค่ “เพราะโมเดล ML ของเราพูดอย่างนั้น”

ในท้ายที่สุด ไม่ว่าคุณต้องการสร้างโมเดล ML อันทรงพลังสำหรับแอปพลิเคชันระดับองค์กร ธนาคารขนาดใหญ่หรือธุรกิจขนาดเล็ก หรือเพียงแค่เข้าร่วมการแข่งขันเพื่อเพิ่มชื่อเสียงในอาชีพของคุณ วงดนตรีควรเป็นเครื่องมือที่คุณเลือก