การถดถอยเชิงเส้นเทียบกับ Logistic Regression: ความแตกต่างระหว่างการถดถอยเชิงเส้นและการถดถอยโลจิสติก
เผยแพร่แล้ว: 2020-09-10โลกของการเรียนรู้ของเครื่องจะไม่สมบูรณ์หากไม่มีอัลกอริธึมการเรียนรู้ของเครื่องที่ง่ายที่สุดสองขั้นตอน ใช่ ทั้งการถดถอยเชิงเส้นและการถดถอยโลจิสติกเป็นอัลกอริธึมการเรียนรู้ของเครื่องที่ตรงไปตรงมาที่สุดที่คุณสามารถนำมาใช้ได้ ก่อนที่จะพูดถึงความแตกต่างระหว่างการถดถอยเชิงเส้นและการถดถอยโลจิสติก ก่อนอื่นเราต้องเข้าใจพื้นฐานซึ่งวางรากฐานของอัลกอริธึมทั้งสองนี้
ขั้นแรก อัลกอริทึมทั้งสองนี้มีการควบคุมดูแลการเรียนรู้ตามธรรมชาติ หมายความว่า ข้อมูลที่คุณจะป้อนลงในอัลกอริธึมทั้งสองนี้ควรมีป้ายกำกับอย่างดี สิ่งสำคัญอีกอย่างที่ควรทราบคือกรณีการใช้งาน ประการแรกความแตกต่างที่ชัดเจนอย่างหนึ่งระหว่างอัลกอริธึมทั้งสองนี้คือกรณีการใช้งานของทั้งสอง ใช้การถดถอยเชิงเส้นเมื่อใดก็ตามที่เราต้องการทำการถดถอย หมายความว่า เราใช้การถดถอยเชิงเส้นเมื่อใดก็ตามที่เราต้องการทำนายตัวเลขต่อเนื่อง เช่น ราคาบ้านในพื้นที่เฉพาะ
อย่างไรก็ตาม การใช้การถดถอยโลจิสติกเกิดขึ้นในปัญหาการจำแนกประเภท ความหมาย ถ้าเราต้องการทำนายว่าบ้านใดบ้านหนึ่งมีราคาแพงหรือไม่แพง (แทนที่จะเป็นราคา) เราใช้อัลกอริทึมของการถดถอยโลจิสติก ใช่ แม้ว่าการถดถอยโลจิสติกจะมีคำว่าการถดถอยในชื่อ แต่ก็ใช้สำหรับการจัดหมวดหมู่
มีรายละเอียดปลีกย่อยที่น่าตื่นเต้นอีกมากมายซึ่งคุณจะพบตามรายการด้านล่าง แต่ก่อนที่จะเปรียบเทียบการถดถอยเชิงเส้นกับการถดถอยโลจิสติก เรามาเรียนรู้เพิ่มเติมเกี่ยวกับอัลกอริธึมเหล่านี้กันก่อน
สารบัญ
การถดถอยเชิงเส้น
การถดถอยเชิงเส้นเป็นอัลกอริธึมการเรียนรู้ของเครื่องที่ง่ายและสะดวกที่สุดสำหรับทั้งการทำความเข้าใจและปรับใช้ มันเป็นอัลกอริธึมการเรียนรู้ภายใต้การดูแล ดังนั้นหากเราต้องการทำนายค่าต่อเนื่อง (หรือทำการถดถอย) เราจะต้องให้บริการอัลกอริธึมนี้ด้วยชุดข้อมูลที่มีป้ายกำกับอย่างดี อัลกอริธึมการเรียนรู้ด้วยเครื่องนี้ตรงไปตรงมาที่สุดเนื่องจากมีลักษณะเชิงเส้น เพื่อให้ทำนายค่าในอนาคตได้สำเร็จ การถดถอยเชิงเส้นจะพยายามสร้างเส้นตรงผ่านข้อมูลที่ป้อนเข้าสู่อัลกอริทึม
ดังนั้น เมื่อใดก็ตามที่ข้อมูลใดๆ ถูกป้อนเข้าสู่อัลกอริธึมการถดถอยเชิงเส้น ข้อมูลนั้นจะใช้สมการของเส้นตรง สุ่มเลือกความชันและสกัดกั้นจนกว่าจะพบเส้นที่เหมาะสมที่สุด หากข้อมูลที่เราป้อนลงในอัลกอริธึมนี้มีตัวแปรอิสระเพียงตัวเดียว จะเรียกว่าการถดถอยเชิงเส้นอย่างง่าย
ในทางกลับกัน หากข้อมูลมีตัวแปรอิสระหลายตัว การถดถอยจะกลายเป็นการถดถอยเชิงเส้นหลายตัว รูปแบบทางคณิตศาสตร์ของการถดถอยเชิงเส้นเป็นเพียงรูปแบบหนึ่งของเส้นตรงที่แสดงด้านล่าง
y= a0+a1x+ c
ในที่นี้ y คือตัวแปรตาม a0 และ a1 คือสัมประสิทธิ์ที่อัลกอริทึมนี้ได้รับมอบหมายให้ค้นหา x คือตัวแปรตาม และ c คือค่าการสกัดกั้นของเส้นตรงนี้
การถดถอยโลจิสติก
ไม่จำเป็นต้องพูดว่าการถดถอยโลจิสติกเป็นหนึ่งในอัลกอริธึมการเรียนรู้ของเครื่องจำแนกประเภทที่ตรงไปตรงมาที่สุดแต่ทรงพลังมากภายใต้อัลกอริธึมการเรียนรู้ภายใต้การดูแล อัลกอริทึมนี้สามารถใช้สำหรับปัญหาการถดถอย แต่ส่วนใหญ่จะใช้เพื่อแก้ปัญหาการจำแนกประเภทแทน ผลลัพธ์ที่เราได้รับจากอัลกอริธึมนี้จะอยู่ระหว่าง 0 ถึง 1 เสมอ เนื่องจากการจำแนกอินสแตนซ์เป็นคลาสได้อย่างง่ายดายโดยใช้ค่าการจำแนกตามเกณฑ์
คำว่า logistic ในชื่อหมายถึงฟังก์ชันการเปิดใช้งานซึ่งใช้ในการถดถอยนี้ ฟังก์ชันการเปิดใช้งานหรือฟังก์ชันลอจิสติก ในกรณีนี้ แท้จริงแล้วไม่มีอะไรเลยนอกจากฟังก์ชันซิกมอยด์ เป็นคุณสมบัติของฟังก์ชัน sigmoid ซึ่งทำให้ค่าของการถดถอยโลจิสติกอยู่ระหว่างศูนย์ถึงหนึ่งเสมอ ฟังก์ชัน sigmoid มีลักษณะดังนี้:
ในที่นี้ y คือเอาต์พุตผ่านฟังก์ชัน sigmoid และ x คือตัวแปรอิสระ ในกรณีของการถดถอยโลจิสติก ตัวแปร x จะเป็นสมการถดถอยเชิงเส้นทั้งหมด ดังนั้น สมการสำหรับการถดถอยโลจิสติกสามารถพัฒนาได้ ซึ่งเขียนไว้ด้านล่าง:
ในที่นี้ ความหมายของตัวแปรจะคล้ายกับตัวแปรในการถดถอยโลจิสติก x คือตัวแปรอิสระ และ y คือตัวแปรตาม b0, b1, b2 เป็นต้น เป็นสัมประสิทธิ์ที่อัลกอริทึมนี้กำหนด
ความแตกต่างระหว่างการถดถอยเชิงเส้นและการถดถอยโลจิสติก
ด้านล่างนี้ คุณจะพบการเปรียบเทียบที่ครอบคลุมของการถดถอยเชิงเส้นกับการถดถอยโลจิสติกเคียงข้างกัน:
| การถดถอยเชิงเส้น | การถดถอยโลจิสติก |
| มันต้องการข้อมูลที่มีป้ายกำกับอย่างดี ซึ่งหมายความว่าต้องมีการควบคุมดูแล และใช้สำหรับเพื่อการถดถอย ดังนั้น การถดถอยเชิงเส้นจึงเป็นอัลกอริธึมการถดถอยที่มีการควบคุมดูแล | นอกจากนี้ยังต้องการข้อมูลที่ป้อนเข้าไปเพื่อให้มีป้ายกำกับที่ดี อย่างไรก็ตาม อัลกอริทึมนี้ใช้สำหรับการจัดประเภทแทนการถดถอย ดังนั้นการถดถอยโลจิสติกจึงเป็นอัลกอริธึมการจำแนกประเภทภายใต้การดูแล |
| การคาดคะเนที่ได้จากอัลกอริธึมการถดถอยเชิงเส้นมักจะเป็นค่าที่สามารถอยู่ในช่วงของอนันต์ลบถึงอนันต์บวก | การคาดคะเนที่ได้จากการถดถอยโลจิสติกนั้นแท้จริงแล้วอยู่ในช่วง 0 ถึง 1 คุณลักษณะนี้ช่วยให้สามารถจำแนกประเภทได้ง่ายโดยใช้ค่าเกณฑ์ |
| การถดถอยเชิงเส้นไม่ต้องการฟังก์ชั่นการเปิดใช้งาน | ที่นี่เราต้องการฟังก์ชั่นการเปิดใช้งาน ในกรณีนี้ ฟังก์ชันนั้นคือฟังก์ชันซิกมอยด์ |
| ไม่มีค่าขีดจำกัดในการถดถอยเชิงเส้น | ในการถดถอยโลจิสติก จำเป็นต้องมีค่าขีดจำกัดเพื่อกำหนดคลาสของแต่ละอินสแตนซ์อย่างเหมาะสม |
| ตัวแปรตามในกรณีของการถดถอยเชิงเส้นจะต้องมีความต่อเนื่องในธรรมชาติ หมายความว่าเราไม่สามารถส่งผ่านตัวแปรซึ่งเป็นหมวดหมู่และคาดหวังค่าต่อเนื่องในการทำนาย | ตัวแปรตามในกรณีของการถดถอยโลจิสติกจะต้องจัดหมวดหมู่ หมายความว่าควรมีหมวดหมู่ต่างกัน (ไม่เกินสองหมวดหมู่) |
| เป้าหมายของอัลกอริทึมนี้คือการค้นหาแนวที่เหมาะสมที่สุดผ่านจุดข้อมูลการฝึกอบรม ดังนั้นเส้นตรงที่เป็นผลลัพธ์ซึ่งเราวาดควรสัมผัสเกือบทุกจุดการฝึกถ้าพอดีไม่สูงหรือต่ำ | หากเราทำการเปลี่ยนแปลงใดๆ กับสัมประสิทธิ์ของเส้นโค้งการถดถอยโลจิสติก พล็อตทั้งหมดของมันจะเปลี่ยนรูปร่างของมัน |
| สำหรับการทำนายค่า อัลกอริธึมของการถดถอยเชิงเส้นใช้สมมติฐานพื้นฐาน ถือว่าค่าที่ส่งผ่านไปยังอัลกอริธึมนี้เป็นไปตามการแจกแจงแบบปกติมาตรฐานหรือกระจายตามการแจกแจงแบบเกาส์เซียน | อัลกอริธึมของการถดถอยโลจิสติกยังทำให้สมมติฐานของการกระจายข้อมูลที่ถูกส่งผ่านไปยังฟังก์ชัน sigmoid ถือว่าข้อมูลเป็นไปตามการแจกแจงแบบทวินาม |
ต้องการเรียนรู้เพิ่มเติมหรือไม่?
หากคุณสนใจที่จะเรียนรู้เพิ่มเติมเกี่ยวกับแมชชีนเลิร์นนิง โปรดดูที่ IIIT-B & upGrad's PG Diploma in Machine Learning & AI ซึ่งออกแบบมาสำหรับมืออาชีพที่ทำงานและมีการฝึกอบรมที่เข้มงวดมากกว่า 450 ชั่วโมง กรณีศึกษาและการมอบหมายมากกว่า 30 รายการ IIIT- สถานะศิษย์เก่า B, 5+ โครงการหลักที่ใช้งานได้จริง & ความช่วยเหลือด้านงานกับบริษัทชั้นนำ
อะไรคือข้อเสียของการใช้การถดถอยโลจิสติก?
แบบจำลองการถดถอยโลจิสติกคาดการณ์ตัวแปรข้อมูลที่ขึ้นต่อกันโดยการตรวจสอบการเชื่อมต่อระหว่างตัวแปรอิสระที่มีอยู่ก่อนอย่างน้อยหนึ่งตัว การถดถอยโลจิสติกซึ่งมักใช้สำหรับงานจำแนกประเภทมีข้อดีหลายประการ แต่ก็มีข้อเสียอยู่บ้าง เมื่อทำงานกับชุดข้อมูลที่มีมิติสูง การจำลองแบบมากเกินไปอาจเกิดขึ้น ส่งผลให้ได้ข้อสรุปที่ไม่ถูกต้อง เนื่องจากการเตรียมข้อมูลเป็นขั้นตอนที่ใช้เวลานานเมื่อใช้การถดถอยโลจิสติก การบำรุงรักษาข้อมูลจึงกลายเป็นเรื่องยากเช่นกัน ข้อเสียที่สำคัญประการหนึ่งของการถดถอยโลจิสติกคือไม่สามารถจัดการกับปัญหาที่ไม่เป็นเชิงเส้นได้
การถดถอยโลจิสติกพหุนามหมายถึงอะไร
การถดถอยโลจิสติกพหุนามเป็นส่วนขยายการถดถอยโลจิสติกแบบไบนารีที่สามารถรองรับตัวแปรตามหรือตัวแปรผลลัพธ์ได้มากกว่าสองตัว คล้ายกับการถดถอยโลจิสติก ยกเว้นว่ามีผลลัพธ์ที่เป็นไปได้มากมาย ไม่ใช่แค่ผลลัพธ์เดียว เป็นแนวทางการเรียนรู้ของเครื่องภายใต้การดูแลแบบดั้งเดิมพร้อมความสามารถในการจำแนกประเภทหลายคลาส โมเดลลอจิสติกส์พหุนามประกอบด้วยสมมติฐานต่างๆ ซึ่งหนึ่งในนั้นคือข้อมูลที่คิดว่าเป็นกรณีเฉพาะ หมายความว่าตัวแปรอิสระแต่ละตัวมีค่าเดียวสำหรับแต่ละอินสแตนซ์ โมเดลลอจิสติกส์พหุนามยังวางตัวว่าในสถานการณ์ใดก็ตาม ตัวแปรตามไม่สามารถทำนายได้อย่างแม่นยำจากตัวแปรอิสระ
เราจะใช้การถดถอยเชิงเส้นเพื่อแก้ปัญหาในชีวิตจริงได้อย่างไร
การถดถอยเชิงเส้นใช้กันอย่างแพร่หลายในสถานการณ์และภาคส่วนต่างๆ ในโลกแห่งความเป็นจริง ธุรกิจมักใช้การถดถอยเชิงเส้นเพื่อทำความเข้าใจความสัมพันธ์ระหว่างการโฆษณา การใช้จ่าย และผลกำไร นักวิจัยทางการแพทย์มักใช้การถดถอยเชิงเส้นเพื่อตรวจสอบความสัมพันธ์ระหว่างขนาดยาและความดันโลหิตของผู้ป่วย นักวิทยาศาสตร์การเกษตรมักใช้การถดถอยเชิงเส้นเพื่อประเมินอิทธิพลของปุ๋ยและน้ำต่อผลผลิตพืชผล ดังนั้น การใช้การถดถอยเชิงเส้นจึงมีความหลากหลายในการแก้ปัญหาในชีวิตจริง