เทคนิคการเรียนรู้เชิงลึก 10 อันดับแรกที่คุณควรรู้

บทนำ

แมชชีนเลิร์นนิงและ AI ได้เปลี่ยนโลกรอบตัวเราในช่วงไม่กี่ปีที่ผ่านมาด้วยนวัตกรรมที่ก้าวล้ำ นอกจากนี้ยังเป็น เทคนิคการเรียนรู้เชิงลึก ต่างๆ ที่นำการเรียนรู้ของเครื่องไปสู่ระดับใหม่ทั้งหมด โดยที่เครื่องสามารถเรียนรู้ที่จะแยกแยะงาน โดยได้รับแรงบันดาลใจจากโครงข่ายประสาทของสมองมนุษย์ เป็นเหตุผลว่าทำไมเราจึงมีการควบคุมด้วยเสียงบนสมาร์ทโฟนและรีโมตทีวีของเรา

มี รูปแบบการเรียนรู้เชิงลึก หลายประเภท ที่ทั้งถูกต้องและมีประสิทธิภาพในการแก้ปัญหาที่ซับซ้อนเกินไปสำหรับสมองของมนุษย์ โดยใช้วิธีดังนี้:

เทคนิคการเรียนรู้เชิงลึก 10 อันดับแรก

1. โครงข่ายประสาทเทียมแบบคลาสสิก

ยังเป็นที่รู้จักกันในนาม Fully Connected Neural Networks ซึ่งมักถูกระบุโดย perceptrons แบบหลายชั้น ซึ่งเซลล์ประสาทจะเชื่อมต่อกับชั้นที่ต่อเนื่องกัน ได้รับการออกแบบโดย Fran Rosenblatt นักจิตวิทยาชาวอเมริกันใน ปี 1958 โดยเกี่ยวข้องกับการปรับแบบจำลองให้เป็นอินพุตข้อมูลไบนารีพื้นฐาน มีสามฟังก์ชันที่รวมอยู่ในรุ่นนี้:

• ฟังก์ชันเชิงเส้น: เรียกว่าถูกต้อง มันแสดงถึงบรรทัดเดียวที่คูณอินพุตด้วยตัวคูณคงที่
• ฟังก์ชันไม่เชิงเส้น: มันถูกแบ่งออกเป็นสามส่วนย่อยเพิ่มเติม:

1. Sigmoid Curve: เป็นฟังก์ชันที่ตีความว่าเป็นเส้นโค้งรูปตัว S โดยมีช่วงตั้งแต่ 0 ถึง 1
2. ไฮเปอร์โบลิกแทนเจนต์ (tanh) หมายถึงเส้นโค้งรูปตัว S ที่มีช่วง -1 ถึง 1
3. Rectified Linear Unit (ReLU): เป็นฟังก์ชันจุดเดียวที่ให้ค่า 0 เมื่อค่าอินพุตน้อยกว่าค่าที่ตั้งไว้และให้ผลคูณเชิงเส้นหากอินพุตได้รับสูงกว่าค่าที่ตั้งไว้

ทำงานได้ดีที่สุดใน:

1. ชุดข้อมูลตารางใดๆ ที่มีการจัดรูปแบบแถวและคอลัมน์ใน CSV
2. ปัญหาการจำแนกประเภทและการถดถอยด้วยการป้อนค่าจริง
3. รุ่นใดก็ได้ที่มีความยืดหยุ่นสูงสุด เช่นเดียวกับ ANNS

2. โครงข่ายประสาทเทียม

CNN เป็นแบบจำลองโครงข่ายประสาทเทียมแบบคลาสสิกที่ล้ำหน้าและมีศักยภาพสูง สร้างขึ้นเพื่อจัดการกับความซับซ้อนที่สูงขึ้น การประมวลผลล่วงหน้า และการรวบรวมข้อมูล ใช้การอ้างอิงจากลำดับการจัดเรียงของเซลล์ประสาทที่มีอยู่ในเปลือกสมองของสัตว์

CNN ถือได้ว่าเป็นหนึ่งในโมเดลที่ยืดหยุ่นอย่างมีประสิทธิภาพมากที่สุดสำหรับความเชี่ยวชาญด้านรูปภาพและข้อมูลที่ไม่ใช่รูปภาพ เหล่านี้มีสี่องค์กรที่แตกต่างกัน:

• ประกอบด้วยชั้นอินพุตเดียว ซึ่งโดยทั่วไปแล้วเป็นการจัดเรียงเซลล์ประสาทแบบสองมิติสำหรับการวิเคราะห์ข้อมูลภาพหลัก ซึ่งคล้ายกับพิกเซลของภาพถ่าย
• CNN บางแห่งยังประกอบด้วยเลเยอร์เอาต์พุตของเซลล์ประสาทมิติเดียวที่ประมวลผลภาพบนอินพุตของพวกมัน ผ่านเลเยอร์ convolutional ที่เชื่อมต่อกันกระจัดกระจาย
• ซีเอ็นเอ็นยังมีชั้นที่สามที่เรียกว่าชั้นสุ่มตัวอย่างเพื่อจำกัดจำนวนเซลล์ประสาทที่เกี่ยวข้องในชั้นเครือข่ายที่สอดคล้องกัน
• โดยรวมแล้ว CNN มีชั้นที่เชื่อมต่อกันเพียงชั้นเดียวหรือหลายชั้นที่เชื่อมต่อการสุ่มตัวอย่างกับชั้นผลลัพธ์

โมเดลเครือข่ายนี้สามารถช่วยให้ได้ข้อมูลภาพที่เกี่ยวข้องในรูปแบบของหน่วยหรือชิ้นส่วนที่เล็กกว่า เซลล์ประสาทที่มีอยู่ในชั้นการบิดตัวมีหน้าที่รับผิดชอบต่อคลัสเตอร์ของเซลล์ประสาทในชั้นก่อนหน้า

เมื่อนำเข้าข้อมูลเข้าในโมเดล convolutional มีสี่ขั้นตอนที่เกี่ยวข้องในการสร้าง CNN:

• Convolution: กระบวนการนี้มาจากแผนที่คุณลักษณะจากข้อมูลที่ป้อน ตามด้วยฟังก์ชันที่ใช้กับแผนที่เหล่านี้
• Max-Pooling: ช่วยให้ CNN ตรวจจับภาพตามการปรับเปลี่ยนที่กำหนด
• การทำให้ แบน: ในขั้นตอนนี้ ข้อมูลที่สร้างขึ้นจะถูกทำให้แบนเพื่อให้ CNN วิเคราะห์
• การ เชื่อมต่อแบบเต็ม: มักถูกอธิบายว่าเป็นเลเยอร์ที่ซ่อนอยู่ซึ่งรวบรวมฟังก์ชันการสูญเสียสำหรับโมเดล

ซีเอ็นเอ็นเพียงพอสำหรับงานต่างๆ รวมถึงการจดจำภาพ การวิเคราะห์ภาพ การแบ่งส่วนภาพ การวิเคราะห์วิดีโอ และการประมวลผลภาษาธรรมชาติ อย่างไรก็ตาม อาจมีสถานการณ์อื่นๆ ที่เครือข่าย CNN สามารถพิสูจน์ได้ว่ามีประโยชน์ เช่น:

• ชุดข้อมูลรูปภาพที่มีการวิเคราะห์เอกสาร OCR
• ข้อมูลอินพุตสองมิติใดๆ ที่สามารถแปลงเป็นหนึ่งมิติเพิ่มเติมเพื่อการวิเคราะห์ที่รวดเร็วยิ่งขึ้น
• โมเดลต้องมีส่วนร่วมในสถาปัตยกรรมเพื่อให้ได้ผลลัพธ์

อ่านเพิ่มเติม: Convulational Neural Network

3. โครงข่ายประสาทที่เกิดซ้ำ (RNNs)

RNN ได้รับการออกแบบมาเพื่อช่วยทำนายลำดับก่อน เช่น อัลกอริทึม Long Short-Term Memory (LSTM) เป็นที่รู้จักจากฟังก์ชันการทำงานที่หลากหลาย เครือข่ายดังกล่าวทำงานทั้งหมดบนลำดับข้อมูลของความยาวอินพุตแบบแปรผัน

RNN นำความรู้ที่ได้รับจากสถานะก่อนหน้าเป็นค่าอินพุตสำหรับการทำนายปัจจุบัน ดังนั้นจึงสามารถช่วยในการบรรลุหน่วยความจำระยะสั้นในเครือข่าย นำไปสู่การจัดการการเปลี่ยนแปลงราคาหุ้นหรือระบบข้อมูลตามเวลาอื่นๆ อย่างมีประสิทธิภาพ

ดังที่ได้กล่าวไว้ก่อนหน้านี้ การออกแบบ RNN โดยรวมมีสองประเภทที่ช่วยในการวิเคราะห์ปัญหา พวกเขาเป็น:

• LSTM: มีประโยชน์ในการทำนายข้อมูลในลำดับเวลาโดยใช้หน่วยความจำ มีสามประตู: อินพุต, เอาต์พุตและลืม
• Gated RNNs: ยังมีประโยชน์ในการทำนายข้อมูลของลำดับเวลาผ่านหน่วยความจำ มีสองประตู— อัปเดตและรีเซ็ต

ทำงานได้ดีที่สุดใน:

• หนึ่งต่อหนึ่ง: อินพุตเดียวที่เชื่อมต่อกับเอาต์พุตเดียว เช่น การจัดประเภทรูปภาพ
• หนึ่งต่อหลาย: อินพุตเดียวที่เชื่อมโยงกับลำดับเอาต์พุต เช่น คำอธิบายภาพที่มีคำหลายคำจากภาพเดียว
• หลายต่อหนึ่ง: ชุดของอินพุตที่สร้างเอาต์พุตเดี่ยว เช่น การวิเคราะห์ความคิดเห็น
• หลายต่อหลายชุด: ชุดของอินพุตที่ให้ผลลัพธ์เป็นชุด เช่น การจำแนกวิดีโอ

นอกจากนี้ยังใช้กันอย่างแพร่หลายในการแปลภาษา การสร้างแบบจำลองการสนทนา และอื่นๆ

รับ หลักสูตรแมชชีนเลิ ร์นนิง ออนไลน์ที่ดีที่สุดจากมหาวิทยาลัยชั้นนำของโลก รับ Masters, Executive PGP หรือ Advanced Certificate Programs เพื่อติดตามอาชีพของคุณอย่างรวดเร็ว

4. เครือข่ายปฏิปักษ์ทั่วไป

เป็นการผสมผสานระหว่าง เทคนิคการเรียนรู้เชิงลึกสองเทคนิค ของโครงข่ายประสาทเทียม – ตัวสร้างและตัวแบ่งแยก แม้ว่าเครือข่าย Generator Network จะให้ข้อมูลเทียม แต่ Discriminator ช่วยในการแยกแยะระหว่างข้อมูลจริงและข้อมูลเท็จ

เครือข่ายทั้งสองมีการแข่งขันกัน เนื่องจากตัวสร้างยังคงสร้างข้อมูลเทียมเหมือนกับข้อมูลจริง และ Discriminator จะตรวจจับข้อมูลจริงและไม่จริงอย่างต่อเนื่อง ในสถานการณ์ที่มีข้อกำหนดในการสร้างไลบรารีรูปภาพ เครือข่าย Generator จะสร้างข้อมูลจำลองไปยังรูปภาพจริง จากนั้นจะสร้างโครงข่ายประสาทเทียม

จากนั้นตามด้วยเครือข่าย Image Detector เพื่อแยกความแตกต่างระหว่างภาพจริงและภาพปลอม เริ่มต้นด้วย โอกาสความแม่นยำ 50% เครื่องตรวจจับจำเป็นต้องพัฒนาคุณภาพการจัดประเภทเนื่องจากเครื่องกำเนิดจะเติบโตได้ดีขึ้นในการสร้างภาพประดิษฐ์ การแข่งขันดังกล่าวโดยรวมจะส่งผลต่อเครือข่ายในด้านประสิทธิภาพและความรวดเร็ว

ทำงานได้ดีที่สุดใน:

• การสร้างรูปภาพและข้อความ
• การปรับปรุงภาพ
• กระบวนการค้นพบยาใหม่

5. แผนที่จัดระเบียบตนเอง

SOM หรือ Self-Organizing Maps ทำงานโดยใช้ข้อมูลที่ไม่ได้รับการดูแล ซึ่งช่วยลดจำนวนตัวแปรสุ่มในแบบจำลอง ใน เทคนิคการเรียนรู้เชิงลึก ประเภท นี้ มิติผลลัพธ์ได้รับการแก้ไขเป็นแบบจำลองสองมิติ เนื่องจากไซแนปส์แต่ละรายการเชื่อมต่อกับโหนดอินพุตและเอาต์พุต

ในขณะที่จุดข้อมูลแต่ละจุดแข่งขันกันเพื่อนำเสนอโมเดล SOM จะอัปเดตน้ำหนักของโหนดที่ใกล้ที่สุดหรือ Best Matching Units (BMU) ขึ้นอยู่กับความใกล้ชิดของ BMU ค่าของน้ำหนักจะเปลี่ยนไป เนื่องจากน้ำหนักถือเป็นคุณลักษณะของโหนดในตัวเอง ค่าจึงแสดงถึงตำแหน่งของโหนดในเครือข่าย

ทำงานได้ดีที่สุดใน:

• เมื่อชุดข้อมูลไม่ได้มาพร้อมกับค่าแกน Y
• การสำรวจโครงการเพื่อวิเคราะห์กรอบชุดข้อมูล
• โครงการสร้างสรรค์ในเพลง วิดีโอ และข้อความด้วยความช่วยเหลือของ AI

6. เครื่องจักร Boltzmann

โมเดลเครือข่ายนี้ไม่มีทิศทางที่กำหนดไว้ล่วงหน้า ดังนั้นจึงมีโหนดที่เชื่อมต่อกันในลักษณะวงกลม เนื่องจากเอกลักษณ์ดังกล่าว เทคนิคการเรียนรู้เชิงลึก นี้ จึงถูกใช้เพื่อสร้างพารามิเตอร์ของแบบจำลอง

แตกต่างจากโมเดลเครือข่ายที่กำหนดขึ้นก่อนทั้งหมด โมเดล Boltzmann Machines ถูกเรียกว่าสุ่ม

ทำงานได้ดีที่สุดใน:

• การตรวจสอบระบบ
• การตั้งค่าแพลตฟอร์มการแนะนำไบนารี
• กำลังวิเคราะห์ชุดข้อมูลเฉพาะ

อ่าน: วิธีการทีละขั้นตอนในการสร้างระบบ AI ของคุณเองวันนี้

7. การเรียนรู้การเสริมแรงอย่างล้ำลึก

ก่อนที่จะเข้าใจเทคนิค Deep Reinforcement Learning การเรียนรู้แบบเสริมกำลังหมายถึงกระบวนการที่ตัวแทนโต้ตอบกับสภาพแวดล้อมเพื่อแก้ไขสถานะ ตัวแทนสามารถสังเกตและดำเนินการตามนั้น ตัวแทนช่วยให้เครือข่ายบรรลุเป้าหมายโดยการโต้ตอบกับสถานการณ์

ในโมเดลเครือข่ายนี้ มีเลเยอร์อินพุต เลเยอร์เอาต์พุต และหลายเลเยอร์ที่ซ่อนอยู่ โดยที่สถานะของสภาพแวดล้อมคือเลเยอร์อินพุตเอง ตัวแบบทำงานบนความพยายามอย่างต่อเนื่องในการทำนายรางวัลในอนาคตของการกระทำแต่ละอย่างที่เกิดขึ้นในสถานะที่กำหนดของสถานการณ์

ทำงานได้ดีที่สุดใน:

• เกมกระดานอย่างหมากรุก โป๊กเกอร์
• รถยนต์ขับเอง
• วิทยาการหุ่นยนต์
• การจัดการสินค้าคงคลัง
• งานทางการเงินเช่นการกำหนดราคาสินทรัพย์

8. ตัวเข้ารหัสอัตโนมัติ

หนึ่งในประเภท เทคนิคการเรียนรู้เชิงลึก ที่ใช้บ่อยที่สุด โมเดลนี้ทำงานโดยอัตโนมัติตามอินพุต ก่อนที่จะใช้ฟังก์ชันการเปิดใช้งานและการถอดรหัสเอาต์พุตขั้นสุดท้าย การก่อตัวของคอขวดดังกล่าวนำไปสู่การให้หมวดหมู่ข้อมูลน้อยลงและใช้ประโยชน์จากโครงสร้างข้อมูลส่วนใหญ่ที่มีอยู่

ประเภทของตัวเข้ารหัสอัตโนมัติคือ:

• กระจัดกระจาย - เมื่อเลเยอร์ที่ซ่อนอยู่มีจำนวนมากกว่าเลเยอร์อินพุตสำหรับวิธีการทั่วไปที่จะเกิดขึ้นเพื่อลดการจัดวางมากเกินไป มันจำกัดฟังก์ชันการสูญเสียและป้องกันไม่ให้ตัวเข้ารหัสอัตโนมัติใช้โหนดทั้งหมดมากเกินไป
• Denoising – ที่นี่ เวอร์ชันที่แก้ไขของอินพุตจะถูกแปลงเป็น 0 โดยสุ่ม
• การ หด ตัว – การเพิ่มปัจจัยโทษให้กับฟังก์ชันการสูญเสียเพื่อจำกัดการโอเวอร์ฟิตและการคัดลอกข้อมูล ในกรณีที่เลเยอร์ที่ซ่อนอยู่มีจำนวนมากกว่าเลเยอร์อินพุต
• ซ้อนกัน – สำหรับตัวเข้ารหัสอัตโนมัติ เมื่อเพิ่มเลเยอร์ที่ซ่อนอยู่อีกชั้นหนึ่งเข้าไป จะนำไปสู่การเข้ารหัสสองขั้นตอนจนถึงขั้นตอนเดียวของการถอดรหัส

ทำงานได้ดีที่สุดใน:

• การตรวจจับคุณสมบัติ
• การสร้างแบบจำลองคำแนะนำที่น่าสนใจ
• เพิ่มคุณสมบัติให้กับชุดข้อมูลขนาดใหญ่

อ่าน: การทำให้เป็นมาตรฐานในการเรียนรู้อย่างลึกซึ้ง

9. การขยายพันธุ์หลัง

ใน การเรียนรู้เชิงลึก เทคนิค backpropagation หรือ back-prop เรียกว่ากลไกกลางสำหรับโครงข่ายประสาทเทียมเพื่อเรียนรู้เกี่ยวกับข้อผิดพลาดใดๆ ในการทำนายข้อมูล ในทางกลับกัน การแพร่กระจายหมายถึงการส่งข้อมูลในทิศทางที่กำหนดผ่านช่องทางเฉพาะ ทั้งระบบสามารถทำงานตามการกระจายสัญญาณในทิศทางไปข้างหน้าในช่วงเวลาของการตัดสินใจ และส่งข้อมูลใดๆ เกี่ยวกับข้อบกพร่องในเครือข่ายกลับด้าน

• ขั้นแรก เครือข่ายวิเคราะห์พารามิเตอร์และตัดสินใจเกี่ยวกับข้อมูล
• ประการที่สอง มีการถ่วงน้ำหนักด้วยฟังก์ชันการสูญเสีย
• ประการที่สาม ข้อผิดพลาดที่ระบุได้รับการเผยแพร่กลับเพื่อปรับพารามิเตอร์ที่ไม่ถูกต้องด้วยตนเอง

ทำงานได้ดีที่สุดใน:

• การดีบักข้อมูล

10. โคตรไล่ระดับ

ในบริบททางคณิตศาสตร์ การไล่ระดับสีหมายถึงความลาดเอียงที่มีมุมที่วัดได้ และสามารถแสดงเป็นความสัมพันธ์ระหว่างตัวแปรได้ ใน เทคนิคการเรียนรู้เชิงลึก นี้ ความสัมพันธ์ระหว่างข้อผิดพลาดที่เกิดขึ้นในโครงข่ายประสาทเทียมกับความสัมพันธ์ของพารามิเตอร์ข้อมูลสามารถแสดงเป็น "x" และ "y" เนื่องจากตัวแปรเป็นไดนามิกในโครงข่ายประสาทเทียม ดังนั้นข้อผิดพลาดจึงสามารถเพิ่มขึ้นหรือลดลงได้ด้วยการเปลี่ยนแปลงเล็กน้อย

ผู้เชี่ยวชาญหลายคนนึกภาพเทคนิคนี้ว่าเป็นเส้นทางของแม่น้ำที่ไหลลงมาจากเนินเขา วัตถุประสงค์ของวิธีการดังกล่าวคือ — เพื่อหาแนวทางแก้ไขที่เหมาะสมที่สุด เนื่องจากมีโซลูชันขั้นต่ำในพื้นที่หลายตัวในโครงข่ายประสาทเทียม ซึ่งข้อมูลอาจถูกดักจับและนำไปสู่การรวบรวมที่ช้ากว่าและไม่ถูกต้อง - มีวิธีหลีกเลี่ยงเหตุการณ์ดังกล่าว

ในฐานะที่เป็นภูมิประเทศของภูเขา มีฟังก์ชันบางอย่างใน โครงข่ายประสาทเทียม ที่ เรียกว่า Convex Functions ซึ่งช่วยให้ข้อมูลไหลเข้าสู่อัตราที่คาดหวังและไปถึงระดับต่ำสุด อาจมีความแตกต่างในวิธีการที่ข้อมูลเข้าสู่ปลายทางสุดท้ายเนื่องจากความผันแปรในค่าเริ่มต้นของฟังก์ชัน

ทำงานได้ดีที่สุดใน:

• กำลังอัปเดตพารามิเตอร์ในโมเดลที่กำหนด

อ่านเพิ่มเติม: 15 แนวคิดโครงงานการเรียนรู้ของเครื่องที่น่าสนใจสำหรับผู้เริ่มต้น

ห่อ

มี เทคนิคการเรียนรู้เชิงลึก หลายอย่าง ที่มาพร้อมกับฟังก์ชันการทำงานและแนวทางปฏิบัติ เมื่อโมเดลเหล่านี้ได้รับการระบุและวางในสถานการณ์ที่เหมาะสม จะสามารถนำไปสู่การบรรลุโซลูชันระดับไฮเอนด์ตามเฟรมเวิร์กที่นักพัฒนาใช้ ขอให้โชคดี!

ลองดูโปรแกรมการรับรองขั้นสูงใน Machine Learning & Cloud กับ IIT Madras ซึ่งเป็นโรงเรียนวิศวกรรมที่ดีที่สุดในประเทศเพื่อสร้างโปรแกรมที่สอนคุณไม่เพียงแต่แมชชีนเลิร์นนิง แต่ยังรวมถึงการปรับใช้อย่างมีประสิทธิภาพโดยใช้โครงสร้างพื้นฐานระบบคลาวด์ เป้าหมายของเราในโปรแกรมนี้คือการเปิดประตูของสถาบันที่คัดเลือกมามากที่สุดในประเทศและให้ผู้เรียนเข้าถึงคณาจารย์และทรัพยากรที่น่าทึ่งเพื่อฝึกฝนทักษะที่สูงและเติบโต