Spiking Neural Network: ทุกสิ่งที่คุณต้องการรู้

ในช่วงไม่กี่ครั้งนี้ เราได้ยินมาว่า Neuralink ซึ่งเป็นสตาร์ทอัพด้านเทคโนโลยีนิวโรเทค วางแผนที่จะปรับปรุงการคำนวณของสมองมนุษย์โดยฝังส่วนต่อประสานขนาดเล็กบนสมอง อิเล็กโทรดในส่วนต่อประสานระหว่างสมองกับเครื่องจักรจะแปลงข้อมูลของเซลล์ประสาทให้เป็นคำสั่งที่มีความสามารถในการควบคุมระบบภายนอก คำถามที่ใหญ่ที่สุดที่เกิดขึ้นคือสัญญาณในสมองของคุณจะถูกประมวลผลอย่างไร

เพื่อทำความเข้าใจสิ่งนี้ เราจำเป็นต้องรู้ว่าเซลล์ประสาทมีโครงสร้างอย่างไรในสมองและส่งข้อมูลอย่างไร ทุกคนที่ติดตามเทรนด์แมชชีนเลิร์นนิงจะทราบดีถึง Artificial Neural Networks รุ่นที่ 2 โครงข่ายประสาทเทียมมักจะเชื่อมต่ออย่างสมบูรณ์และจัดการกับค่าที่ต่อเนื่องกัน ANN มีความก้าวหน้าอย่างมากในหลายสาขา

อย่างไรก็ตาม พวกมันไม่ได้เลียนแบบกลไกของเซลล์ประสาทในสมอง Neural Network รุ่นต่อไปซึ่งเป็นโครงข่ายประสาทเทียมที่มีจุดมุ่งหมายเพื่อลดความซับซ้อนของการประยุกต์ใช้การเรียนรู้ของเครื่องในด้านประสาทวิทยา

รู้ว่าเซลล์ประสาทส่งข้อมูลในสมองอย่างไร

ข้อมูลส่งและรับโดยเซลล์ประสาทอย่างไร เซลล์ประสาทจำเป็นต้องส่งข้อมูลเพื่อสื่อสารกันเอง การส่งข้อมูลทำได้ทั้งภายในเซลล์ประสาทหรือจากเซลล์ประสาทหนึ่งไปยังอีกเซลล์หนึ่ง ในสมองของมนุษย์ เดนไดรต์มักจะได้รับข้อมูลจากตัวรับความรู้สึก ข้อมูลที่ได้รับจะถูกส่งไปยังแอกซอนผ่านร่างกายของเซลล์

ทันทีที่ข้อมูลไปถึงแอกซอน มันจะเคลื่อนไปตามความยาวทั้งหมดของแอกซอนเป็นสัญญาณไฟฟ้าที่เรียกว่าศักยะงาน เมื่อไปถึงจุดสิ้นสุดของแอกซอน ข้อมูลจะต้องถูกส่งไปยังเดนไดรต์ของเซลล์ประสาทถัดไป หากจำเป็น มีช่องว่าง synaptic อยู่ระหว่างแอกซอนกับเดนไดรต์ของเซลล์ประสาทถัดไป ช่องว่างนี้สามารถเติมได้ด้วยตัวเองหรือโดยความช่วยเหลือของสารสื่อประสาท

แหล่งที่มา

โครงข่ายประสาทเทียม

โครงข่ายประสาทเทียม (SNN) แตกต่างจากโครงข่ายประสาทเทียมแบบเดิมที่รู้จักกันในชุมชนการเรียนรู้ของเครื่อง โครงข่ายประสาทเทียมทำงานบนแหลม Spikes เป็นเหตุการณ์ที่ไม่ต่อเนื่องเกิดขึ้น ณ จุดเวลาที่กำหนด ดังนั้นจึงแตกต่างจาก Artificial Neural Networks ที่ใช้ค่าต่อเนื่อง สมการเชิงอนุพันธ์แสดงถึงกระบวนการทางชีววิทยาต่างๆ ในกรณีที่มีหนามแหลม

กระบวนการที่สำคัญที่สุดอย่างหนึ่งคือความจุของเยื่อหุ้มเซลล์ประสาท เซลล์ประสาทจะแหลมเมื่อถึงศักยภาพที่เฉพาะเจาะจง หลังจากที่เซลล์ประสาทพุ่งสูงขึ้น ศักยภาพก็ถูกสร้างขึ้นอีกครั้งสำหรับเซลล์ประสาทนั้น ต้องใช้เวลาสักระยะกว่าที่เซลล์ประสาทจะกลับสู่สถานะเสถียรหลังจากยิงศักยภาพในการดำเนินการ ช่วงเวลาหลังจากไปถึงศักย์เมมเบรนเรียกว่าคาบทนไฟ

ในช่วงเวลาที่ทนไฟ การกระตุ้นศักยะงานอื่นค่อนข้างยากแม้ว่าปัจจัยการผลิตที่กระตุ้นจะแรงก็ตาม ช่องโซเดียมไอออนช่วยให้แน่ใจว่าศักย์การดำเนินการยังคงถูกปิดใช้งานและไม่ไปถึงศักย์ของเมมเบรน ดังนั้น เซลล์ประสาทจึงไม่ทำการยิงต่อเนื่อง แม้จะรับปัจจัยกระตุ้นอย่างต่อเนื่องก็ตาม

โมเดล Leaky Integrate-and-Fire (LIF) เป็นโมเดลที่พบบ่อยที่สุด Spiking Neural Networks ไม่ได้เชื่อมต่อกันอย่างหนาแน่น

สมการเชิงอนุพันธ์สำหรับความจุเมมเบรนในแบบจำลอง LIF

ในโครงข่ายประสาทที่พุ่งสูงขึ้น เซลล์ประสาทจะไม่ถูกปลดปล่อยออกมาในทุกรอบการขยายพันธุ์ การยิงของเซลล์ประสาทจะเกิดขึ้นก็ต่อเมื่อศักยภาพของเยื่อหุ้มเซลล์ถึงค่าหนึ่งเท่านั้น ทันทีที่เซลล์ประสาทถูกปลดปล่อยออกมา มันจะสร้างสัญญาณ สัญญาณนี้ไปถึงเซลล์ประสาทอื่นและเปลี่ยนศักยภาพของเยื่อหุ้มเซลล์ Spike train ช่วยเพิ่มศักยภาพในการประมวลผลข้อมูล Spatio-temporal

ลักษณะเชิงพื้นที่ชี้ไปที่เซลล์ประสาทที่เชื่อมต่อกับเซลล์ประสาทอื่นที่อยู่ในท้องถิ่นเท่านั้น ดังนั้น การประมวลผลอินพุตจึงทำงานคล้ายกับ Convolutional Neural Network ที่ใช้ตัวกรอง ลักษณะชั่วขณะระบุว่ามีหนามแหลมเกิดขึ้นในช่วงเวลาหนึ่ง ข้อมูลที่หายไปในการเข้ารหัสแบบไบนารีจะถูกดึงมาในรูปแบบของข้อมูลชั่วคราวจากเดือยแหลม

สิ่งนี้ทำให้เราสามารถประมวลผลข้อมูลชั่วคราวได้อย่างเป็นธรรมชาติ โดยไม่สร้างความยุ่งยากเหมือนกับใน Recurrent Neural Networks เรามีหลักฐานที่แสดงให้เห็นว่าโครงข่ายประสาทเทียมมีพลังในการคำนวณที่มากกว่าโครงข่ายประสาทเทียมแบบเดิมอย่างไร

คำถามหนึ่งที่อาจเกิดขึ้นคือเหตุใด Spiking Neural Networks จึงไม่ถูกใช้อย่างแพร่หลายเท่ากับโครงข่ายประสาทเทียมแบบเดิม แม้ว่าจะมีประสิทธิภาพในการคำนวณมากกว่าก็ตาม สาเหตุหลักที่ไม่ได้ใช้ SNN บ่อยๆ คือการขาดอัลกอริธึมการฝึกอบรม มีอัลกอริธึมการเรียนรู้ทางชีววิทยาที่ไม่มีผู้ดูแลเช่นการเรียนรู้ Hebbian และ STDP แต่ยังขาดวิธีการฝึกอบรมภายใต้การดูแลสำหรับ SNN

เนื่องจากไม่สามารถแยกความแตกต่างของ Spiking Neural Networks ได้ เราจึงไม่สามารถฝึก Spiking Neural Networks โดยใช้วิธีการทั่วไป เช่น การไล่ระดับแบบไล่ระดับโดยไม่สูญเสียข้อมูลชั่วคราวที่เฉพาะเจาะจง ดังนั้น เราจำเป็นต้องวิจัยและพัฒนาอัลกอริธึมการเรียนรู้ภายใต้การดูแลที่มีประสิทธิภาพสำหรับ Spiking Neural Network เพื่อใช้งานในสถานการณ์จริง เป็นงานที่ยากเพราะเราต้องรู้อย่างถี่ถ้วนว่าสมองได้รับความเข้าใจและส่งข้อมูลระหว่างเซลล์ประสาทได้อย่างไร

แหล่งที่มา

รูปแบบการขัดขวาง

รถไฟสไปค์แสดงถึงพล็อตสองมิติของศักย์เมมเบรนและเวลาที่มีเดือยหลายอัน เซลล์ประสาทที่ปล่อยออกมาในช่วงเวลาหนึ่งสามารถเก็บข้อมูลเพิ่มเติมได้มาก

ลายแทงต่างๆ

แหล่งที่มา

พารามิเตอร์ a,b,c และ d ที่แสดงด้านบนนั้นเป็นของเซลล์ประสาทแบบจำลอง Izhikevich

ห่อ

อนาคตของ Spiking Neural Network นั้นค่อนข้างคลุมเครือ SNNs ถูกเรียกว่าเป็นผู้สืบทอดของโครงข่ายประสาทเทียมในปัจจุบัน แต่ก็ยังมีหนทางอีกยาวไกล การใช้งาน Spiking Neural Networks ยังคงเป็นเรื่องยากในงานภาคปฏิบัติส่วนใหญ่ SNN มีแอปพลิเคชันแบบเรียลไทม์ในด้านการประมวลผลภาพและเสียง

อย่างไรก็ตาม จำนวนแอปพลิเคชันในสาขาเหล่านี้ยังคงมีน้อย เอกสารการวิจัยเกี่ยวกับ Spiking Neural Networks ส่วนใหญ่เป็นทฤษฎี ในบางกรณี การวิเคราะห์ประสิทธิภาพของ SNN จะแสดงภายใต้โครงข่ายประสาทเทียมที่เชื่อมต่ออย่างสมบูรณ์ มีขอบเขตการวิจัยมากมายในโดเมนนี้เนื่องจากส่วนสำคัญยังไม่ได้สำรวจ

หากคุณสนใจที่จะเรียนรู้เกี่ยวกับแมชชีนเลิร์นนิงในระบบคลาวด์ upGrad ร่วมกับ IIT- Madras ขอเสนอโปรแกรม Machine Learning ในคลาวด์ หลักสูตรนี้จะช่วยให้คุณมีทักษะที่จำเป็นสำหรับบทบาทนี้: คณิตศาสตร์, การโต้แย้งข้อมูล, สถิติ, การเขียนโปรแกรม, ทักษะที่เกี่ยวข้องกับระบบคลาวด์ รวมถึงการเตรียมความพร้อมสำหรับงานในฝันของคุณ