Spiking Neural Network: Alles, was Sie wissen müssen

Vor kurzem hörten wir, wie ein Neurotech-Startup, Neuralink, plant, die Rechenleistung des menschlichen Gehirns zu verbessern, indem es eine winzige Schnittstelle in das Gehirn implantiert. Die Elektroden in den Gehirn-Maschine-Schnittstellen wandeln neuronale Informationen in Befehle um, die zur Steuerung externer Systeme geeignet sind. Die größte Frage, die sich stellt, ist, wie die Signale in Ihrem Gehirn verarbeitet werden.

Um das zu verstehen, müssen wir wissen, wie Neuronen im Gehirn aufgebaut sind und wie sie Informationen übermitteln. Jeder, der die jüngsten Trends des maschinellen Lernens verfolgt hat, kennt die künstlichen neuronalen Netze der 2. Generation. Künstliche neuronale Netze sind in der Regel vollständig vernetzt und arbeiten mit kontinuierlichen Werten. ANNs haben in vielen Bereichen enorme Fortschritte gemacht.

Sie imitieren jedoch nicht den Mechanismus der Neuronen des Gehirns. Die nächste Generation von Neural Networks, das Spiking Neural Network, zielt darauf ab, die Anwendung des maschinellen Lernens in den Neurowissenschaften zu erleichtern.

Wissen, wie Neuronen Informationen im Gehirn übertragen

Wie werden Informationen von einem Neuron gesendet und empfangen? Neuronen müssen Informationen übertragen, um untereinander kommunizieren zu können. Die Übertragung der Informationen erfolgt sowohl innerhalb des Neurons als auch von einem Neuron zum anderen. Im menschlichen Gehirn erhalten die Dendriten normalerweise Informationen von den Sinnesrezeptoren. Die empfangenen Informationen werden durch den Zellkörper an das Axon weitergeleitet.

Sobald die Information das Axon erreicht, bewegt sie sich als elektrisches Signal, das als Aktionspotential bezeichnet wird, über die gesamte Länge des Axons. Am Ende des Axons angekommen, müssen bei Bedarf Informationen an die Dendriten des nächsten Neurons übermittelt werden. Zwischen dem Axon und den Dendriten des nächsten Neurons ist eine synaptische Lücke vorhanden. Diese Lücke kann allein oder mit Hilfe von Neurotransmittern gefüllt werden.

Quelle

Spiking Neurales Netzwerk

Ein Spiking Neural Network (SNN) unterscheidet sich von herkömmlichen neuronalen Netzwerken, die in der Community für maschinelles Lernen bekannt sind. Spiking Neural Network arbeitet mit Spikes. Spikes sind diskrete Ereignisse, die zu bestimmten Zeitpunkten stattfinden. Somit unterscheidet es sich von künstlichen neuronalen Netzen, die kontinuierliche Werte verwenden. Differentialgleichungen bilden verschiedene biologische Prozesse im Falle eines Spikes ab.

Einer der kritischsten Prozesse ist die Membrankapazität des Neurons. Ein Neuron schlägt an, wenn es ein bestimmtes Potential erreicht. Nach einer Neuronenspitze wird das Potential für dieses Neuron erneut hergestellt. Es dauert einige Zeit, bis ein Neuron nach dem Auslösen eines Aktionspotentials in seinen stabilen Zustand zurückkehrt. Das Zeitintervall nach Erreichen des Membranpotentials wird als Refraktärzeit bezeichnet.

In der Refraktärzeit ist es ziemlich schwierig, ein weiteres Aktionspotential auszulösen, selbst wenn die exzitatorischen Inputs stark sind. Die Natriumionenkanäle sorgen dafür, dass das Aktionspotential inaktiviert bleibt und nicht das Membranpotential erreicht. Daher setzt ein Neuron seinen Feuerrausch nicht fort, selbst wenn es ständige erregende Eingaben erhält.

Das Leaky Integrate-and-Fire(LIF) -Modell ist das am weitesten verbreitete. Spiking Neural Networks sind nicht dicht verbunden.

Differentialgleichung für die Membrankapazität im LIF-Modell

In dem neuronalen Spiking-Netzwerk werden Neuronen nicht bei jedem Ausbreitungszyklus entladen. Das Feuern von Neuronen erfolgt nur, wenn das Membranpotential einen bestimmten Wert erreicht. Sobald ein Neuron entladen wird, erzeugt es ein Signal. Dieses Signal erreicht andere Neuronen und verändert deren Membranpotential. Spike Train bietet uns ein erhöhtes Potenzial zur Verarbeitung räumlich-zeitlicher Daten.

Die räumliche Eigenschaft weist darauf hin, dass Neuronen nur mit anderen Neuronen verbunden sind, die für sie lokal sind. Die Verarbeitung von Eingaben funktioniert also ähnlich wie bei einem Convolutional Neural Network, das einen Filter verwendet. Das zeitliche Merkmal erwähnt, dass Spitzen zu einem bestimmten Zeitpunkt auftreten. Die bei der binären Codierung verlorenen Informationen werden in Form von zeitlichen Informationen aus den Spitzen wiedergewonnen.

Dies ermöglicht es uns, zeitliche Daten natürlich zu verarbeiten, ohne umständlich wie in wiederkehrenden neuronalen Netzen zu werden. Wir haben Beweise, die zeigen, dass Spiking neuronale Netze eine größere Rechenleistung haben als herkömmliche künstliche neuronale Netze.

Eine Frage, die sich stellen kann, ist, warum Spiking Neural Networks nicht so weit verbreitet sind wie herkömmliche neuronale Netzwerke, obwohl sie rechenleistungsstärker sind. Der Hauptgrund dafür, SNNs nicht häufig zu verwenden, ist ein Mangel an Trainingsalgorithmen. Es gibt unüberwachte biologische Lernalgorithmen wie Hebbian Learning und STDP, aber es fehlt an überwachten Trainingsmethoden für SNNs.

Da Spike Trains nicht unterschieden werden können, können wir Spiking Neural Networks nicht mit herkömmlichen Methoden wie Gradientenabstieg trainieren, ohne spezifische zeitliche Informationen zu verlieren. Daher müssen wir einen effizienten überwachten Lernalgorithmus für Spiking Neural Network erforschen und entwickeln, um ihn in realen Szenarien einzusetzen. Es ist eine schwierige Aufgabe, da wir genau wissen müssen, wie das Gehirn ein Verständnis erlangt und Informationen zwischen Neuronen überträgt.

Quelle

Spiking-Muster

Ein Spike-Zug bezeichnet eine zweidimensionale Darstellung des Membranpotentials und der Zeit mit mehreren Spikes. Das in einem bestimmten Zeitintervall entladene Neuron kann viel mehr Informationen enthalten.

Verschiedene Spitzenmuster

Quelle

Die oben gezeigten Parameter a, b, c und d gehören zu Izhikevich-Modellneuronen.

Einpacken

Die Zukunft von Spiking Neural Network ist ziemlich zweideutig. SNNs werden als Nachfolger der aktuellen neuronalen Netze bezeichnet, aber es ist noch ein langer Weg. Die Implementierung von Spiking Neural Networks ist bei den meisten praktischen Aufgaben immer noch schwierig. SNNs haben Echtzeitanwendungen im Bereich der Bild- und Audioverarbeitung.

Die Zahl der Bewerbungen in diesen Bereichen ist jedoch nach wie vor gering. Die Forschungsarbeiten zu Spiking Neural Networks sind meist theoretisch. In einigen Fällen wird die Leistungsanalyse von SNNs unter einem vollständig verbundenen neuronalen Netzwerk angezeigt. In diesem Bereich gibt es einen enormen Umfang an Forschung, da ein Großteil noch unerforscht ist.

Wenn Sie mehr über maschinelles Lernen in der Cloud erfahren möchten, bietet upGrad in Zusammenarbeit mit IIT-Madras das Programm „Machine Learning in Cloud“ an. Der Kurs vermittelt Ihnen die notwendigen Fähigkeiten für diese Rolle: Mathematik, Datenverarbeitung, Statistik, Programmierung, Cloud-bezogene Fähigkeiten und bereitet Sie darauf vor, den Job Ihrer Träume zu bekommen.