Spiking Neural Network : tout ce que vous devez savoir

Ces derniers temps, nous avons entendu comment une startup neurotechnologique, Neuralink, prévoit d'améliorer le calcul du cerveau humain en implantant une interface minuscule sur le cerveau. Les électrodes des interfaces cerveau-machine convertissent les informations neuronales en commandes compétentes pour contrôler les systèmes externes. La plus grande question qui se pose est de savoir comment les signaux dans votre cerveau seront traités.

Pour comprendre cela, nous devons savoir comment les neurones sont structurés dans le cerveau et comment ils transmettent les informations. Tous ceux qui ont suivi les tendances récentes de l'apprentissage automatique connaissent les réseaux de neurones artificiels de 2e génération. Les réseaux de neurones artificiels sont généralement entièrement connectés et traitent des valeurs continues. Les RNA ont fait d'énormes progrès dans de nombreux domaines.

Cependant, ils n'imitent pas le mécanisme des neurones du cerveau. La prochaine génération de Neural Network, le réseau de neurones à pointes, vise à faciliter l'application de l'apprentissage automatique aux neurosciences.

Savoir comment les neurones transmettent des informations dans le cerveau

Comment les informations sont-elles envoyées et reçues par un neurone ? Les neurones ont besoin de transmettre des informations pour communiquer entre eux. La transmission de l'information se fait aussi bien à l'intérieur du neurone que d'un neurone à l'autre. Dans le cerveau humain, les dendrites reçoivent généralement des informations des récepteurs sensoriels. L'information reçue est transmise à l'axone à travers le corps cellulaire.

Dès que l'information atteint l'axone, elle se déplace sur toute la longueur de l'axone sous la forme d'un signal électrique appelé potentiel d'action. En atteignant la fin de l'axone, l'information doit être transmise aux dendrites du neurone suivant, si nécessaire. Il existe un espace synaptique entre l'axone et les dendrites du neurone suivant. Cette lacune peut être comblée seule ou à l'aide de neurotransmetteurs.

La source

Réseau de neurones de pointe

Un réseau de neurones à pointes (SNN) est différent des réseaux de neurones traditionnels connus dans la communauté de l'apprentissage automatique. Le réseau de neurones à pointes fonctionne sur des pointes. Les pointes sont des événements discrets qui se produisent à des moments précis. Ainsi, il est différent des réseaux de neurones artificiels qui utilisent des valeurs continues. Les équations différentielles représentent divers processus biologiques en cas de pointe.

L'un des processus les plus critiques est la capacité membranaire du neurone. Un neurone pointe lorsqu'il atteint un potentiel spécifique. Après un pic neuronal, le potentiel est à nouveau rétabli pour ce neurone. Il faut un certain temps pour qu'un neurone revienne à son état stable après avoir déclenché un potentiel d'action. L'intervalle de temps après avoir atteint le potentiel de membrane est appelé période réfractaire.

Dans la période réfractaire, déclencher un autre potentiel d'action est assez difficile même si les entrées excitatrices sont fortes. Les canaux ioniques sodium garantissent que le potentiel d'action reste inactivé et n'atteint pas le potentiel de membrane. Ainsi, un neurone ne continue pas une frénésie de tir même en obtenant des entrées excitatrices constantes.

Le modèle Leaky Integrate-and-Fire (LIF) est le plus courant. Les réseaux de neurones à pointes ne sont pas densément connectés.

Équation différentielle pour la capacité membranaire dans le modèle LIF

Dans le réseau de neurones à pointes, les neurones ne sont pas déchargés à chaque cycle de propagation. La mise à feu des neurones n'a lieu que lorsque le potentiel de membrane atteint une certaine valeur. Dès qu'un neurone est déchargé, il produit un signal. Ce signal atteint d'autres neurones et modifie leur potentiel membranaire. Spike train nous offre un potentiel accru pour traiter des données spatio-temporelles.

La caractéristique spatiale indique que les neurones ne sont connectés qu'à d'autres neurones qui leur sont locaux. Ainsi, le traitement des entrées fonctionne de manière similaire à un réseau de neurones convolutifs qui utilise un filtre. La caractéristique temporelle mentionne que les pics se produisent à un moment donné. Les informations perdues dans le codage binaire sont récupérées sous forme d'informations temporelles à partir des pointes.

Cela nous permet de traiter les données temporelles naturellement, sans les alourdir comme dans les réseaux de neurones récurrents. Nous avons des preuves montrant comment les réseaux de neurones à pointes ont une plus grande puissance de calcul que les réseaux de neurones artificiels traditionnels.

Une question qui peut se poser est de savoir pourquoi les réseaux de neurones à pointes ne sont pas aussi largement utilisés que les réseaux de neurones traditionnels, bien qu'ils soient plus puissants en termes de calcul. La principale raison de ne pas utiliser fréquemment les SNN est le manque d'algorithmes de formation. Il existe des algorithmes d'apprentissage biologique non supervisé comme l'apprentissage Hebbian et STDP, mais il y a un manque de méthodes de formation supervisées pour les SNN.

Comme les trains de pointes ne peuvent pas être différenciés, nous ne pouvons pas former les réseaux de neurones à pointes en utilisant des méthodes conventionnelles telles que la descente de gradient sans perdre des informations temporelles spécifiques. Ainsi, nous devons rechercher et développer un algorithme d'apprentissage supervisé efficace pour Spiking Neural Network afin de l'utiliser dans des scénarios réels. C'est un travail difficile car nous devons savoir exactement comment le cerveau comprend et transmet les informations entre les neurones.

La source

Modèles de pointes

Un train de pointes désigne un tracé bidimensionnel du potentiel de membrane et du temps ayant plusieurs pointes. Le neurone déchargé à un certain intervalle de temps peut contenir beaucoup plus d'informations.

Divers modèles de pointes

La source

Les paramètres a, b, c et d indiqués ci-dessus appartiennent aux neurones modèles d'Izhikevich.

Emballer

L'avenir de Spiking Neural Network est assez ambigu. Les SNN sont considérés comme les successeurs des réseaux de neurones actuels, mais il reste encore un long chemin à parcourir. La mise en œuvre de Spiking Neural Networks est encore difficile dans la plupart des tâches pratiques. Les SNN ont des applications en temps réel dans le domaine du traitement de l'image et du son.

Cependant, le nombre de candidatures dans ces domaines reste faible. Les articles de recherche sur Spiking Neural Networks sont principalement théoriques. Dans certains cas, l'analyse des performances des SNN est présentée sous un réseau de neurones entièrement connecté. Le champ de la recherche dans ce domaine est immense car une grande partie est encore inexplorée.

Si vous souhaitez en savoir plus sur l'apprentissage automatique dans le cloud, upGrad, en collaboration avec l'IIT-Madras, propose le programme Machine Learning in Cloud. Le cours vous permettra d'acquérir les compétences nécessaires pour ce rôle : mathématiques, traitement des données, statistiques, programmation, compétences liées au cloud, ainsi que de vous préparer à décrocher le travail de vos rêves.