Spiking Neural Network: tutto ciò che devi sapere

In tempi recenti, abbiamo sentito come una startup neurotech, Neuralink, intende migliorare la computazione del cervello umano impiantando una minuscola interfaccia nel cervello. Gli elettrodi nelle interfacce cervello-macchina convertono le informazioni neuronali in comandi competenti nel controllo dei sistemi esterni. La domanda più grande che sorge è come verranno elaborati i segnali nel cervello.

Per capirlo, dobbiamo sapere come sono strutturati i neuroni nel cervello e come trasmettono le informazioni. Tutti coloro che hanno seguito le recenti tendenze dell'apprendimento automatico sono a conoscenza delle reti neurali artificiali di seconda generazione. Le reti neurali artificiali sono generalmente completamente connesse e si occupano di valori continui. Le ANN hanno fatto enormi progressi in molti campi.

Tuttavia, non imitano il meccanismo dei neuroni del cervello. La prossima generazione di Neural Network, la rete neurale spiking, mira a facilitare l'applicazione dell'apprendimento automatico nelle neuroscienze.

Sapere come i neuroni trasmettono informazioni nel cervello

Come vengono inviate e ricevute le informazioni da un neurone? I neuroni hanno bisogno di trasmettere informazioni per comunicare tra loro. La trasmissione delle informazioni avviene sia all'interno del neurone che da un neurone all'altro. Nel cervello umano, i dendriti di solito ottengono informazioni dai recettori sensoriali. Le informazioni ricevute vengono trasmesse all'assone attraverso il corpo cellulare.

Non appena l'informazione raggiunge l'assone, si sposta lungo l'intera lunghezza dell'assone come un segnale elettrico noto come potenziale d'azione. Al raggiungimento della fine dell'assone, le informazioni devono essere trasmesse ai dendriti del neurone successivo, se necessario. C'è un divario sinaptico presente tra l'assone e i dendriti del neurone successivo. Questa lacuna può essere colmata da sola o con l'aiuto di neurotrasmettitori.

Fonte

Spiking rete neurale

Una rete neurale spiking (SNN) è diversa dalle reti neurali tradizionali conosciute nella comunità di apprendimento automatico. Spiking rete neurale opera su picchi. I picchi sono eventi discreti che si verificano in momenti specifici. Pertanto, è diverso dalle reti neurali artificiali che utilizzano valori continui. Le equazioni differenziali rappresentano vari processi biologici in caso di picco.

Uno dei processi più critici è la capacità della membrana del neurone. Un neurone va in picchi quando raggiunge un potenziale specifico. Dopo un picco neuronale, il potenziale viene nuovamente ristabilito per quel neurone. Ci vuole del tempo prima che un neurone torni al suo stato stabile dopo aver attivato un potenziale d'azione. L'intervallo di tempo dopo il raggiungimento del potenziale di membrana è noto come periodo refrattario.

Nel periodo refrattario, innescare un altro potenziale d'azione è abbastanza difficile anche se gli input eccitatori sono forti. I canali ionici del sodio assicurano che il potenziale d'azione rimanga inattivato e non raggiunga il potenziale di membrana. Pertanto, un neurone non continua a sparare anche dopo aver ricevuto input eccitatori costanti.

Il modello Leaky Integrate-and-Fire (LIF) è il più comune. Le reti neurali a picco non sono densamente connesse.

Equazione differenziale per la capacità della membrana nel modello LIF

Nella rete neurale spiking, i neuroni non vengono scaricati ad ogni ciclo di propagazione. L'attivazione dei neuroni avviene solo quando il potenziale di membrana raggiunge un certo valore. Non appena un neurone viene scaricato, produce un segnale. Questo segnale raggiunge altri neuroni e cambia il loro potenziale di membrana. Il treno Spike ci offre un maggiore potenziale per elaborare i dati spazio-temporali.

La caratteristica spaziale indica che i neuroni sono collegati solo ad altri neuroni che sono locali a loro. Pertanto, l'elaborazione degli input funziona in modo simile a una rete neurale convoluzionale che utilizza un filtro. La caratteristica temporale menziona che i picchi si verificano in un momento particolare. Le informazioni perse nella codifica binaria vengono recuperate sotto forma di informazioni temporali dai picchi.

Questo ci permette di elaborare i dati temporali in modo naturale, senza renderli ingombranti come nelle Reti Neurali Ricorrenti. Abbiamo prove che mostrano come le reti neurali spiking abbiano una maggiore potenza di calcolo rispetto alle tradizionali reti neurali artificiali.

Una domanda che potrebbe sorgere è perché le reti neurali a spillo non sono ampiamente utilizzate come le reti neurali tradizionali nonostante siano computazionalmente più potenti. Il motivo principale per cui non si utilizzano frequentemente gli SNN è la mancanza di algoritmi di addestramento. Esistono algoritmi di apprendimento biologico non supervisionati come l'apprendimento Hebbian e STDP, ma mancano metodi di addestramento supervisionati per SNN.

Poiché i treni di picchi non possono essere differenziati, non possiamo addestrare le reti neurali di picchi utilizzando metodi convenzionali come la discesa del gradiente senza perdere informazioni temporali specifiche. Pertanto, abbiamo bisogno di ricercare e sviluppare un efficiente algoritmo di apprendimento supervisionato per Spiking Neural Network per usarlo in scenari di vita reale. È un lavoro difficile poiché dobbiamo sapere a fondo come il cervello acquisisce una comprensione e trasmette informazioni tra i neuroni.

Fonte

Motivi a spillo

Un treno di picchi denota una trama bidimensionale del potenziale di membrana e del tempo con più picchi. Il neurone scaricato ad un certo intervallo di tempo può contenere molte più informazioni.

Vari modelli di punte

Fonte

I parametri a, b, c e d mostrati sopra appartengono ai neuroni modello Izhikevich.

Avvolgendo

Il futuro di Spiking Neural Network è piuttosto ambiguo. Gli SNN sono indicati come i successori delle attuali reti neurali, ma c'è ancora molta strada da fare. L'implementazione di Spiking Neural Networks è ancora difficile nella maggior parte dei compiti pratici. Gli SNN hanno applicazioni in tempo reale nel campo dell'elaborazione di immagini e audio.

Tuttavia, il numero di applicazioni in questi campi rimane scarso. I documenti di ricerca su Spiking Neural Networks sono per lo più teorici. In alcuni casi, l'analisi delle prestazioni degli SNN viene mostrata in una rete neurale completamente connessa. C'è un'enorme portata di ricerca in questo campo poiché la maggior parte è ancora inesplorata.

Se sei interessato a conoscere il Machine learning in cloud, upGrad in collaborazione con IIT-Madras, offre il programma Machine Learning in Cloud. Il corso ti fornirà le competenze necessarie per questo ruolo: matematica, data wrangling, statistica, programmazione, competenze relative al cloud, oltre a prepararti per ottenere il lavoro dei tuoi sogni.