Spiking Neural Network: Tudo o que você precisa saber

Nos últimos tempos, ouvimos como uma startup de neurotecnologia, a Neuralink, planeja melhorar a computação do cérebro humano implantando uma interface minúscula no cérebro. Os eletrodos nas interfaces cérebro-máquina convertem informações neuronais em comandos competentes no controle de sistemas externos. A maior questão que surge é como os sinais em seu cérebro serão processados.

Para entender isso, precisamos saber como os neurônios estão estruturados no cérebro e como eles transmitem informações. Todo mundo que acompanha as tendências recentes de aprendizado de máquina conhece as Redes Neurais Artificiais de 2ª geração. As Redes Neurais Artificiais geralmente são totalmente conectadas e lidam com valores contínuos. As RNAs têm feito um tremendo progresso em muitos campos.

No entanto, eles não imitam o mecanismo dos neurônios do cérebro. A próxima geração da Rede Neural, a rede neural com picos, visa facilitar a aplicação do aprendizado de máquina na neurociência.

Saiba como os neurônios transmitem informações no cérebro

Como a informação é enviada e recebida por um neurônio? Os neurônios precisam transmitir informações para se comunicarem entre si. A transmissão da informação é feita tanto dentro do neurônio quanto de um neurônio para outro. No cérebro humano, os dendritos geralmente recebem informações dos receptores sensoriais. A informação recebida é passada para o axônio através do corpo celular.

Assim que a informação chega ao axônio, ela se move por todo o comprimento do axônio como um sinal elétrico conhecido como potencial de ação. Ao chegar ao final do axônio, a informação precisa ser transmitida para os dendritos do próximo neurônio, se necessário. Existe uma lacuna sináptica presente entre o axônio e os dendritos do próximo neurônio. Essa lacuna pode ser preenchida por conta própria ou com a ajuda de neurotransmissores.

Fonte

Spiking rede neural

Uma rede neural com picos (SNN) é diferente das redes neurais tradicionais conhecidas na comunidade de aprendizado de máquina. A rede neural de pico opera em picos. Os picos são eventos discretos que ocorrem em pontos específicos do tempo. Assim, é diferente das Redes Neurais Artificiais que utilizam valores contínuos. As equações diferenciais representam vários processos biológicos no caso de um pico.

Um dos processos mais críticos é a capacidade de membrana do neurônio. Um neurônio dispara quando atinge um potencial específico. Após um pico de neurônio, o potencial é novamente restabelecido para aquele neurônio. Leva algum tempo para um neurônio retornar ao seu estado estável após disparar um potencial de ação. O intervalo de tempo após atingir o potencial de membrana é conhecido como período refratário.

No período refratário, o desencadeamento de outro potencial de ação é bastante difícil, mesmo que as entradas excitatórias sejam fortes. Os canais de íons de sódio garantem que o potencial de ação permaneça inativado e não atinja o potencial de membrana. Assim, um neurônio não continua uma onda de disparos mesmo recebendo entradas excitatórias constantes.

O modelo Leaky Integrate-and-Fire (LIF) é o mais comum. Spiking Redes Neurais não são densamente conectadas.

Equação Diferencial para capacidade de membrana no modelo LIF

Na rede neural spiking, os neurônios não são descarregados a cada ciclo de propagação. O disparo dos neurônios ocorre apenas quando o potencial de membrana atinge um determinado valor. Assim que um neurônio é descarregado, ele produz um sinal. Este sinal atinge outros neurônios e altera seu potencial de membrana. O Spike train nos fornece maior potencial para processar dados espaço-temporais.

A característica espacial aponta para neurônios sendo conectados apenas a outros neurônios que são locais a eles. Assim, o processamento das entradas funciona de forma semelhante a uma Rede Neural Convolucional que utiliza um filtro. A característica temporal menciona que os picos ocorrem em um determinado momento. A informação perdida na codificação binária é recuperada na forma de informação temporal dos picos.

Isso nos permite processar dados temporais de forma natural, sem ser complicado como nas Redes Neurais Recorrentes. Temos provas mostrando como as redes neurais spiking têm maior poder computacional do que as redes neurais artificiais tradicionais.

Uma questão que pode surgir é por que as Redes Neurais Spiking não são tão amplamente usadas quanto as redes neurais tradicionais, apesar de serem computacionalmente mais poderosas. A principal razão para não usar SNNs com frequência é a falta de algoritmos de treinamento. Existem algoritmos de aprendizado biológico não supervisionado, como aprendizado Hebbiano e STDP, mas faltam métodos de treinamento supervisionado para SNNs.

Como os trens de pico não podem ser diferenciados, não podemos treinar redes neurais de pico usando métodos convencionais, como gradiente descendente, sem perder informações temporais específicas. Assim, precisamos pesquisar e desenvolver um algoritmo de aprendizado supervisionado eficiente para Spiking Neural Network para usá-lo em cenários da vida real. É um trabalho difícil, pois precisamos saber a fundo como o cérebro ganha uma compreensão e transmite informações entre os neurônios.

Fonte

Padrões de picos

Um trem de picos denota um gráfico bidimensional de potencial de membrana e tempo com vários picos. O neurônio descarregado em um determinado intervalo de tempo pode conter muito mais informações.

Vários padrões de picos

Fonte

Os parâmetros a,b,c e d mostrados acima pertencem aos neurônios do modelo de Izhikevich.

Empacotando

O futuro da Spiking Neural Network é bastante ambíguo. Os SNNs são chamados de sucessores das redes neurais atuais, mas ainda há um longo caminho a percorrer. A implementação de Spiking Neural Networks ainda é difícil na maioria das tarefas práticas. Os SNNs têm aplicações em tempo real na área de processamento de imagem e áudio.

No entanto, o número de candidaturas nestes domínios continua a ser escasso. Os trabalhos de pesquisa sobre Spiking Neural Networks são principalmente teóricos. Em alguns casos, a análise de desempenho de SNNs é mostrada em uma rede neural totalmente conectada. Há um enorme escopo de pesquisa neste domínio, pois uma grande parte ainda é inexplorada.

Se você estiver interessado em aprender sobre Machine Learning na nuvem, o upGrad em colaboração com o IIT-Madras, oferece o programa Machine Learning in Cloud. O curso irá equipá-lo com as habilidades necessárias para esta função: matemática, manipulação de dados, estatística, programação, habilidades relacionadas à nuvem, além de prepará-lo para conseguir o emprego dos seus sonhos.