Spiking Neural Network: todo lo que necesita saber

Recientemente, escuchamos cómo una startup de neurotecnología, Neuralink, planea mejorar la computación del cerebro humano mediante la implantación de una interfaz minúscula en el cerebro. Los electrodos en las interfaces cerebro-máquina convierten la información neuronal en comandos competentes para controlar sistemas externos. La pregunta más importante que surge es cómo se procesarán las señales en su cerebro.

Para entender esto, necesitamos saber cómo se estructuran las neuronas en el cerebro y cómo transmiten información. Todos los que han estado siguiendo las tendencias recientes de aprendizaje automático conocen las redes neuronales artificiales de segunda generación. Las redes neuronales artificiales suelen estar completamente conectadas y tratan con valores continuos. Las ANN han hecho un gran progreso en muchos campos.

Sin embargo, no imitan el mecanismo de las neuronas del cerebro. La próxima generación de Neural Network, la red neuronal de picos, tiene como objetivo facilitar la aplicación del aprendizaje automático en la neurociencia.

Conozca cómo las neuronas transmiten información en el cerebro

¿Cómo es enviada y recibida la información por una neurona? Las neuronas necesitan transmitir información para comunicarse entre ellas. La transmisión de la información se realiza tanto dentro de la neurona como de una neurona a otra. En el cerebro humano, las dendritas suelen obtener información de los receptores sensoriales. La información recibida se pasa al axón a través del cuerpo celular.

Tan pronto como la información llega al axón, se desplaza a lo largo de todo el axón como una señal eléctrica conocida como potencial de acción. Al llegar al final del axón, la información debe transmitirse a las dendritas de la siguiente neurona, si es necesario. Hay una brecha sináptica presente entre el axón y las dendritas de la siguiente neurona. Este vacío se puede llenar solo o con la ayuda de neurotransmisores.

Fuente

Red neuronal de picos

Una red neuronal de picos (SNN) es diferente de las redes neuronales tradicionales conocidas en la comunidad de aprendizaje automático. La red neuronal Spiking opera en picos. Los picos son eventos discretos que tienen lugar en puntos específicos de tiempo. Por lo tanto, es diferente de las Redes Neuronales Artificiales que usan valores continuos. Las ecuaciones diferenciales representan varios procesos biológicos en el caso de un pico.

Uno de los procesos más críticos es la capacidad de membrana de la neurona. Una neurona se dispara cuando alcanza un potencial específico. Después de un pico de neurona, el potencial se restablece nuevamente para esa neurona. Una neurona tarda un tiempo en volver a su estado estable después de disparar un potencial de acción. El intervalo de tiempo después de alcanzar el potencial de membrana se conoce como período refractario.

En el período refractario, es bastante difícil desencadenar otro potencial de acción, incluso si las entradas excitatorias son fuertes. Los canales de iones de sodio aseguran que el potencial de acción permanezca inactivo y no alcance el potencial de membrana. Por lo tanto, una neurona no continúa una ola de disparos incluso al recibir entradas excitatorias constantes.

El modelo Leaky Integrate-and-Fire (LIF) es el más común. Las redes neuronales con picos no están densamente conectadas.

Ecuación diferencial para la capacidad de la membrana en el modelo LIF

En la red neuronal de picos, las neuronas no se descargan en cada ciclo de propagación. El disparo de las neuronas es solo cuando el potencial de membrana alcanza un cierto valor. Tan pronto como se descarga una neurona, produce una señal. Esta señal llega a otras neuronas y cambia su potencial de membrana. Spike Train nos brinda un mayor potencial para procesar datos espacio-temporales.

La característica espacial apunta a que las neuronas solo están conectadas a otras neuronas que son locales para ellas. Por lo tanto, el procesamiento de entradas funciona de manera similar a una red neuronal convolucional que usa un filtro. La característica temporal menciona que los picos ocurren en un momento determinado. La información perdida en la codificación binaria se recupera en forma de información temporal de los picos.

Esto nos permite procesar datos temporales de forma natural, sin engorrosos como en las Redes Neuronales Recurrentes. Tenemos pruebas que muestran cómo las redes neuronales de picos tienen un mayor poder de cómputo que las redes neuronales artificiales tradicionales.

Una pregunta que puede surgir es por qué Spiking Neural Networks no se usa tan ampliamente como las redes neuronales tradicionales a pesar de ser computacionalmente más poderosa. La razón principal por la que no se usan los SNN con frecuencia es la falta de algoritmos de entrenamiento. Hay algoritmos de aprendizaje biológico no supervisados ​​como el aprendizaje de Hebbian y STDP, pero faltan métodos de entrenamiento supervisados ​​para SNN.

Como los trenes de picos no se pueden diferenciar, no podemos entrenar Spiking Neural Networks utilizando métodos convencionales como el descenso de gradiente sin perder información temporal específica. Por lo tanto, necesitamos investigar y desarrollar un algoritmo de aprendizaje supervisado eficiente para Spiking Neural Network para usarlo en escenarios de la vida real. Es un trabajo difícil ya que necesitamos saber a fondo cómo el cerebro adquiere comprensión y transmite información entre las neuronas.

Fuente

Patrones de pinchos

Un tren de picos denota un gráfico bidimensional del potencial de membrana y el tiempo que tiene múltiples picos. La neurona descargada en un determinado intervalo de tiempo puede contener mucha más información.

Varios patrones de pinchos

Fuente

Los parámetros a, b, c y d que se muestran arriba pertenecen a las neuronas modelo de Izhikevich.

Terminando

El futuro de Spiking Neural Network es bastante ambiguo. Los SNN se conocen como los sucesores de las redes neuronales actuales, pero queda un largo camino por recorrer. La implementación de Spiking Neural Networks sigue siendo difícil en la mayoría de las tareas prácticas. Los SNN tienen aplicaciones en tiempo real en el campo del procesamiento de imágenes y audio.

Sin embargo, el número de aplicaciones en estos campos sigue siendo escaso. Los trabajos de investigación sobre Spiking Neural Networks son en su mayoría teóricos. En algunos casos, el análisis de rendimiento de los SNN se muestra en una red neuronal completamente conectada. Hay un gran campo de investigación en este dominio, ya que una parte importante aún está sin explorar.

Si está interesado en aprender sobre el aprendizaje automático en la nube, upGrad en colaboración con IIT-Madras, ofrece el programa Aprendizaje automático en la nube. El curso lo equipará con las habilidades necesarias para este rol: matemáticas, manejo de datos, estadísticas, programación, habilidades relacionadas con la nube, y lo preparará para obtener el trabajo de sus sueños.