Пиковая нейронная сеть: все, что вам нужно знать

В последнее время мы слышали, как нейротехнологический стартап Neuralink планирует улучшить вычислительные возможности человеческого мозга, имплантировав в мозг крохотный интерфейс. Электроды в интерфейсах мозг-машина преобразуют нейронную информацию в команды, необходимые для управления внешними системами. Самый большой вопрос, который возникает, заключается в том, как будут обрабатываться сигналы в вашем мозгу.

Чтобы понять это, нам нужно знать, как устроены нейроны в мозгу и как они передают информацию. Все, кто следит за последними тенденциями машинного обучения, знают об искусственных нейронных сетях 2-го поколения. Искусственные нейронные сети обычно полностью связаны и имеют дело с непрерывными значениями. ИНС добились огромного прогресса во многих областях.

Однако они не имитируют механизм работы нейронов головного мозга. Следующее поколение нейронной сети, импульсная нейронная сеть, направлено на упрощение применения машинного обучения в нейробиологии.

Узнайте, как нейроны передают информацию в мозг

Как информация передается и принимается нейроном? Нейроны должны передавать информацию для общения между собой. Передача информации осуществляется как внутри нейрона, так и от одного нейрона к другому. В человеческом мозгу дендриты обычно получают информацию от сенсорных рецепторов. Полученная информация передается аксону через тело клетки.

Как только информация достигает аксона, она движется вниз по всей длине аксона в виде электрического сигнала, известного как потенциал действия. При достижении конца аксона информация должна быть передана дендритам следующего нейрона, если это необходимо. Между аксоном и дендритами следующего нейрона имеется синаптическая щель. Этот пробел может быть заполнен сам по себе или с помощью нейротрансмиттеров.

Источник

Пиковая нейронная сеть

Спайковая нейронная сеть (SNN) отличается от традиционных нейронных сетей, известных в сообществе машинного обучения. Спайковая нейронная сеть работает на спайках. Всплески — это дискретные события, происходящие в определенные моменты времени. Таким образом, он отличается от искусственных нейронных сетей, которые используют непрерывные значения. Дифференциальные уравнения представляют различные биологические процессы в случае спайка.

Одним из наиболее важных процессов является мембранная емкость нейрона. Нейрон спайки, когда он достигает определенного потенциала. После спайка нейрона потенциал снова восстанавливается для этого нейрона. Нейрону требуется некоторое время, чтобы вернуться в стабильное состояние после возбуждения потенциала действия. Интервал времени после достижения мембранного потенциала известен как рефрактерный период.

В рефрактерном периоде вызвать другой потенциал действия довольно сложно, даже если возбуждающие импульсы сильны. Натриевые ионные каналы гарантируют, что потенциал действия остается инактивированным и не достигает мембранного потенциала. Таким образом, нейрон не продолжает активно возбуждаться даже при получении постоянных возбуждающих входных сигналов.

Модель Leaky Integrate-and-Fire (LIF) является наиболее распространенной. Спайковые нейронные сети не связаны плотно.

Дифференциальное уравнение для емкости мембраны в модели LIF

В импульсной нейронной сети нейроны не разряжаются в каждом цикле распространения. Возбуждение нейронов происходит только тогда, когда мембранный потенциал достигает определенного значения. Как только нейрон разряжается, он производит сигнал. Этот сигнал достигает других нейронов и изменяет их мембранный потенциал. Spike train предоставляет нам повышенный потенциал для обработки пространственно-временных данных.

Пространственная характеристика указывает на то, что нейроны связаны только с другими нейронами, которые являются локальными по отношению к ним. Таким образом, обработка входных данных работает аналогично сверточной нейронной сети, использующей фильтр. Временная характеристика указывает на то, что всплески происходят в определенное время. Информация, потерянная при двоичном кодировании, извлекается в виде временной информации из пиков.

Это позволяет нам естественным образом обрабатывать временные данные, не делая их громоздкими, как в рекуррентных нейронных сетях. У нас есть доказательства того, что импульсные нейронные сети обладают большей вычислительной мощностью, чем традиционные искусственные нейронные сети.

Один из вопросов, который может возникнуть, заключается в том, почему Spiking Neural Networks не так широко используются, как традиционные нейронные сети, несмотря на то, что они более мощные в вычислительном отношении. Основной причиной того, что SNN не используются часто, является отсутствие алгоритмов обучения. Существуют алгоритмы биологического обучения без учителя, такие как обучение по Хеббу и STDP, но не хватает методов обучения с учителем для SNN.

Поскольку последовательности спайков нельзя различить, мы не можем обучать нейронные сети с шипами, используя обычные методы, такие как градиентный спуск, без потери конкретной временной информации. Таким образом, нам необходимо исследовать и разработать эффективный алгоритм контролируемого обучения для Spiking Neural Network, чтобы использовать его в реальных сценариях. Это трудная работа, так как нам нужно досконально знать, как мозг достигает понимания и передает информацию между нейронами.

Источник

Схемы шипов

Последовательность спайков обозначает двумерный график мембранного потенциала и времени, имеющий несколько спайков. Нейрон, разряжающийся через определенный промежуток времени, может содержать гораздо больше информации.

Различные модели шипов

Источник

Показанные выше параметры a,b,c и d относятся к нейронам модели Ижикевича.

Подведение итогов

Будущее Spiking Neural Network весьма неоднозначно. SNN называют преемниками нынешних нейронных сетей, но впереди еще долгий путь. Реализация Spiking Neural Networks по-прежнему сложна в большинстве практических задач. SNN имеют приложения в реальном времени в области обработки изображений и звука.

Однако количество заявок в этих областях остается низким. Исследовательские работы по Spiking Neural Networks в основном теоретические. В некоторых случаях анализ производительности SNN показан для полностью связанной нейронной сети. Существует огромный объем исследований в этой области, так как большая часть еще не изучена.

Если вам интересно узнать о машинном обучении в облаке, upGrad в сотрудничестве с IIT-Madras предлагает программу машинного обучения в облаке. Курс даст вам необходимые навыки для этой роли: математика, обработка данных, статистика, программирование, навыки, связанные с облачными вычислениями, а также подготовит вас к получению работы вашей мечты.