尖峰神经网络：你需要知道的一切

最近，我们听说神经科技初创公司 Neuralink 计划通过在大脑中植入一个微型接口来改善人脑的计算能力。 脑机接口中的电极将神经元信息转换为能够控制外部系统的命令。 出现的最大问题是如何处理大脑中的信号。

要理解这一点，我们需要知道神经元在大脑中的结构以及它们如何传递信息。 每个关注最近机器学习趋势的人都知道第二代人工神经网络。 人工神经网络通常是全连接的，它们处理连续值。 人工神经网络在许多领域都取得了巨大的进步。

然而，它们并没有模仿大脑神经元的机制。 下一代神经网络，脉冲神经网络，旨在简化机器学习在神经科学中的应用。

了解神经元如何在大脑中传递信息

神经元如何发送和接收信息？ 神经元需要传递信息以进行相互交流。 信息的传输在神经元内或从一个神经元到另一个神经元完成。 在人脑中，树突通常从感觉受体获取信息。 接收到的信息通过细胞体传递到轴突。

一旦信息到达轴突，它就会沿着轴突的整个长度向下移动，作为称为动作电位的电信号。 到达轴突末端时，如果需要，信息需要传递到下一个神经元的树突。 在轴突和下一个神经元的树突之间存在突触间隙。 这一空白可以自行填补，也可以借助神经递质来填补。

资源

尖峰神经网络

尖峰神经网络 (SNN) 不同于机器学习社区中已知的传统神经网络。 尖峰神经网络对尖峰进行操作。 尖峰是在特定时间点发生的离散事件。 因此，它不同于使用连续值的人工神经网络。 微分方程代表峰值事件中的各种生物过程。

最关键的过程之一是神经元的膜容量。 神经元在达到特定电位时会出现尖峰。 在神经元尖峰之后，再次为该神经元重新建立电位。 在触发动作电位后，神经元需要一段时间才能恢复到稳定状态。 达到膜电位后的时间间隔称为不应期。

在不应期，即使兴奋性输入很强，也很难触发另一个动作电位。 钠离子通道确保动作电位保持失活并且不会达到膜电位。 因此，即使在获得恒定的兴奋性输入时，神经元也不会继续疯狂放电。

Leaky Integrate-and-Fire (LIF)模型是最常见的。 尖峰神经网络不是密集连接的。

LIF 模型中膜容量的微分方程

在脉冲神经网络中，神经元不会在每个传播周期都放电。 只有当膜电位达到一定值时，神经元才会放电。 一旦神经元放电，它就会产生一个信号。 该信号到达其他神经元并改变它们的膜电位。 Spike train 为我们提供了处理时空数据的更大潜力。

空间特征指向神经元仅连接到它们本地的其他神经元。 因此，输入的处理类似于使用过滤器的卷积神经网络。 时间特征提到尖峰发生在特定时间。 二进制编码中丢失的信息以时间信息的形式从尖峰中检索出来。

这使我们能够自然地处理时间数据，而不会像循环神经网络那样繁琐。 我们有证据表明脉冲神经网络如何比传统的人工神经网络具有更大的计算能力。

可能出现的一个问题是，为什么尖峰神经网络在计算上更强大，却没有像传统神经网络那样广泛使用。 不经常使用 SNN 的主要原因是缺乏训练算法。 有无监督的生物学习算法，如 Hebbian 学习和 STDP，但缺乏针对 SNN 的监督训练方法。

由于无法区分尖峰序列，我们无法在不丢失特定时间信息的情况下使用梯度下降等传统方法训练尖峰神经网络。 因此，我们需要研究和开发一种高效的 Spiking Neural Network 监督学习算法，以便在现实生活中使用它。 这是一项艰巨的工作，因为我们需要彻底了解大脑如何获得理解并在神经元之间传递信息。

资源

尖峰图案

尖峰序列表示具有多个尖峰的膜电位和时间的二维图。 以一定时间间隔放电的神经元可以保存更多的信息。

各种尖刺模式

资源

上面显示的参数 a、b、c 和 d 属于 Izhikevich 模型神经元。

包起来

尖峰神经网络的未来相当模糊。 SNN 被称为当前神经网络的继任者，但还有很长的路要走。 在大多数实际任务中，脉冲神经网络的实现仍然很困难。 SNN 在图像和音频处理领域具有实时应用。

然而，这些领域的应用数量仍然很少。 Spiking Neural Networks 的研究论文大多是理论性的。 在某些情况下，SNN 的性能分析显示在完全连接的神经网络下。 该领域的研究范围很大，因为其中大部分尚未探索。

如果您有兴趣了解云端机器学习，upGrad 与 IIT-Madras 合作，提供云端机器学习计划。 该课程将为您提供该职位所需的技能：数学、数据整理、统计、编程、与云相关的技能，并为您获得梦想中的工作做好准备。