尖峰神經網絡：你需要知道的一切

最近，我們聽說神經科技初創公司 Neuralink 計劃通過在大腦中植入一個微型接口來改善人腦的計算能力。 腦機接口中的電極將神經元信息轉換為能夠控制外部系統的命令。 出現的最大問題是如何處理大腦中的信號。

要理解這一點，我們需要知道神經元在大腦中的結構以及它們如何傳遞信息。 每個關注最近機器學習趨勢的人都知道第二代人工神經網絡。 人工神經網絡通常是全連接的，它們處理連續值。 人工神經網絡在許多領域都取得了巨大的進步。

然而，它們並沒有模仿大腦神經元的機制。 下一代神經網絡，脈衝神經網絡，旨在簡化機器學習在神經科學中的應用。

了解神經元如何在大腦中傳遞信息

神經元如何發送和接收信息？ 神經元需要傳遞信息以進行相互交流。 信息的傳輸在神經元內或從一個神經元到另一個神經元完成。 在人腦中，樹突通常從感覺受體獲取信息。 接收到的信息通過細胞體傳遞到軸突。

一旦信息到達軸突，它就會沿著軸突的整個長度向下移動，作為稱為動作電位的電信號。 到達軸突末端時，如果需要，信息需要傳遞到下一個神經元的樹突。 在軸突和下一個神經元的樹突之間存在突觸間隙。 這一空白可以自行填補，也可以藉助神經遞質來填補。

資源

尖峰神經網絡

尖峰神經網絡 (SNN) 不同於機器學習社區中已知的傳統神經網絡。 尖峰神經網絡對尖峰進行操作。 尖峰是在特定時間點發生的離散事件。 因此，它不同於使用連續值的人工神經網絡。 微分方程代表峰值事件中的各種生物過程。

最關鍵的過程之一是神經元的膜容量。 神經元在達到特定電位時會出現尖峰。 在神經元尖峰之後，再次為該神經元重新建立電位。 在觸發動作電位後，神經元需要一段時間才能恢復到穩定狀態。 達到膜電位後的時間間隔稱為不應期。

在不應期，即使興奮性輸入很強，也很難觸發另一個動作電位。 鈉離子通道確保動作電位保持失活並且不會達到膜電位。 因此，即使在獲得恆定的興奮性輸入時，神經元也不會繼續瘋狂放電。

Leaky Integrate-and-Fire (LIF)模型是最常見的。 尖峰神經網絡不是密集連接的。

LIF 模型中膜容量的微分方程

在脈衝神經網絡中，神經元不會在每個傳播週期都放電。 只有當膜電位達到一定值時，神經元才會放電。 一旦神經元放電，它就會產生一個信號。 該信號到達其他神經元並改變它們的膜電位。 Spike train 為我們提供了處理時空數據的更大潛力。

空間特徵指向神經元僅連接到它們本地的其他神經元。 因此，輸入的處理類似於使用過濾器的捲積神經網絡。 時間特徵提到尖峰發生在特定時間。 二進制編碼中丟失的信息以時間信息的形式從尖峰中檢索出來。

這使我們能夠自然地處理時間數據，而不會像循環神經網絡那樣繁瑣。 我們有證據表明脈衝神經網絡如何比傳統的人工神經網絡具有更大的計算能力。

可能出現的一個問題是，為什麼尖峰神經網絡在計算上更強大，卻沒有像傳統神經網絡那樣廣泛使用。 不經常使用 SNN 的主要原因是缺乏訓練算法。 有無監督的生物學習算法，如 Hebbian 學習和 STDP，但缺乏針對 SNN 的監督訓練方法。

由於無法區分尖峰序列，我們無法在不丟失特定時間信息的情況下使用梯度下降等傳統方法訓練尖峰神經網絡。 因此，我們需要研究和開發一種高效的 Spiking Neural Network 監督學習算法，以便在現實生活中使用它。 這是一項艱鉅的工作，因為我們需要徹底了解大腦如何獲得理解並在神經元之間傳遞信息。

資源

尖峰圖案

尖峰序列表示具有多個尖峰的膜電位和時間的二維圖。 以一定時間間隔放電的神經元可以保存更多的信息。

各種尖刺模式

資源

上面顯示的參數 a、b、c 和 d 屬於 Izhikevich 模型神經元。

包起來

尖峰神經網絡的未來相當模糊。 SNN 被稱為當前神經網絡的繼任者，但還有很長的路要走。 在大多數實際任務中，脈衝神經網絡的實現仍然很困難。 SNN 在圖像和音頻處理領域具有實時應用。

然而，這些領域的應用數量仍然很少。 Spiking Neural Networks 的研究論文大多是理論性的。 在某些情況下，SNN 的性能分析顯示在完全連接的神經網絡下。 該領域的研究範圍很大，因為其中大部分尚未探索。

如果您有興趣了解雲端機器學習，upGrad 與 IIT-Madras 合作，提供雲端機器學習計劃。 該課程將為您提供該職位所需的技能：數學、數據整理、統計、編程、與雲相關的技能，並為您獲得夢想中的工作做好準備。