スパイキングニューラルネットワーク：知っておくべきことすべて

最近、ニューラリンクのスタートアップであるNeuralinkが、脳にごくわずかなインターフェースを埋め込むことで、人間の脳の計算を改善する計画を立てていると聞きました。 ブレインマシンインターフェースの電極は、ニューロン情報を外部システムの制御に適したコマンドに変換します。 発生する最大の問題は、脳内の信号がどのように処理されるかです。

これを理解するには、ニューロンが脳内でどのように構造化され、どのように情報を伝達するかを知る必要があります。 最近の機械学習のトレンドをフォローしている人なら誰でも、第2世代の人工ニューラルネットワークを知っています。 人工ニューラルネットワークは通常完全に接続されており、継続的な値を処理します。 ANNは多くの分野で驚異的な進歩を遂げました。

ただし、それらは脳のニューロンのメカニズムを模倣していません。 次世代のニューラルネットワークであるスパイキングニューラルネットワークは、神経科学における機械学習の適用を容易にすることを目的としています。

ニューロンが脳内で情報を伝達する方法を知る

ニューロンはどのように情報を送受信しますか？ ニューロンは、ニューロン間で通信するために情報を送信する必要があります。 情報の伝達は、ニューロン内またはあるニューロンから別のニューロンへの両方で行われます。 人間の脳では、樹状突起は通常、感覚受容体から情報を取得します。 受け取った情報は、細胞体を介して軸索に渡されます。

情報が軸索に到達するとすぐに、活動電位と呼ばれる電気信号として軸索の全長を下に移動します。 軸索の終わりに達すると、必要に応じて、情報を次のニューロンの樹状突起に送信する必要があります。 軸索と次のニューロンの樹状突起の間にシナプスギャップが存在します。 このギャップは、それ自体で、または神経伝達物質の助けを借りて埋めることができます。

ソース

スパイキングニューラルネットワーク

スパイキングニューラルネットワーク（SNN）は、機械学習コミュニティで知られている従来のニューラルネットワークとは異なります。 スパイキングニューラルネットワークはスパイクで動作します。 スパイクは、特定の時点で発生する個別のイベントです。 したがって、連続値を使用する人工ニューラルネットワークとは異なります。 微分方程式は、スパイクが発生した場合のさまざまな生物学的プロセスを表します。

最も重要なプロセスの1つは、ニューロンの膜容量です。 ニューロンは、特定の電位に達するとスパイクします。 ニューロンのスパイクの後、そのニューロンの電位が再び確立されます。 活動電位を発火させた後、ニューロンが安定状態に戻るまでには少し時間がかかります。 膜電位に達した後の時間間隔は、不応期として知られています。

不応期では、興奮性入力が強くても、別の活動電位を誘発することは非常に困難です。 ナトリウムイオンチャネルは、活動電位が不活性化されたままであり、膜電位に到達しないことを保証します。 したがって、ニューロンは、一定の興奮性入力を取得しても、発火を続けません。

Leaky Integrate-and-Fire（LIF）モデルが最も一般的です。 スパイキングニューラルネットワークは密に接続されていません。

LIFモデルの膜容量の微分方程式

スパイキングニューラルネットワークでは、ニューロンはすべての伝播サイクルで放電されるわけではありません。 ニューロンの発火は、膜電位が特定の値に達したときにのみ発生します。 ニューロンが放電されるとすぐに、それは信号を生成します。 この信号は他のニューロンに到達し、それらの膜電位を変化させます。 スパイクトレインは、時空間データを処理する可能性を高めます。

空間特性は、ニューロンがそれらに局所的な他のニューロンにのみ接続されていることを示しています。 したがって、入力の処理は、フィルターを使用する畳み込みニューラルネットワークと同様に機能します。 時間的特性は、スパイクが特定の時間に発生することを示しています。 バイナリエンコーディングで失われた情報は、スパイクから時間情報の形式で取得されます。

これにより、リカレントニューラルネットワークのように煩わしさを感じることなく、時間データを自然に処理できます。 スパイキングニューラルネットワークが従来の人工ニューラルネットワークよりも優れた計算能力を持っていることを示す証拠があります。

発生する可能性のある1つの疑問は、スパイキングニューラルネットワークが、計算上より強力であるにもかかわらず、従来のニューラルネットワークほど広く使用されていない理由です。 SNNを頻繁に使用しない主な理由は、トレーニングアルゴリズムの欠如です。 ヘッブ学習やSTDPのような教師なし生物学的学習アルゴリズムはありますが、SNNの教師ありトレーニング方法はありません。

スパイキングトレインは区別できないため、特定の時間情報を失うことなく、勾配降下法などの従来の方法を使用してスパイキングニューラルネットワークをトレーニングすることはできません。 したがって、実際のシナリオで使用するには、スパイキングニューラルネットワークの効率的な教師あり学習アルゴリズムを研究および開発する必要があります。 脳がどのように理解を獲得し、ニューロン間で情報を伝達するかを完全に知る必要があるため、これは難しい仕事です。

ソース

スパイクパターン

スパイク列は、複数のスパイクを持つ膜電位と時間の2次元プロットを示します。 特定の時間間隔で放出されたニューロンは、はるかに多くの情報を保持できます。

さまざまなスパイクパターン

ソース

上に示したパラメーターa、b、c、およびdは、Izhikevichモデルニューロンに属しています。

まとめ

スパイキングニューラルネットワークの将来は非常にあいまいです。 SNNは、現在のニューラルネットワークの後継と呼ばれていますが、まだ先は長いです。 スパイキングニューラルネットワークの実装は、ほとんどの実際のタスクではまだ困難です。 SNNには、画像およびオーディオ処理の分野でリアルタイムのアプリケーションがあります。

ただし、これらのフィールドのアプリケーションの数はまばらなままです。 スパイキングニューラルネットワークに関する研究論文は、ほとんどが理論的なものです。 場合によっては、SNNのパフォーマンス分析が完全に接続されたニューラルネットワークの下に表示されます。 大部分はまだ調査されていないので、この領域には膨大な範囲の研究があります。

クラウドでの機械学習について学びたい場合は、upGradがIIT-マドラスと共同で、クラウドでの機械学習プログラムを提供しています。 このコースでは、数学、データラングリング、統計、プログラミング、クラウド関連のスキルなど、この役割に必要なスキルを身に付け、夢の仕事に取り掛かる準備をします。