Rozgałęziająca się sieć neuronowa: wszystko, co musisz wiedzieć

Ostatnio słyszeliśmy, jak neurotechnologiczny startup Neuralink planuje ulepszyć obliczenia ludzkiego mózgu poprzez wszczepienie malutkiego interfejsu do mózgu. Elektrody w interfejsach mózg-maszyna przekształcają informacje neuronowe na polecenia kompetentne w kontrolowaniu systemów zewnętrznych. Największym pytaniem, jakie się pojawia, jest to, w jaki sposób będą przetwarzane sygnały w twoim mózgu.

Aby to zrozumieć, musimy wiedzieć, jak zbudowane są neurony w mózgu i jak przekazują informacje. Każdy, kto śledzi najnowsze trendy w uczeniu maszynowym, zdaje sobie sprawę z istnienia sztucznych sieci neuronowych drugiej generacji. Sztuczne sieci neuronowe są zwykle w pełni połączone i zajmują się wartościami ciągłymi. SSN poczyniły ogromne postępy w wielu dziedzinach.

Nie imitują jednak mechanizmu neuronów w mózgu. Następna generacja sieci neuronowej, błyskawiczna sieć neuronowa, ma na celu ułatwienie zastosowania uczenia maszynowego w neuronauce.

Dowiedz się, jak neurony przekazują informacje w mózgu

Jak informacje są wysyłane i odbierane przez neuron? Neurony muszą przekazywać informacje, aby komunikować się między sobą. Przekazywanie informacji odbywa się zarówno w obrębie neuronu, jak i z jednego neuronu do drugiego. W ludzkim mózgu dendryty zwykle pobierają informacje z receptorów czuciowych. Otrzymana informacja jest przekazywana do aksonu przez ciało komórki.

Gdy tylko informacja dotrze do aksonu, przesuwa się wzdłuż całej długości aksonu jako sygnał elektryczny znany jako potencjał czynnościowy. Po osiągnięciu końca aksonu informacja musi zostać przekazana do dendrytów następnego neuronu, jeśli jest to wymagane. Pomiędzy aksonem a dendrytami następnego neuronu znajduje się szczelina synaptyczna. Tę lukę można wypełnić samodzielnie lub przy pomocy neuroprzekaźników.

Źródło

Skokowa sieć neuronowa

Gwałtowna sieć neuronowa (SNN) różni się od tradycyjnych sieci neuronowych znanych w społeczności uczenia maszynowego. Spikingowa sieć neuronowa działa na kolcach. Kolce to dyskretne wydarzenia odbywające się w określonych momentach. Tym samym różni się od sztucznych sieci neuronowych, które wykorzystują wartości ciągłe. Równania różniczkowe reprezentują różne procesy biologiczne w przypadku skoku.

Jednym z najważniejszych procesów jest pojemność błony neuronu. Neuron wyskakuje, gdy osiągnie określony potencjał. Po skoku neuronu, potencjał jest ponownie ustalany dla tego neuronu. Po wyzwoleniu potencjału czynnościowego neuron potrzebuje trochę czasu, aby powrócić do swojego stabilnego stanu. Przedział czasu po osiągnięciu potencjału błonowego jest znany jako okres refrakcji.

W okresie refrakcji wyzwolenie kolejnego potencjału czynnościowego jest dość trudne, nawet jeśli bodźce pobudzające są silne. Sodowe kanały jonowe zapewniają, że potencjał czynnościowy pozostaje nieaktywny i nie osiąga potencjału błonowego. W ten sposób neuron nie kontynuuje impulsu odpalania nawet po otrzymaniu stałego impulsu pobudzającego.

Najpopularniejszy jest model Leaky Integrate-and-Fire (LIF) . Spikingowe sieci neuronowe nie są gęsto połączone.

Równanie różniczkowe pojemności membrany w modelu LIF

W kolczastej sieci neuronowej neurony nie są rozładowywane w każdym cyklu propagacji. Odpalanie neuronów następuje tylko wtedy, gdy potencjał błonowy osiągnie określoną wartość. Gdy tylko neuron jest rozładowany, wytwarza sygnał. Sygnał ten dociera do innych neuronów i zmienia ich potencjał błonowy. Spike train zapewnia nam zwiększony potencjał przetwarzania danych przestrzenno-czasowych.

Charakterystyka przestrzenna wskazuje, że neurony są połączone tylko z innymi neuronami, które są dla nich lokalne. W ten sposób przetwarzanie danych wejściowych działa podobnie do splotowej sieci neuronowej, która wykorzystuje filtr. Charakterystyka czasowa wskazuje, że skoki pojawiają się w określonym czasie. Informacje utracone w kodowaniu binarnym są pobierane z impulsów w postaci informacji czasowych.

To pozwala nam przetwarzać dane czasowe w sposób naturalny, bez uciążliwości, jak w przypadku Recurrent Neural Networks. Mamy dowody pokazujące, że impulsowe sieci neuronowe mają większą moc obliczeniową niż tradycyjne sztuczne sieci neuronowe.

Jednym z pytań, które może się pojawić, jest to, dlaczego spikingowe sieci neuronowe nie są tak szeroko stosowane jak tradycyjne sieci neuronowe, mimo że są mocniejsze obliczeniowo. Głównym powodem częstego niekorzystania z SNN jest brak algorytmów uczących. Istnieją nienadzorowane algorytmy uczenia biologicznego, takie jak uczenie Hebbowskie i STDP, ale brakuje nadzorowanych metod uczenia SNN.

Ponieważ nie można rozróżnić ciągów impulsowych, nie możemy trenować sieci neuronowych impulsowych przy użyciu konwencjonalnych metod, takich jak opadanie gradientowe, bez utraty określonych informacji czasowych. Dlatego musimy zbadać i opracować wydajny algorytm uczenia nadzorowanego dla Spiking Neural Network, aby móc go używać w rzeczywistych scenariuszach. To trudna praca, ponieważ musimy dokładnie wiedzieć, w jaki sposób mózg uzyskuje zrozumienie i przekazuje informacje między neuronami.

Źródło

Wzory kolczaste

Ciąg kolców oznacza dwuwymiarowy wykres potencjału błonowego i czasu z wieloma kolcami. Neuron rozładowany w określonym przedziale czasu może przechowywać znacznie więcej informacji.

Różne wzory kolców

Źródło

Przedstawione powyżej parametry a,b,c i d należą do neuronów modelu Izhikevicha.

Zawijanie

Przyszłość Spiking Neural Network jest dość niejednoznaczna. SNN są określane jako następcy obecnych sieci neuronowych, ale przed nimi długa droga. Implementacja Spiking Neural Networks jest nadal trudna w większości praktycznych zadań. SNN mają aplikacje czasu rzeczywistego w dziedzinie przetwarzania obrazu i dźwięku.

Jednak liczba zastosowań w tych dziedzinach pozostaje niewielka. Artykuły badawcze na temat Spiking Neural Networks są w większości teoretyczne. W niektórych przypadkach analiza wydajności SNN jest pokazywana w ramach w pełni połączonej sieci neuronowej. Zakres badań w tej dziedzinie jest ogromny, ponieważ znaczna część jest wciąż niezbadana.

Jeśli chcesz dowiedzieć się więcej o uczeniu maszynowym w chmurze, upGrad we współpracy z IIT-Madras oferuje program uczenia maszynowego w chmurze. Kurs wyposaży Cię w umiejętności niezbędne do tej roli: matematyki, radzenia sobie z danymi, statystyki, programowania, umiejętności związanych z chmurą, a także przygotuje Cię do podjęcia pracy, o której marzysz.