Spiking Neural Network: Semua yang Perlu Anda Ketahui

Baru-baru ini, kami mendengar bagaimana startup neurotech, Neuralink, berencana untuk meningkatkan komputasi otak manusia dengan menanamkan antarmuka yang sangat kecil ke otak. Elektroda di antarmuka otak-mesin mengubah informasi saraf menjadi perintah yang kompeten dalam mengendalikan sistem eksternal. Pertanyaan terbesar yang muncul adalah bagaimana sinyal di otak Anda akan diproses.

Untuk memahami ini, kita perlu mengetahui bagaimana neuron terstruktur di otak dan bagaimana mereka mengirimkan informasi. Setiap orang yang mengikuti tren pembelajaran mesin baru-baru ini menyadari Jaringan Saraf Tiruan generasi ke-2. Jaringan Syaraf Tiruan biasanya terhubung sepenuhnya, dan mereka berurusan dengan nilai-nilai berkelanjutan. ANN telah membuat kemajuan luar biasa di banyak bidang.

Namun, mereka tidak meniru mekanisme neuron otak. Neural Network generasi berikutnya, spiking neural network, bertujuan untuk memudahkan penerapan pembelajaran mesin dalam ilmu saraf.

Ketahui Bagaimana Neuron Mengirim Informasi di Otak

Bagaimana informasi dikirim dan diterima oleh neuron? Neuron perlu mengirimkan informasi untuk berkomunikasi di antara mereka sendiri. Transmisi informasi dilakukan baik di dalam neuron atau dari satu neuron ke neuron lainnya. Di otak manusia, dendrit biasanya mendapatkan informasi dari reseptor sensorik. Informasi yang diterima diteruskan ke akson melalui badan sel.

Segera setelah informasi mencapai akson, ia bergerak ke bawah sepanjang akson sebagai sinyal listrik yang dikenal sebagai potensial aksi. Saat mencapai ujung akson, informasi perlu ditransmisikan ke dendrit neuron berikutnya, jika diperlukan. Ada celah sinaptik antara akson dan dendrit neuron berikutnya. Kesenjangan ini dapat diisi sendiri atau dengan bantuan neurotransmiter.

Sumber

Jaringan Saraf Spiking

Jaringan saraf spiking (SNN) berbeda dari jaringan saraf tradisional yang dikenal di komunitas pembelajaran mesin. Jaringan saraf spiking beroperasi pada paku. Paku adalah peristiwa diskrit yang terjadi pada titik waktu tertentu. Dengan demikian, berbeda dengan Jaringan Syaraf Tiruan yang menggunakan nilai kontinu. Persamaan diferensial mewakili berbagai proses biologis jika terjadi lonjakan.

Salah satu proses yang paling kritis adalah kapasitas membran neuron. Sebuah neuron melonjak ketika mencapai potensi tertentu. Setelah lonjakan neuron, potensi kembali terbentuk untuk neuron itu. Dibutuhkan beberapa waktu bagi neuron untuk kembali ke keadaan stabilnya setelah melepaskan potensial aksi. Interval waktu setelah mencapai potensial membran dikenal sebagai periode refraktori.

Pada periode refraktori, memicu potensial aksi lain cukup sulit bahkan jika input rangsang kuat. Kanal ion natrium memastikan bahwa potensial aksi tetap tidak aktif dan tidak mencapai potensial membran. Dengan demikian, neuron tidak melanjutkan penembakan bahkan pada input rangsang konstan.

Model Leaky Integrate-and-Fire (LIF) adalah yang paling umum. Spiking Neural Networks tidak terhubung secara padat.

Persamaan Diferensial untuk kapasitas membran dalam model LIF

Dalam jaringan saraf spiking, neuron tidak dilepaskan pada setiap siklus propagasi. Penembakan neuron hanya ketika potensial membran mencapai nilai tertentu. Segera setelah neuron dilepaskan, ia menghasilkan sinyal. Sinyal ini mencapai neuron lain dan mengubah potensial membrannya. Spike train memberi kami potensi yang lebih besar untuk memproses data spasial-temporal.

Karakteristik spasial menunjuk ke neuron yang hanya terhubung ke neuron lain yang lokal untuk mereka. Dengan demikian, pemrosesan input bekerja mirip dengan Jaringan Saraf Konvolusi yang menggunakan filter. Ciri temporal menyebutkan bahwa lonjakan terjadi pada waktu tertentu. Informasi yang hilang dalam pengkodean biner diambil dalam bentuk informasi temporal dari paku.

Ini memungkinkan kami untuk memproses data temporal secara alami, tanpa membuat rumit seperti di Jaringan Saraf Berulang. Kami memiliki bukti yang menunjukkan bagaimana jaringan saraf spiking memiliki kekuatan komputasi yang lebih besar daripada jaringan saraf tiruan tradisional.

Satu pertanyaan yang mungkin muncul adalah mengapa Spiking Neural Networks tidak banyak digunakan seperti jaringan saraf tradisional meskipun secara komputasi lebih kuat. Alasan utama di balik tidak sering menggunakan SNN adalah kurangnya algoritma pelatihan. Ada algoritme pembelajaran biologis yang tidak diawasi seperti pembelajaran Hebbian dan STDP, tetapi ada kekurangan metode pelatihan yang diawasi untuk SNN.

Karena spike train tidak dapat dibedakan, kami tidak dapat melatih Spiking Neural Networks menggunakan metode konvensional seperti penurunan gradien tanpa kehilangan informasi temporal tertentu. Dengan demikian, kita perlu meneliti dan mengembangkan algoritma pembelajaran terawasi yang efisien untuk Spiking Neural Network untuk menggunakannya dalam skenario kehidupan nyata. Ini adalah pekerjaan yang sulit karena kita perlu mengetahui secara menyeluruh bagaimana otak memperoleh pemahaman dan mengirimkan informasi antar neuron.

Sumber

Pola Berduri

Kereta paku menunjukkan plot dua dimensi potensial membran dan waktu yang memiliki banyak paku. Neuron yang dilepaskan pada interval waktu tertentu dapat menyimpan lebih banyak informasi.

Berbagai pola spiking

Sumber

Parameter a,b,c, dan d yang ditunjukkan di atas adalah milik neuron model Izhikevich.

Membungkus

Masa depan Spiking Neural Network cukup ambigu. SNN disebut sebagai penerus jaringan saraf saat ini, tetapi jalan masih panjang. Implementasi Spiking Neural Networks masih sulit di sebagian besar tugas-tugas praktis. SNN memiliki aplikasi waktu nyata di bidang pemrosesan gambar dan audio.

Namun, jumlah aplikasi di bidang ini tetap jarang. Makalah penelitian tentang Spiking Neural Networks sebagian besar bersifat teoritis. Dalam beberapa kasus, analisis kinerja SNN ditampilkan di bawah jaringan saraf yang terhubung penuh. Ada ruang lingkup penelitian yang sangat besar dalam domain ini karena sebagian besar masih belum dijelajahi.

Jika Anda tertarik untuk mempelajari Machine learning di cloud, upGrad bekerja sama dengan IIT- Madras, menawarkan program Machine Learning in Cloud. Kursus ini akan membekali Anda dengan keterampilan yang diperlukan untuk peran ini: matematika, perselisihan data, statistik, pemrograman, keterampilan terkait cloud, serta mempersiapkan Anda untuk mendapatkan pekerjaan impian Anda.