스파이크 신경망: 알아야 할 모든 것

최근에 우리는 신경 기술 스타트업인 Neuralink가 아주 작은 인터페이스를 뇌에 이식하여 인간 뇌의 계산 능력을 향상시키려는 계획을 들었습니다. 뇌-기계 인터페이스의 전극은 신경 정보를 외부 시스템을 제어할 수 있는 명령으로 변환합니다. 발생하는 가장 큰 질문은 뇌의 신호가 어떻게 처리될 것인가 하는 것입니다.

이것을 이해하려면 뇌에서 뉴런이 어떻게 구조화되어 있고 어떻게 정보를 전달하는지 알아야 합니다. 최근 머신러닝 트렌드를 지켜본 사람이라면 누구나 2세대 인공신경망을 알고 있을 것입니다. 인공 신경망은 일반적으로 완전히 연결되어 있으며 연속 값을 처리합니다. ANN은 많은 분야에서 엄청난 발전을 이루었습니다.

그러나 그들은 뇌의 뉴런의 메커니즘을 모방하지 않습니다. 스파이크 신경망인 차세대 신경망은 신경 과학에서 기계 학습의 적용을 용이하게 하는 것을 목표로 합니다.

뉴런이 뇌에서 정보를 전송하는 방법을 알고

뉴런은 어떻게 정보를 보내고 받습니까? 뉴런은 서로 통신하기 위해 정보를 전송해야 합니다. 정보 전달은 뉴런 내에서 또는 한 뉴런에서 다른 뉴런으로 모두 수행됩니다. 인간의 뇌에서 수상돌기는 일반적으로 감각 수용체로부터 정보를 얻습니다. 수신된 정보는 세포체를 통해 축삭으로 전달됩니다.

정보가 축삭에 도달하자마자 활동 전위로 알려진 전기 신호로 축삭의 전체 길이 아래로 이동합니다. 축삭의 끝에 도달하면 필요한 경우 정보가 다음 뉴런의 수상돌기로 전송되어야 합니다. 축삭과 다음 뉴런의 수상돌기 사이에는 시냅스 틈이 있습니다. 이 간격은 자체적으로 또는 신경 전달 물질의 도움으로 채울 수 있습니다.

원천

스파이크 신경망

스파이크 신경망(SNN)은 기계 학습 커뮤니티에서 알려진 기존 신경망과 다릅니다. 스파이크 신경망은 스파이크에서 작동합니다. 스파이크는 특정 시점에서 발생하는 개별 이벤트입니다. 따라서 연속 값을 사용하는 인공 신경망과 다릅니다. 미분 방정식은 스파이크 발생 시 다양한 생물학적 과정을 나타냅니다.

가장 중요한 과정 중 하나는 뉴런의 막 용량입니다. 뉴런은 특정 전위에 도달하면 급증합니다. 뉴런 스파이크 후에 해당 뉴런에 대한 전위가 다시 설정됩니다. 뉴런이 활동전위를 발사한 후 안정 상태로 돌아가려면 시간이 걸립니다. 막 전위에 도달한 후의 시간 간격을 불응기라고 합니다.

불응기에는 흥분성 입력이 강하더라도 또 다른 활동전위를 촉발시키는 것은 상당히 어렵다. 나트륨 이온 채널은 활동 전위가 비활성화된 상태를 유지하고 막 전위에 도달하지 않도록 합니다. 따라서 뉴런은 일정한 흥분성 입력을 받아도 계속 발사하지 않습니다.

Leaky Integrate-and-Fire(LIF) 모델이 가장 일반적입니다. 스파이크 신경망은 조밀하게 연결되어 있지 않습니다.

LIF 모델에서 멤브레인 용량에 대한 미분 방정식

스파이크 신경망에서 뉴런은 모든 전파 주기에서 방전되지 않습니다. 뉴런의 발화는 막 전위가 특정 값에 도달할 때만 발생합니다. 뉴런은 방전되자마자 신호를 생성합니다. 이 신호는 다른 뉴런에 도달하여 막 전위를 변경합니다. 스파이크 트레인은 시공간 데이터를 처리할 수 있는 가능성을 높여줍니다.

공간적 특성은 뉴런이 로컬에 있는 다른 뉴런에만 연결된다는 점을 가리킵니다. 따라서 입력 처리는 필터를 사용하는 Convolutional Neural Network와 유사하게 작동합니다. 시간적 특성은 스파이크가 특정 시간에 발생한다고 언급합니다. 이진 인코딩에서 손실된 정보는 스파이크에서 시간 정보의 형태로 검색됩니다.

이를 통해 Recurrent Neural Networks에서와 같이 번거롭지 않고 시간 데이터를 자연스럽게 처리할 수 있습니다. 우리는 스파이킹 신경망이 기존 인공 신경망보다 계산 능력이 더 크다는 것을 보여주는 증거를 가지고 있습니다.

발생할 수 있는 한 가지 질문은 Spiking Neural Networks가 계산적으로 더 강력함에도 불구하고 기존의 신경망만큼 널리 사용되지 않는 이유입니다. SNN을 자주 사용하지 않는 주된 이유는 훈련 알고리즘이 부족하기 때문입니다. Hebbian learning 및 STDP와 같은 비지도 생물학적 학습 알고리즘이 있지만 SNN에 대한 지도 학습 방법이 부족합니다.

스파이크 트레인을 구별할 수 없기 때문에 특정 시간 정보를 잃지 않고 경사 하강법과 같은 기존 방법을 사용하여 스파이크 신경망을 훈련할 수 없습니다. 따라서 실제 시나리오에서 Spiking Neural Network를 사용하려면 효율적인 지도 학습 알고리즘을 연구하고 개발해야 합니다. 뇌가 어떻게 이해력을 얻고 뉴런 간에 정보를 전달하는지 철저히 알아야 하기 때문에 어려운 작업입니다.

원천

스파이크 패턴

스파이크 트레인은 다중 스파이크가 있는 막 전위와 시간의 2차원 플롯을 나타냅니다. 일정 시간 간격으로 방전된 뉴런은 훨씬 더 많은 정보를 담을 수 있습니다.

다양한 스파이크 패턴

원천

위에 표시된 매개변수 a,b,c,d는 Izhikevich 모델 뉴런에 속합니다.

마무리

Spiking Neural Network의 미래는 상당히 모호합니다. SNN은 현재 신경망의 후계자라고 하지만 갈 길이 멉니다. Spiking Neural Networks의 구현은 대부분의 실제 작업에서 여전히 어렵습니다. SNN은 이미지 및 오디오 처리 분야에서 실시간 애플리케이션을 가지고 있습니다.

그러나 이러한 분야의 응용 프로그램 수는 여전히 희박합니다. Spiking Neural Networks에 대한 연구 논문은 대부분 이론적인 것입니다. 어떤 경우에는 SNN의 성능 분석이 완전히 연결된 신경망에서 표시됩니다. 주요 부분이 아직 탐구되지 않았기 때문에 이 영역에서 방대한 연구 범위가 있습니다.

클라우드에서 머신 러닝에 대해 배우고 싶다면 IIT-Madras와 협력하여 upGrad에서 머신 러닝 프로그램을 제공합니다. 이 과정은 수학, 데이터 랭글링, 통계, 프로그래밍, 클라우드 관련 기술과 같은 이 역할에 필요한 기술을 갖추게 할 뿐만 아니라 꿈의 직업을 가질 수 있도록 준비합니다.