신경망 구성 요소: 신경망 구성 요소 설명

소개

최근 몇 년 동안 딥 러닝의 인기는 산업의 모든 부문에서 사용 및 적용 측면에서 급격한 기울기를 보였습니다. 이미지 인식, 음성 생성, 번역 및 기타 여러 응용 프로그램에 관계없이 거의 모든 회사는 이 기술을 구축 중인 제품 중 하나에 통합하기를 원합니다. 기존 머신 러닝 알고리즘보다 우위에 있는 이유는 이러한 딥 러닝 모델이 제공하는 정확성과 효율적인 성능 때문입니다.

인프라가 이러한 결과를 제공하는 데 중요한 역할을 하지만 핵심 코드는 신경망에 포함된 모든 처리를 수행합니다. 이 네트워크의 다양한 구성 요소를 탐색한 다음 이러한 구성 요소를 사용하는 몇 가지 기본 단위를 살펴보겠습니다.

필독: 신경망 모델 소개

신경망의 다양한 구성요소

뉴런

신경망의 기본 빌딩 블록은 뉴런입니다. 이 개념은 인간 두뇌의 실제 신경망과 매우 유사합니다. 이 인공 뉴런은 모든 입력을 받아 집계한 다음 함수를 기반으로 뉴런의 출력을 제공합니다.

신경망은 입력, 은닉 및 출력 레이어로 알려진 레이어 형태로 서로 연결된 많은 뉴런으로 구성됩니다. 이 네트워크를 사용하면 모든 종류의 복잡한 데이터 패턴을 수학 함수에 매핑할 수 있으며 이는 보편적 근사 정리를 사용하여 수학적으로 확인할 수 있습니다.

가중치

모델은 음수 값을 사용하여 높은 값을 억제할 수 있도록 가중치를 가질 수 있습니다. 스마트폰 구매를 예로 들어 해석할 수 있습니다. 가격이 높을수록 해당 스마트폰을 구매할 확률은 낮아지지만 우리 모델이 모든 값을 더하고 임계값과 비교하면 잘못된 예측이 수행될 수 있습니다. 이 효과를 무효화하려면 음수 가중치가 합계를 줄이고 올바른 예측을 얻어야 합니다.

활성화 기능

뉴런 정의에는 함수를 기반으로 하는 뉴런이 입력 또는 은닉 계층의 일부이거나 출력 계층에서 추가 처리에 사용되는 경우 다음 계층으로 결과를 출력한다는 언급이 있었습니다.

이 함수를 활성화 함수라고 하며 이것이 뉴런의 상태를 정의합니다. 이 작업을 수행할 수 있는 활성화 기능이 시중에 많이 있지만 모두 사용 사례에 따라 다릅니다. 예를 들면 시그모이드 함수, tanh 함수, softmax 함수, Relu(정류 선형 단위), 누출 Relu 등이 있습니다.

학습률

체중 업데이트의 속도를 제어할 수 있습니다. 학습률이 중요한 요소로 작용하는 두 가지 경우를 고려하십시오. 입력 기능에 희소 값이 더 많으면 가중치를 더 자주 업데이트해야 하므로 더 큰 학습률이 요구됩니다. 마찬가지로 낮은 학습률은 밀도가 높은 데이터에서 작동할 수 있습니다.

더 큰 신경망에서 이러한 구성 요소를 사용하는 몇 가지 기본 단위를 살펴보겠습니다.

MP 뉴런

이것은 입력 합을 계산한 다음 활성화 함수에 전달하여 최종 출력을 얻는 가장 기본적인 인공 뉴런 형태입니다. 다음은 이에 대한 시각적 정보입니다.

이에 대한 제한 요소는 입력이 이진수여야 하고 실수가 허용되지 않는다는 것입니다. 즉, 다른 값을 가진 데이터 세트를 사용하려는 경우 모델에 전달할 바이너리로 확장해야 합니다.

이 모델의 출력도 바이너리이므로 결과의 품질을 해석하기 어렵습니다. 입력에는 가중치가 없으므로 기능이 결과에 얼마나 기여하는지 제어할 수 없습니다.

퍼셉트론 뉴런

MP 뉴런의 중요한 단점 중 하나는 실수를 입력으로 받아들일 수 없어 바람직하지 않은 결과를 초래할 수 있다는 것입니다. 이는 입력 기능을 실수로 이 뉴런에 전달하려면 1 또는 0으로 축소해야 함을 의미합니다. 이 뉴런 모델에서는 입력에 대한 제한이 없지만 표준화된 입력을 전달하면 입력의 집계가 모든 특성 값에 대해 공정하기 때문에 더 짧은 시간에 더 나은 결과를 얻을 수 있습니다.

학습 알고리즘도 도입되어 이 모델을 새로운 입력에 더욱 강력하게 만듭니다. 알고리즘은 손실 함수를 기반으로 각 입력에 적용된 가중치를 업데이트합니다. 손실 함수는 실제 값과 모델에 의한 예측 값의 차이를 결정합니다. 제곱 오차 손실은 딥 러닝 모델에서 널리 사용되는 함수 중 하나입니다.

지각 뉴런도 이진 출력을 내므로 손실은 0 또는 1이 될 수 있습니다. 이는 이 유형의 손실 함수를 "예측이 실제 값과 같지 않을 때 손실이 1이고 가중치를 업데이트해야 하지 않으면 손실이 0이고 업데이트가 필요하지 않음"과 같이 보다 간결한 방식으로 정의할 수 있음을 의미합니다. 가중치 업데이트는 다음과 같은 방식으로 수행됩니다.

w = w + x wx < 0인 경우

w = w – wx >= 0인 경우 x

읽기: 초보자를 위한 TensorFlow 객체 감지 튜토리얼

시그모이드 뉴런

퍼셉트론 뉴런은 MP 뉴런에 비해 유망해 보이지만 아직 해결해야 할 몇 가지 문제가 있습니다. 둘 다의 한 가지 주요 결함은 이진 분류만 지원한다는 것입니다. 또 다른 문제는 특정 사례가 가능한지 여부만 출력하는 가혹한 분류 경계입니다. 이진 출력보다 더 해석 가능한 확률 형태로 예측의 유연성을 허용하지 않습니다.

이러한 모든 문제를 해결하기 위해 다중 분류 및 회귀 작업에 사용할 수 있는 Sigmoid 뉴런이 도입되었습니다. 이 모델은 Sigmoid 계열의 함수 또는 로그를 사용합니다.

y = 1 / (1 + e^ (-wx + b))

이 함수를 플롯하면 이 곡선의 절편인 'b'의 다른 값을 사용하여 위치를 조정할 수 있는 'S' 모양이 됩니다. 이 함수의 출력은 아무리 많은 입력이 전달되더라도 항상 0과 1 사이에 있습니다. 이것은 강체 출력보다 더 나은 클래스의 확률을 제공합니다. 이는 또한 여러 분류를 사용하거나 회귀를 수행할 수 있음을 의미합니다.

이에 대한 학습 알고리즘은 이전 알고리즘과 다릅니다. 여기서 가중치와 편향은 손실 함수의 도함수에 따라 업데이트됩니다.

이 알고리즘은 일반적으로 Gradient Descent 규칙으로 알려져 있습니다. 이에 대한 파생 및 자세한 설명은 상당히 길고 수학적이므로 현재 이 기사에서 제외됩니다. 간단히 말해서 손실 함수의 도함수에 대한 최적의 최소값을 얻으려면 기울기와 반대 방향으로 이동해야 합니다.

결론

이것은 신경망에 대한 간략한 소개였습니다. 우리는 미니 두뇌 역할을 하고 입력을 처리하는 뉴런, 값의 균형을 유지하도록 허용하는 가중치, 가중치 업데이트 속도를 제어하는 ​​학습률, 뉴런을 작동시키는 활성화 기능과 같은 다양한 기본 구성요소를 보았습니다.

우리는 또한 작업의 복잡성을 증가시키면서 기본 빌딩 블록 뉴런이 어떻게 다른 형태를 취할 수 있는지 보았습니다. MP 뉴런에서 가장 기본적인 형태로 시작한 다음 Perceptron 뉴런에서 몇 가지 문제를 제거하고 나중에 Sigmoid 뉴런에서 회귀 및 다중 클래스 분류 작업에 대한 지원을 추가했습니다.

기계 학습에 대해 자세히 알아보려면 IIIT-B 및 upGrad의 기계 학습 및 AI PG 디플로마를 확인하세요. 이 PG 디플로마는 일하는 전문가를 위해 설계되었으며 450시간 이상의 엄격한 교육, 30개 이상의 사례 연구 및 과제, IIIT- B 동문 자격, 5개 이상의 실용적인 실습 캡스톤 프로젝트 및 최고의 기업과의 취업 지원.