Rețele neuronale capsule: ce este, cum funcționează, arhitectură și componente

Publicat: 2020-04-03

Cum recunoști lucrurile? Dacă aș scrie „Their” și „Thier”, le-ai citi pe amândouă drept „Thelor”? Răspunsul tău ar fi probabil da.

Creierul tău poate identifica caracteristicile primare și te poate ajuta să recunoști lucrurile. De aceea, puteți observa fețele cu ușurință. Rețelele neuronale capsule funcționează în mod similar. În acest articol, vom arunca o privire la ce sunt acestea și cum funcționează. Dacă sunteți interesat de algoritmii de învățare automată , cu siguranță v-ar plăcea acest articol. Asadar, haideti sa începem.

Cuprins

Ce este o rețea neuronală capsulă?

O rețea neuronală capsulă se concentrează pe replicarea rețelelor neuronale biologice pentru a realiza o mai bună recunoaștere și segmentare. Sunt un tip de rețea neuronală artificială. Au un strat imbricat sub un strat al rețelelor neuronale capsule, asta indică cuvântul „capsulă”.

Capsulele din aceste rețele determină parametrii caracteristicilor unui obiect. Să presupunem că rețelele tale de capsule trebuie să identifice o față. Capsulele se vor concentra pe determinarea dacă trăsăturile faciale specifice sunt prezente sau nu. Ei nu se limitează doar la asta. Ei vor verifica, de asemenea, modul în care sunt organizate trăsăturile feței specifice. Deci, sistemul dumneavoastră poate identifica o față numai atunci când capsulele determină că elementele acelei fețe sunt în ordinea corectă.

S-ar putea să vă întrebați cum determină ele ordinea acelor caracteristici? Aceste rețele pot face acest lucru datorită contribuției pe care le oferiți. Când au examinat sute (sau chiar mii) de imagini, pot îndeplini această sarcină eficient.

Aflați mai multe: Rețele neuronale: aplicații în lumea reală

Cum funcționează rețelele capsule?

Acum, să aruncăm o privire la modul în care funcționează aceste rețele. Inițial, capsulele efectuează multiplicarea matriceală a matricelor de greutate cu vectori de intrare. Acest lucru ne oferă informații despre relația spațială dintre mai multe caracteristici de nivel scăzut și de nivel înalt.

După aceea, capsulele selectează o capsulă părinte. Ei fac selecția prin rutare dinamică, despre care am discutat mai târziu în acest articol. Odată ce și-au ales capsula părinte, ei găsesc suma vectorilor striviți între 0 și 1 când se țin de direcția lor. Efectuați strivirea folosind norma cadrului de coordonate ca probabilitate de existență și distanța cosinus pentru a fi măsura acordului.

Există o diferență semnificativă între rețelele neuronale standard și rețelele neuronale capsule. În timp ce rețelele de capsule folosesc capsule pentru a încapsula informații esențiale despre o imagine, rețelele neuronale standard folosesc neuroni în acest scop. Capsulele produc vectori, în timp ce neuronii pot produce doar cantități scalare. Din acest motiv, capsulele pot identifica direcția unei fețe (sau o trăsătură specifică), dar neuronii nu pot. Dacă ați schimba direcția oricărei caracteristici, valoarea vectorului va rămâne aceeași, dar direcția acestuia se va schimba în funcție de schimbarea poziției.

Rețelele cu capsule funcționează uimitor de bine pe seturi de date mici și facilitează interpretarea imaginilor robuste. În afară de asta, ele păstrează toate informațiile imaginii, inclusiv textura, locația și poziția. Singurul lor dezavantaj este că nu pot depăși seturile de date vaste.

Citiți: 6 tipuri de funcție de activare în rețelele neuronale

Care este arhitectura unei rețele neuronale capsule?

Cele două componente principale ale unei rețele de capsule sunt un codificator și un decodor. În total, ele conțin șase straturi. Codificatorul are primele trei straturi și au responsabilitatea de a prelua și transforma imaginea de intrare într-un vector (16-dimensional). Primul strat al codificatorului este rețeaua neuronală convoluțională și extrage caracteristicile de bază ale imaginii.

Al doilea strat este Rețeaua PrimaryCaps și ia acele caracteristici esențiale și găsește modele mai detaliate printre ele. De exemplu, ar putea vedea relația spațială dintre anumite lovituri. Seturi de date diferite au un număr diferit de capsule în Rețeaua PrimaryCaps; de exemplu, setul de date MNIST are 32 de capsule. Al treilea strat este Rețeaua DigitCaps, iar numărul de capsule prezente în acesta variază, de asemenea. După aceste straturi, codificatorul are un vector cu 16 dimensiuni care merge la decodor.

Decodorul are trei straturi conectate. Ia vectorul cu 16 dimensiuni și încearcă să reconstruiască aceeași imagine de la zero cu ajutorul datelor pe care le are. În acest fel, rețeaua devine mai robustă, deoarece poate face predicții în funcție de cunoștințele sale.

Citește și: Rețeaua neuronală recurentă în Python

Calcule într-un CNN

Înmulțirea matriceală

Între primul strat și al doilea strat, efectuăm înmulțirea matricei. Aceasta codifică informațiile despre relațiile spațiale, iar informațiile codificate arată probabilitatea clasificărilor de etichete.

Greutăți scalare

În această etapă a calculelor, capsulele de nivel inferior își ajustează greutățile în funcție de greutățile capsulelor de nivel înalt. Ei fac acest lucru pentru a se potrivi cu greutățile capsulelor de nivel înalt. Capsulele de nivel înalt prezintă grafic distribuția greutății și acceptă cea mai mare alocare de promovat. Toate comunică între ele prin rutare dinamică.

Rutare dinamică

În rutarea dinamică, capsulele inferioare își trimit datele către capsula părinte. Toți își trimit datele către cea mai potrivită capsulă conform lor, iar capsula care primește cele mai multe date devine capsula părinte. Capsulele părinte urmează acordul și atribuie greutățile în consecință.

Pentru a înțelege rutarea dinamică, să presupunem că oferiți imagini ale rețelei capsule ale unei case. Se confruntă cu unele probleme cu identificarea acoperișului casei. Deci capsulele analizează imaginea, în special partea constantă a acesteia. Ele coordonează cadrul casei în ceea ce privește pereții și acoperișul.

Ei iau mai întâi decizia dacă obiectul este o casă sau nu și apoi își trimit predicțiile către capsulele de nivel înalt. Dacă proiecțiile acoperișului cu privire la pereți se potrivesc cu alte predicții de la capsule de nivel scăzut, rezultatul spune că obiectul este o casă. Acesta este procesul de rutare prin acord.

Neliniaritate de la vector la vector

Odată ce rutarea dinamică este completă, sistemul comprimă informațiile, ceea ce înseamnă că comprimă informațiile respective. Vă oferă probabilitatea dacă capsula va recunoaște sau nu o anumită caracteristică.

Gânduri finale

După ce parcurgeți acest articol, trebuie să vă familiarizați cu rețelele neuronale capsule și cu operațiunile acestora. De asemenea, trebuie să fi realizat cât de utile ar putea fi acțiunile lor.

Dacă doriți să aflați mai multe despre algoritmii de învățare automată, consultați blogul nostru. Veți găsi acolo câteva articole informate.

Dacă sunteți interesat să aflați mai multe despre învățarea automată, consultați Diploma PG de la IIIT-B și upGrad în Învățare automată și AI, care este concepută pentru profesioniști care lucrează și oferă peste 450 de ore de pregătire riguroasă, peste 30 de studii de caz și sarcini, IIIT- B Statut de absolvenți, peste 5 proiecte practice practice și asistență pentru locuri de muncă cu firme de top.

Ce sunt rețelele neuronale cu transformatoare?

Când o rețea neuronală ia o secvență de vectori ca intrare, o schimbă într-un vector numit (procesul se numește codificare) și apoi o decodifică înapoi într-o altă secvență, se numește rețea neuronală transformatoare. Transformatorul este o componentă găsită în multe arhitecturi de rețele neuronale pentru procesarea datelor secvențiale, inclusiv textul în limbaj simplu, semnalele acustice, secvențele genomice și datele serii de timp. Cea mai comună aplicație a rețelelor neuronale transformatoare este în procesarea limbajului natural.

Ce sunt rețelele neuronale grafice și cum funcționează graficele?

Rețelele neuronale grafice sau GNN-urile sunt modele neuronale care utilizează transmisia de mesaje între nodurile graficului pentru a reprezenta dependența de grafic. Aceste rețele operează direct pe structurile grafice date. Cu cuvinte simple, fiecare nod din grafic are o etichetă, iar o rețea neuronală este folosită pentru a prezice nodurile de etichetă pe baza adevărului de bază. GNN-urile au câștigat recent importanță într-o varietate de discipline, inclusiv rețelele sociale, graficele de cunoștințe, sistemele de recomandare și chiar știința vieții.

Capsulele sunt diferite de rețelele de capsule?

Ambii termeni, capsule și rețele de capsule, sunt conectați la deep learning, dar nu sunt același lucru. Un grup de neuroni ai căror vectori de activitate reprezintă parametrii de instanțiere ai unui anumit element, cum ar fi cel al unui obiect, este cunoscut sub numele de capsulă. Cu toate acestea, rețelele de capsule sunt rețele care pot prelua informații geografice și alte aspecte importante pentru a minimiza pierderea de date în timpul procesului de punere în comun a operațiunilor.