Rezolvarea ecuației matematice de bază folosind RNN [cu exemplu de codare]

Dacă viața îți dă RNN, fă-ți un calculator

O rețea neuronală recurentă este una dintre rețelele neuronale artificiale clasice, în care conexiunile dintre noduri formează un grafic direcționat secvențial. RNN-urile sunt renumite pentru aplicații precum recunoașterea vorbirii, recunoașterea scrisului de mână etc. datorită memoriei lor interne de stare pentru procesarea secvențelor cu lungime variabilă.

RNN-urile sunt clasificate în continuare în două tipuri. Primul este un impuls finit a cărui rețea neuronală este sub forma unui graf aciclic direcționat în care un nod poate fi conectat cu unul sau mai multe noduri care sunt înainte fără niciun ciclu vizibil în rețea. Un altul este un impuls infinit a cărui rețea neuronală este sub forma unui grafic ciclic direcționat care nu poate fi desfășurat într-o rețea neuronală feed-forward.

Ce vom face?

Să construim un model care prezice rezultatul unei expresii aritmetice. De exemplu, dacă dau o intrare „11+88”, atunci modelul ar trebui să prezică următorul cuvânt din secvență ca „99”. Intrarea și ieșirea sunt o secvență de caractere, deoarece un RNN se ocupă cu date secvențiale.

Acum, proiectarea arhitecturii modelului pare o sarcină simplă în comparație cu colectarea setului de date. Generarea de date sau colectarea setului de date este o sarcină dificilă, deoarece modelele de IA cu foame de date necesită o cantitate suficientă de date pentru o acuratețe acceptabilă.

Deci, acest model poate fi implementat în 6 pași de bază:

1. Generarea datelor
2. Construirea unui model
3. Vectorizarea și de-vectorizarea datelor
4. Realizarea unui set de date
5. Antrenarea modelului
6. Testarea modelului

Înainte de a ne aprofunda în implementarea modelului, să importăm doar toate bibliotecile necesare.

1. Generarea datelor

Să definim un șir de caractere care să conțină toate caracterele de care avem nevoie pentru a scrie o ecuație aritmetică de bază. Deci, șirul este format din toate caracterele de la 0-9 și toți operatori aritmetici precum /, *, +, -, .(zecimal).

Nu putem alimenta direct datele numerice în modelul nostru, trebuie să transmitem datele sub formă de tensori. Convertirea șirului din date într-un vector codificat one-hot ne va oferi o performanță optimizată a modelului. Un vector one-hot codificat este o matrice cu lungimea aceeași cu lungimea șirului nostru de caractere, fiecare vector one-hot are unul doar la indicele de caractere prezent în fiecare șir.

De exemplu, să presupunem că șirul nostru de caractere este „0123456789”, iar dacă dorim să codificăm un șir precum „12”, atunci vectorul one-hot ar fi [ [0,1,0,0,0,0,0,0 ,0,0], [0,0,1,0,0,0,0,0,0,0] ]. Pentru a face asta, trebuie să creăm două dicționare cu un index ca chei și caractere ca valori și celălalt ca invers.

Acum să scriem o funcție care returnează o ecuație aritmetică aleatorie împreună cu rezultatul acelei ecuații.

Citește și: Idei interesante de proiecte pentru rețele neuronale

2. Construirea unui model

Modelul va avea un encoder și un decodor. Codificatorul este un model RNN simplu cu forma de intrare ca (None,num_chars) și 128 de unități ascunse, motivul pentru care alegem unități ascunse ca 32,64,128 etc. este din cauza performanței mai bune a CPU sau GPU cu unități ascunse ca puteri de 2.

Codificatorul nostru va fi o rețea complet conectată, iar ieșirea acestora va fi reintrodusă în rețea, așa funcționează un RNN. Un strat RNN folosește activarea „tanh” în mod implicit, nu ne vom schimba, deoarece se potrivește cel mai bine codificatorului. Ieșirea acestui strat va fi un singur vector și pentru a obține un singur vector din întreaga ieșire vom folosi stratul RepeatVector() cu numărul necesar de ori ca parametru.

Acum vectorul de ieșire va avea esența intrării dată, iar acest vector va fi introdus în decodor.

Decodorul este compus dintr-un strat RNN simplu și acesta va genera secvența de ieșire, deoarece avem nevoie de stratul RNN pentru a returna secvența prezisă, vom semnala „return_sequences” ca True. Prin atribuirea „return_sequences” ca True, stratul RNN va returna secvența prezisă pentru fiecare pas de timp (de la multe la multe RNN).

Ieșirea acestui strat RNN este introdusă într-un strat Dens cu un număr de unități ascunse „num_chars” și vom folosi activarea softmax, deoarece avem nevoie de probabilitatea fiecărui caracter. Înainte de a implementa un strat Dense, trebuie să prescurăm acest strat într-un strat TimeDistributed, deoarece trebuie să implementăm stratul Dens pentru ieșirea fiecărui pas de timp.

Arhitectura modelului va fi cea prezentată mai sus

Trebuie citit: Tutorial pentru rețeaua neuronală

3. Vectorizarea și de-vectorizarea datelor

Să definim funcții pentru vectorizarea și de-vectorizarea datelor.

Iată funcția pentru vectorizarea expresiei aritmetice și a rezultatului împreună.

def vectorize (arith, res): x = np.zeros((max_time_steps, num_chars)) y = np.zeros((max_time_steps, num_chars)) x_remaining = max_time_steps – len (arith) y_remaining = max_time_steps – len (res) pentru i, c în enumerare (arith): x[x_remaining + i, character_to_index[c]] = 1 pentru i în interval (x_remaining): x[i, character_to_index[ ' 0 ' ]] = 1 pentru i, c în enumerare (res): y[y_remaining + i, character_to_index[c]] = 1 pentru i în interval (y_remaining): y[i, character_to_index[ ' 0 ' ]] = 1 returnează x, y

În mod similar, iată funcția pentru de-vectorizarea șirului. Deoarece rezultatul primit este un vector de probabilități, vom folosi np.argmax() pentru a alege caracterul cu cea mai mare probabilitate. Acum, dicționarul index_to_character este folosit pentru a urmări caracterul de la acel index.

Acum, constrângerea pe care o avem cu funcția „devectorize” este aceea că va completa caracterele din urmă cu zerouri. De exemplu, dacă vectorul de intrare este ('1-20', '-19'), atunci ieşirea de-vectorizată va fi ('01-20', '00-19'). Trebuie să avem grijă de aceste zerouri suplimentare căptușite. Să scriem o funcție pentru dezlipirea șirului.

4. Realizarea unui set de date

Acum că am terminat cu definirea unei funcții pentru generarea datelor, să folosim acea funcție și să facem un set de date cu multe astfel de perechi (expresie aritmetică, rezultat).

5. Antrenarea modelului

Să creăm un set de date de 50.000 de eșantioane, ceea ce reprezintă un număr corect pentru a ne instrui modelul de aprofundare a datelor, vom folosi 25% din aceste date pentru validare. De asemenea, să creăm un apel invers pentru întrerupere inteligentă a antrenamentului dacă precizia rămâne neschimbată timp de 8 epoci. Acest lucru poate fi realizat prin setarea parametrului de răbdare la 8.

6. Testarea modelului

Acum să testăm modelul nostru creând un set de date de dimensiunea 30.

Ieșirea va fi după cum urmează

Putem vedea că acuratețea este puțin slabă aici, oricum o putem optimiza prin modificarea câțiva hiperparametri, cum ar fi numărul de unități ascunse, diviziunea de validare, numărul de epoci etc.

Concluzie

Am înțeles fluxul de lucru de bază al unui RNN, am înțeles că RNN-urile sunt cele mai potrivite pentru date secvențiale, am generat un set de date de ecuații aritmetice aleatoare, am dezvoltat un model secvenţial pentru prezicerea rezultatului unei expresii aritmetice de bază, am antrenat acel model cu setul de date care am creat și, în cele din urmă, am testat acel model cu un mic set de date pe care modelul nu l-a mai văzut până acum.

Dacă sunteți interesat să aflați mai multe despre RNN, învățarea automată, consultați Diploma PG de la IIIT-B și upGrad în învățare automată și AI, care este concepută pentru profesioniști care lucrează și oferă peste 450 de ore de formare riguroasă, peste 30 de studii de caz și sarcini, Statut de absolvenți IIIT-B, peste 5 proiecte practice practice și asistență pentru locuri de muncă cu firme de top.