Profitați la maximum de modelele pre-antrenate

Majoritatea noilor modele de învățare profundă lansate, în special în NLP, sunt foarte, foarte mari: au parametri care variază de la sute de milioane la zeci de miliarde.

Având în vedere o arhitectură suficient de bună, cu cât modelul este mai mare, cu atât are mai multă capacitate de învățare. Astfel, aceste noi modele au o capacitate uriașă de învățare și sunt antrenate pe seturi de date foarte, foarte mari.

Din acest motiv, ei învață întreaga distribuție a seturilor de date pe care sunt instruiți. Se poate spune că ele codifică cunoștințele comprimate ale acestor seturi de date. Acest lucru permite ca aceste modele să fie utilizate pentru aplicații foarte interesante — cea mai comună fiind învățarea prin transfer. Învățarea prin transfer este ajustarea fină a modelelor pre-antrenate pe seturi de date/sarcini personalizate, ceea ce necesită mult mai puține date, iar modelele converg foarte rapid în comparație cu antrenamentul de la zero.

Cum sunt modelele pre-antrenate algoritmii viitorului

Deși modelele pre-antrenate sunt utilizate și în viziunea computerizată, acest articol se va concentra pe utilizarea lor de ultimă oră în domeniul procesării limbajului natural (NLP). Arhitectura transformatorului este cea mai comună și mai puternică arhitectură care este utilizată în aceste modele.

Deși BERT a început revoluția învățării prin transfer NLP, vom explora modelele GPT-2 și T5. Aceste modele sunt antrenate în prealabil — reglarea lor fină pe aplicații specifice va avea ca rezultat valori de evaluare mult mai bune, dar le vom folosi din fabricație, adică fără reglaj fin.

Modele NLP pre-antrenate: GPT-2 de la OpenAI

GPT-2 a creat o controversă când a fost lansat în 2019. Deoarece era foarte bun la generarea de text, a atras destul de mult atenția mass-media și a ridicat o mulțime de întrebări cu privire la viitorul AI.

Antrenat pe 40 GB de date textuale, GPT-2 este un model foarte mare care conține o cantitate masivă de cunoștințe comprimate dintr-o secțiune transversală a internetului.

GPT-2 are o mulțime de cazuri potențiale de utilizare. Poate fi folosit pentru a prezice probabilitatea unei propoziții. Aceasta, la rândul său, poate fi folosită pentru autocorecția textului. Apoi, predicția cuvintelor poate fi utilizată direct pentru a construi o componentă de completare automată pentru un IDE (cum ar fi Visual Studio Code sau PyCharm) pentru scrierea codului, precum și scrierea generală a textului. Îl vom folosi pentru generarea automată de text, iar un corp mare de text poate fi folosit pentru analiza limbajului natural.

Generarea textului

Capacitatea unui model pre-antrenat precum GPT-2 de a genera text coerent este foarte impresionantă. Îi putem da un text prefix și îi putem cere să genereze următorul cuvânt, frază sau propoziție.

Un exemplu de caz de utilizare este generarea unui set de date privind recenziile despre produse pentru a vedea ce tipuri de cuvinte sunt utilizate în general în recenziile pozitive față de recenziile negative.

Să ne uităm la câteva exemple, începând cu ceea ce obținem dacă începem cu prefixul pozitiv „Mi-a plăcut foarte mult acest film!”

După cum puteți vedea, cuvântul recenzie nu era nicăieri în prefix, dar deoarece majoritatea recenziilor sunt titluri urmate de corpul recenziei, acest lucru a forțat modelul să se adapteze la acea distribuție. Observați și referința la Batman v Superman .

Să vedem un alt exemplu. În loc de o recenzie de film, vom încerca să generăm o recenzie de produs folosind prefixul negativ „Un produs de gunoi! Nu cumpara."

Din nou, prefixul poate fi dedus ca titlu al unei recenzii a produsului, astfel încât modelul începe să genereze text urmând acel model. GPT-2 poate genera orice tip de text ca acesta.

Un blocnotes Google Colab este gata pentru a fi folosit pentru experimente, la fel ca și demonstrația live „Write With Transformer”.

Răspuns la întrebare

Da, deoarece GPT-2 este antrenat pe web, „cunoaște” o mulțime de cunoștințe umane care au fost publicate online până în 2019. Poate funcționa și pentru întrebări contextuale, dar va trebui să urmăm formatul explicit de „ Întrebare: X, Răspuns:” înainte de a-l lăsa să încerce să se completeze automat. Dar dacă forțăm modelul să răspundă la întrebarea noastră, acesta poate oferi un răspuns destul de vag. Iată ce se întâmplă încercând să-l forțezi să răspundă la întrebări deschise pentru a-și testa cunoștințele:

După cum putem vedea, modelul pre-antrenat a dat un răspuns destul de detaliat la prima întrebare. Pentru al doilea, a încercat tot posibilul, dar nu se compară cu Căutarea Google.

Este clar că GPT-2 are un potențial uriaș. Reglandu-l fin, poate fi folosit pentru exemplele de mai sus cu o precizie mult mai mare. Dar chiar și GPT-2 pre-antrenat pe care îl evaluăm încă nu este chiar atât de rău.

Modele NLP pregătite: Google T5

T5 de la Google este unul dintre cele mai avansate modele de limbaj natural de până acum. Se bazează pe lucrările anterioare privind modelele Transformer în general. Spre deosebire de BERT, care avea doar blocuri de codificare și GPT-2, care avea doar blocuri de decodor, T5 folosește ambele .

GPT-2 a fost antrenat pe 40 GB de date text a fost deja impresionant, dar T5 a fost antrenat pe un set de date de 7 TB . Chiar dacă a fost antrenat pentru un număr foarte, foarte mare de iterații, nu a putut parcurge tot textul. Deși T5 poate genera text precum GPT-2, îl vom folosi pentru mai multe cazuri interesante de utilizare în afaceri.

Rezumat

Să începem cu o sarcină simplă: rezumarea textului. Pentru acele companii de dezvoltare AI care doresc să creeze o aplicație care rezumă un articol de știri, T5 este perfect potrivit pentru această sarcină. De exemplu, oferind acest articol lui T5, iată trei rezumate diferite pe care le-a produs:

După cum putem vedea, a făcut o treabă destul de ingenioasă de a rezuma articolul. De asemenea, fiecare rezumat este diferit de celelalte.

Rezumarea utilizării modelelor pre-instruite are aplicații potențiale uriașe. Un caz de utilizare interesant ar putea fi acela de a genera automat un rezumat al fiecărui articol și de a-l pune la început pentru cititorii care doresc doar un rezumat. Ar putea fi dus mai departe prin personalizarea rezumatului pentru fiecare utilizator . De exemplu, dacă unii utilizatori au vocabulare mai mici, li s-ar putea oferi un rezumat cu alegeri de cuvinte mai puțin complicate. Acesta este un exemplu foarte simplu, dar demonstrează puterea acestui model.

Un alt caz de utilizare interesant ar putea fi folosirea unor astfel de rezumate în SEO-ul unui site web. Deși T5 poate fi antrenat pentru a genera automat SEO de foarte înaltă calitate, folosirea unui rezumat ar putea ajuta imediat, fără a reinstrui modelul.

Înțelegerea lecturii

T5 poate fi folosit și pentru înțelegerea cititului, de exemplu, pentru a răspunde la întrebări dintr-un context dat. Această aplicație are cazuri de utilizare foarte interesante pe care le vom vedea mai târziu. Dar să începem cu câteva exemple:

Nu există nicio mențiune explicită că Darwin a inventat teoria, dar modelul și-a folosit cunoștințele existente împreună cu un anumit context pentru a ajunge la concluzia corectă.

Ce zici de un context foarte mic?

Bine, a fost destul de ușor. Ce zici de o întrebare filozofică?

Deși știm că răspunsul la această întrebare este foarte complicat, T5 a încercat să vină cu un răspuns foarte apropiat, dar sensibil. Apreciere!

Să o ducem mai departe. Să punem câteva întrebări folosind articolul Engadget menționat anterior ca context.

După cum puteți vedea, răspunsul contextual la întrebarea T5 este foarte bun. Un caz de utilizare în afaceri ar putea fi construirea unui chatbot contextual pentru site-uri web care să răspundă la întrebări relevante pentru pagina curentă.

Un alt caz de utilizare ar putea fi căutarea unor informații din documente, de exemplu, adresarea unor întrebări de genul „Este o încălcare a contractului utilizarea unui laptop al companiei pentru un proiect personal?” folosind ca context un document juridic. Deși T5 are limitele sale, este destul de potrivit pentru acest tip de sarcină.

Cititorii se pot întreba, de ce să nu folosiți modele specializate pentru fiecare sarcină? Este un punct bun: acuratețea ar fi mult mai mare, iar costul de implementare al modelelor specializate ar fi mult mai mic decât modelul NLP pre-antrenat al lui T5. Dar frumusețea lui T5 constă tocmai în faptul că este „un model care să le conducă pe toate”, adică puteți folosi un model pre-antrenat pentru aproape orice sarcină NLP. În plus, vrem să folosim aceste modele din cutie, fără recalificare sau reglare fină. Deci, pentru dezvoltatorii care creează o aplicație care rezumă diferite articole, precum și o aplicație care răspunde la întrebări contextuale, același model T5 le poate face pe ambele.

Modele pre-antrenate: modelele de învățare profundă care vor fi în curând omniprezente

În acest articol, am explorat modele pregătite în prealabil și cum să le folosim imediat pentru diferite cazuri de utilizare în afaceri. La fel cum un algoritm de sortare clasic este folosit aproape peste tot pentru problemele de sortare, aceste modele pre-antrenate vor fi folosite ca algoritmi standard. Este destul de clar că ceea ce am explorat a fost doar să zgârie suprafața aplicațiilor NLP și că aceste modele pot face mult mai multe.

Modelele de deep learning pre-antrenate, cum ar fi StyleGAN-2 și DeepLabv3, pot alimenta, într-un mod similar, aplicații de viziune computerizată. Sper că v-a plăcut acest articol și aștept cu nerăbdare să auzim comentariile voastre mai jos.