Top 15 instrumente NLP în 2022 Fiecare inginer de învățare automată ar trebui să aibă practică

NLP este unul dintre cele mai căutate domenii în domeniul AI/Data Science în 2022. Are o mare varietate de aplicații și își găsește cazurile de utilizare adoptate de multe industrii. Industriile de top care practică NLP astăzi sunt Finanțe/Fintech, Banca, Drept, Asistență medicală, Asigurări, Retail, Publicitate și media, Publicare media, lista poate continua.

Deci, dacă cineva dorește să-și construiască o carieră în AI, atunci cu siguranță NLP ar trebui să fie în fruntea listei sale. În ultimul timp, au existat salturi și cercetări legate de aceasta. Dar dacă cineva se poate pierde în ocean, așa că permiteți-mi să enumeram cele mai bune instrumente NLP de folosit în 2022.

De asemenea, le voi clasifica ca fiind utile, esențiale și indispensabile acolo unde util este cel mai mic rang și indispensabil este cel mai înalt.

A. Scop general

2. NLTK : NLTK bun este încă relevant în 2022 pentru o varietate de sarcini de preprocesare a textului, cum ar fi tokenizarea, stemming, etichetarea, analizarea, raționamentul semantic etc. Dar chiar dacă NLTK este ușor de utilizat, astăzi are un caz de utilizare limitat. aplicarea. Mulți dintre algoritmii moderni nu au nevoie de multă preprocesare a textului.

• Github : github.com/nltk/nltk
• Verdict : util
• Motiv : Relevanță în 2022

2. Spacy : Spacy este biblioteca NLP all-in-one perfectă, cu API foarte intuitivă și ușor de utilizat. La fel ca NLTK, acceptă, de asemenea, toate tipurile de sarcini de preprocesare. Dar cea mai bună parte a Spacy este suportul pentru multe sarcini NLP obișnuite, cum ar fi NER, etichetarea POS, tokenizarea, modelarea statistică, segmentarea propozițiilor bazată pe sintaxă etc., din cutie cu peste 59 de limbi. Viitorul spacy 3.0 va schimba jocul cu suport pentru arhitectura transformatorului.

• Github : github.com/explosion/spaCy
• Verdict : Indispensabil
• Motiv : Ușor, suport pentru o mare varietate de sarcini comune din cutie și viteză.

3. Text curat : Python oferă expresia regex pentru manipularea șirurilor, dar lucrul cu modelul său este o muncă dureroasă. Această lucrare poate fi realizată cu ușurință folosind Clean-text. Este destul de simplu și ușor de utilizat, dar, în același timp, și puternic. Poate curăța chiar și caractere ASCII non-alfanumerice.

• Github : github.com/jfilter/clean-text
• Verdict : util
• Motiv : caz limitat de utilizare, dar destul de ușor de utilizat.

Citiți: Top instrumente de învățare profundă

B. Instrumente bazate pe Deep Learning:

4. Hugging Face Transformers : Modelele bazate pe Transformers sunt senzația actuală a lumii NLP. Biblioteca de transformatoare Hugging Face oferă toate modelele SOTA (cum ar fi BERT, GPT2, RoBERTa etc.) utilizate cu TF 2.0 și Pytorch. Modelele lor pre-instruite pot fi utilizate imediat pentru o mare varietate de sarcini în aval, cum ar fi NER, clasificarea secvenței, răspunsul la întrebări extractive, modelarea limbii, generarea de text, rezumatul, traducerea. De asemenea, oferă suport pentru reglarea fină a unui set de date personalizat. Consultați documentele lor excelente și apendicele modelului pentru a începe.

• Github : github.com/huggingface/transformers
• Verdict : Indispensabil
• Motiv : Senzația actuală a lumii NLP, oferă un număr mare de modele pre-antrenate pentru o mare varietate de sarcini în aval

5. Spark NLP : În ultimul timp, Spark NLP este cel care face cel mai mult zgomot în lumea NLP, în special în sectorul Sănătății. Deoarece folosește Apache Spark ca backend, performanța și viteza excelente sunt garantate. Benchmark-urile furnizate de aceștia susțin cea mai bună performanță de antrenament în comparație cu transformatoarele Hugging Face, TensorFlow, Spacy.

Un lucru care iese în evidență este accesul la numărul de cuvinte încorporate precum BERT, ELMO, Universal sentence Encoder, GloVe, Word2Vec etc., oferit de acesta. De asemenea, permite formarea unui model pentru orice caz de utilizare datorită naturii sale de uz general. Multe companii, inclusiv FAANG, îl folosesc.

• Github : github.com/JohnSnowLabs/spark-nlp
• Verdict : Indispensabil
• Motiv : Performanță excelentă la nivel de producție, caracter de uz general.

6. AI rapidă : este construit pe Pytorch și poate fi folosit pentru a proiecta orice cadru, inclusiv bazat pe NLP. API-urile sale sunt foarte intuitive, cu un scop de cod minim și accent pe practic în detrimentul teoriei. De asemenea, se poate integra cu ușurință cu transformatoarele de față Hugging. Autorul bibliotecii este Jeremy Howard, care insistă întotdeauna pe utilizarea celor mai bune practici.

• Github : github.com/fastai/fastai
• Verdict : Esențial
• Motiv : API-uri utile, accent pe caracter practic.

7. Transformatori simple : se bazează pe transformatoare Hugging Face și acționează un fel de API ușor de nivel înalt pentru el. Dar nu presupune că aceasta este o limitare. Pentru oricine nu caută o arhitectură de design personalizat, dar dorește să dezvolte un model bazat pe pași standard, atunci nicio altă bibliotecă nu este mai bună decât aceasta.

Acceptă toate cazurile de utilizare NLP utilizate în cea mai mare parte, cum ar fi Clasificarea Textului, Clasificarea Tokenului, Răspunsul la întrebări, Modelarea limbii, Generarea limbii, Clasificarea multimodală, AI conversațională, Generarea reprezentării textului. Are, de asemenea, documente excelente.

• Github : github.com/ThilinaRajapakse/simpletransformers
• Verdict : Esențial
• Motiv : Acționați ca un API ușor și de nivel înalt pentru transformatoarele Hugging Face

Citește și: Cum să faci chatbot în Python?

C. Cazuri de utilizare de nișă:

8. Rasa : este de departe cel mai complet instrument AI de conversație pentru a construi Smart Chatbot, asistent bazat pe text și voce. Este extrem de flexibil la antrenament.

• Github :
• Verdict : util
• Motiv : caz de utilizare limitat, dar în același timp cel mai bun din clasă.

9. TextAttack : Un practicant experimentat ML cântărește întotdeauna testarea mai mult decât antrenamentul. Acest cadru este pentru atacuri adverse, antrenament adversar și creșterea datelor în NLP. Ajută la verificarea robusteței sistemului NLP. Poate fi puțin confuz să începeți cu acesta, dar urmați documentele lor pentru a începe și a înțelege motivația din spatele utilizării acestuia.

• Github : github.com/QData/TextAttack
• Verdict : Esențial
• Motiv : Instrument unic și puternic.

10. Transformator de propoziții : Generarea de încorporare sau transformarea textului în vectori este elementul cheie al proiectării oricărui cadru NLP. Una dintre metodele vechi de școală este utilizarea TF-IDF, dar îi lipsește contextul. Utilizarea transformatoarelor poate rezolva această problemă. Există destul de multe instrumente care pot genera încorporare pe bază de transformator (chiar și transformatorul de față îmbrățișat poate fi modificat și utilizat), dar niciunul dintre ele nu îl face atât de simplu ca transformatorul de propoziție.

• Github : github.com/UKPLab/sentence-transformers
• Verdict : util
• Motiv : caz de utilizare limitat, dar finalizați treaba.

11. BertTopic : Dacă cineva dorește să proiecteze un sistem puternic de modelare Topic, nu căuta mai departe decât BERTTopic. Utilizează încorporarea BERT și c-TF-IDF (versiunea modificată a autorului a TF-IDF) pentru a crea grupuri dense, permițând subiecte ușor de interpretat, păstrând în același timp cuvintele importante în descrierile subiectelor.

• Github : github.com/MaartenGr/BERTopic
• Verdict : util
• Motiv : caz de utilizare limitat, dar în același timp cel mai bun din clasă

12. Bert Extractive Summarizer : Acesta este încă un alt instrument minunat bazat pe transformatorul de față îmbrățișat, care poate fi folosit pentru rezumarea textului. Acesta rezumă textul introdus în funcție de context, astfel încât să nu vă faceți griji cu privire la lipsa informațiilor valoroase.

• Github : github.com/dmmiller612/bert-extractive-summarizer
• Verdict : util
• Motiv : caz de utilizare limitat, dar în același timp cel mai bun din clasă

D. Alte instrumente (fără codificare):

13. Doccano : este un instrument simplu, dar puternic de etichetare a datelor și poate fi folosit pentru a eticheta analiza sentimentelor, recunoașterea entităților numite, rezumarea textului etc. Există destul de multe instrumente, dar Doccano este cel mai ușor de configurat și cel mai rapid a pleca.

• Github : github.com/doccano/doccano
• Verdict : Esențial
• Motiv : Rapid și ușor de utilizat, acceptă mai multe formate.

14. Acțiuni Github : În prezent, cea mai bună caracteristică a Github nu este găzduirea gratuită (chiar privată) a codului, ci acțiunea sa Github. Este unul dintre cele mai bune instrumente CI/CD de acolo. Dacă cumva nu trebuie să-l folosești, atunci îți lipsesc multe. Un instrument CI/CD face dezvoltarea rapidă și fiabilă.

• Verdict : Indispensabil
• Motiv : Instrument CI/CD gratuit cu sprijin excelent al comunității.

15. DVC (Data Version Control): Datele sunt inima oricărui proiect Data Science, așa că gestionarea lor este esențială. DVC se inspiră din Git. Se integrează cu Git fără efort. Ne permite să ne schimbăm datele versiunea înainte și înapoi sau Călătoria în timp a datelor. De asemenea, funcționează cu stocare în cloud, cum ar fi aws s3, stocare blob azure, stocare în cloud gcp etc.

• Github : github.com/iterative/dvc
• Verdict : Indispensabil
• Motiv : Funcționează cu git, stocarea în cloud și poate fi folosit pentru a gestiona o dimensiune uriașă a datelor

Dacă vrei să stăpânești învățarea automată și să înveți cum să antrenezi un agent să joace tic tac toe, să antrenezi un chatbot etc., consultă cursul de diplomă PG de învățare automată și inteligență artificială de la upGrad.