Les 15 meilleurs outils NLP en 2022 que chaque ingénieur en apprentissage automatique devrait avoir à portée de main

Le NLP est l'un des domaines les plus recherchés dans le domaine de l'IA/Data Science en 2022. Il a une grande variété d'applications et trouve ses cas d'utilisation adoptés par de nombreuses industries. Les principales industries qui pratiquent la PNL aujourd'hui sont la finance/Fintech, la banque, le droit, la santé, l'assurance, la vente au détail, la publicité et les médias, les médias d'édition, la liste peut continuer.

Donc, si quelqu'un cherche à faire carrière dans l'IA, alors la PNL devrait être en tête de liste. Dernièrement, il y a eu des sauts et des recherches liées à cela. Mais si l'on peut se perdre dans l'océan, alors laissez-moi lister les meilleurs outils de PNL à utiliser en 2022.

Je les classerai également comme utiles, essentiels et indispensables, où utile est le rang le plus bas et indispensable est le plus élevé.

A. Usage général

2. NLTK : Le bon NLTK est toujours pertinent en 2022 pour une variété de tâches de prétraitement de texte comme la tokenisation, la radicalisation, le balisage, l'analyse, le raisonnement sémantique, etc. Mais même si NLTK est facile à utiliser, il a aujourd'hui un cas d'utilisation limité application. La plupart des algorithmes modernes n'ont pas besoin de beaucoup de prétraitement de texte.

• Github : github.com/nltk/nltk
• Verdict : Utile
• Raison : Pertinence en 2022

2. Spacy : Spacy est la parfaite bibliothèque NLP tout-en-un avec une API très intuitive et facile à utiliser. Comme le NLTK, il prend également en charge toutes sortes de tâches de prétraitement. Mais la meilleure partie de Spacy est sa prise en charge de nombreuses tâches NLP courantes telles que NER, le marquage POS, la tokenisation, la modélisation statistique, la segmentation de phrases basée sur la syntaxe, etc., prête à l'emploi avec plus de 59 langues. Le prochain spacy 3.0 changera la donne avec la prise en charge de l'architecture du transformateur.

• Github : github.com/explosion/spaCy
• Bilan : Indispensable
• Raison : Facile, prise en charge d'une grande variété de tâches courantes prêtes à l'emploi et rapides.

3. Clean-text : Python fournit la regex pour la manipulation de chaînes, mais travailler avec son modèle est un travail pénible. Ce travail peut être fait facilement en utilisant Clean-text. Il est assez simple et facile à utiliser mais en même temps, aussi puissant. Il peut même nettoyer les caractères ASCII non alphanumériques.

• Github : github.com/jfilter/clean-text
• Verdict : Utile
• Raison : Cas d'utilisation limité mais assez facile à utiliser.

Lire : Les meilleurs outils d'apprentissage en profondeur

B. Outils basés sur le Deep Learning :

4. Hugging Face Transformers : Les modèles basés sur Transformers sont la sensation actuelle du monde de la PNL. La bibliothèque de transformateurs Hugging Face fournit tous les modèles SOTA (tels que BERT, GPT2, RoBERTa, etc.) utilisés avec TF 2.0 et Pytorch. Leurs modèles pré-formés peuvent être utilisés prêts à l'emploi pour une grande variété de tâches en aval comme le NER, la classification des séquences, la réponse aux questions extractives, la modélisation du langage, la génération de texte, le résumé, la traduction. Il prend également en charge le réglage fin d'un jeu de données personnalisé. Consultez leurs excellents documents et l'annexe modèle pour commencer.

• Github : github.com/huggingface/transformers
• Bilan : Indispensable
• Raison : Sensation actuelle du monde de la PNL, fournit un grand nombre de modèles pré-formés pour une grande variété de tâches en aval

5. Spark NLP : Ces derniers temps, c'est Spark NLP qui fait le plus de bruit dans le monde de la PNL, en particulier dans le secteur de la santé. Comme il utilise Apache Spark comme backend, d'excellentes performances et une vitesse sont garanties. Les repères fournis par eux revendiquent les meilleures performances d'entraînement par rapport aux transformateurs Hugging Face, TensorFlow, Spacy.

Une chose qui se démarque est l'accès au nombre de mots incorporés comme BERT, ELMO, Universal phrase Encoder, GloVe, Word2Vec, etc., fournis par celui-ci. Il permet également de former un modèle pour n'importe quel cas d'utilisation en raison de sa nature à usage général. De nombreuses entreprises, dont FAANG, l'utilisent.

• Github : github.com/JohnSnowLabs/spark-nlp
• Bilan : Indispensable
• Raison : Excellentes performances de production, nature polyvalente.

6. Fast AI : Il est construit sur Pytorch et peut être utilisé pour concevoir n'importe quel framework, y compris basé sur le NLP. Ses API sont très intuitives avec un objectif de code minimal et l'accent mis sur l'aspect pratique plutôt que sur la théorie. Il peut également s'intégrer facilement aux transformateurs Hugging face. L'auteur de la bibliothèque est Jeremy Howard, qui insiste toujours sur l'utilisation des meilleures pratiques.

• Github : github.com/fastai/fastai
• Verdict : Essentiel
• Raison : API utiles, accent mis sur l'aspect pratique.

7. Transformateurs simples : Il est basé sur les transformateurs Hugging Face et agit comme une sorte d'API de haut niveau facile pour cela. Mais ne considérez pas cela comme sa limitation. Pour quiconque ne cherche pas à concevoir une architecture personnalisée mais souhaite développer un modèle basé sur des étapes standard, aucune autre bibliothèque n'est meilleure qu'elle.

Il prend en charge tous les cas d'utilisation NLP les plus utilisés tels que la classification de texte, la classification de jeton, la réponse aux questions, la modélisation de langage, la génération de langage, la classification multimodale, l'IA conversationnelle, la génération de représentation de texte. Il a également d'excellents documents.

• Github : github.com/ThilinaRajapakse/simpletransformers
• Verdict : Essentiel
• Raison : Agir comme une API facile et de haut niveau pour les transformateurs Hugging Face

Lire aussi : Comment créer un chatbot en Python ?

C. Cas d'utilisation de niche :

8. Rasa : C'est de loin l'outil d'IA Conversationnelle le plus complet pour construire Smart Chatbot, assistant textuel et vocal. Il est extrêmement flexible pour s'entraîner.

• Github :
• Verdict : Utile
• Raison : Cas d'utilisation limité mais en même temps meilleur de sa catégorie.

9. TextAttack : Un praticien chevronné du ML accorde toujours plus d'importance aux tests de poids qu'à l'entraînement. Ce cadre est destiné aux attaques contradictoires, à la formation contradictoire et à l'augmentation des données dans le NLP. Il permet de vérifier la robustesse du système NLP. Cela peut être un peu déroutant de commencer, mais suivez leurs documents pour commencer et comprendre la motivation derrière son utilisation.

• Github : github.com/QData/TextAttack
• Verdict : Essentiel
• Raison : Outil unique et puissant.

10. Transformateur de phrases : La génération d'incorporation ou de transformation de texte en vecteurs est la pierre angulaire de la conception de tout cadre NLP. L'une des méthodes de la vieille école consiste à utiliser TF-IDF, mais elle manque de contexte. L'utilisation de transformateurs peut résoudre ce problème. Il existe de nombreux outils qui peuvent générer des incorporations basées sur des transformateurs (même le transformateur de visage étreignant peut être modifié et utilisé), mais aucun d'entre eux ne le rend aussi simple que le transformateur de phrase.

• Github : github.com/UKPLab/sentence-transformers
• Verdict : Utile
• Raison : Cas d'utilisation limité, mais faites le travail.

11. BertTopic : Si quelqu'un cherche à concevoir un puissant système de modélisation de sujets, ne cherchez pas plus loin que BERTTopic. Il utilise les intégrations BERT et c-TF-IDF (version modifiée de l'auteur de TF-IDF) pour créer des clusters denses permettant des sujets facilement interprétables tout en conservant les mots importants dans les descriptions de sujets.

• Github : github.com/MaartenGr/BERTopic
• Verdict : Utile
• Raison : Cas d'utilisation limité mais en même temps meilleur de sa catégorie

12. Bert Extractive Summarizer : C'est encore un autre outil génial basé sur le transformateur de visage qui peut être utilisé pour le résumé de texte. Il résume le texte d'entrée en fonction du contexte, vous n'avez donc pas à vous soucier de manquer des informations précieuses.

• Github : github.com/dmmiller612/bert-extractive-summarizer
• Verdict : Utile
• Raison : Cas d'utilisation limité mais en même temps meilleur de sa catégorie

D. Autres outils (hors codage) :

13. Doccano : Il s'agit d'un outil de marquage de données simple mais puissant et peut être utilisé pour marquer l'analyse des sentiments, la reconnaissance d'entités nommées, la synthèse de texte, etc. Il existe de nombreux outils, mais Doccano est le plus simple à configurer et le plus rapide. pour y aller.

• Github : github.com/doccano/doccano
• Verdict : Essentiel
• Raison : Rapide et facile à utiliser, prend en charge plusieurs formats.

14. Actions Github : Actuellement, la meilleure fonctionnalité de Github n'est pas l'hébergement de code gratuit (même privé) mais son action Github. C'est l'un des meilleurs outils CI/CD sur le marché. Si d'une manière ou d'une autre vous ne l'utilisez pas, alors il vous manque beaucoup. Un outil CI/CD rend le développement rapide et fiable.

• Bilan : Indispensable
• Raison : Outil CI/CD gratuit avec un excellent support communautaire.

15. DVC (Data Version Control) : les données sont au cœur de tout projet de Data Science, il est donc essentiel de les gérer. DVC s'inspire de Git. Il s'intègre à Git sans effort. Cela nous permet de modifier nos données versionnées dans les deux sens ou le voyage dans le temps des données. Il fonctionne également avec le stockage en nuage comme aws s3, le stockage blob azur, le stockage en nuage gcp, etc.

• Github : github.com/iterative/dvc
• Bilan : Indispensable
• Raison : Fonctionne avec le git, le stockage en nuage et peut être utilisé pour gérer une taille énorme de données

Si vous souhaitez maîtriser l'apprentissage automatique et apprendre à former un agent à jouer au tic tac toe, à former un chatbot, etc., consultez le cours de diplôme PG d'apprentissage automatique et d'intelligence artificielle d'upGrad.