15 najlepszych narzędzi NLP w 2022 r. Każdy inżynier ds. uczenia maszynowego powinien mieć praktyczne umiejętności

NLP jest jedną z najbardziej poszukiwanych domen w dziedzinie AI/Data Science w 2022 roku. Ma szeroką gamę zastosowań i znajduje zastosowanie w wielu branżach. Najważniejsze branże, które obecnie praktykują NLP, to finanse/fintech, bankowość, prawo, opieka zdrowotna, ubezpieczenia, handel detaliczny, reklama i media, media wydawnicze, lista może być długa.

Tak więc, jeśli ktoś chce zbudować karierę w AI, to zdecydowanie NLP powinno znaleźć się na szczycie ich listy. Ostatnio pojawiły się z tym skoki i powiązane badania. Ale jeśli można zgubić się w oceanie, pozwólcie, że wymienię najlepsze narzędzia NLP do użycia w 2022 roku.

Uznam je również za pomocne, niezbędne i niezbędne tam, gdzie pomocna jest najmniejsza, a niezbędna jest najwyższa.

A. Cel ogólny

2. NLTK : dobre NLTK jest nadal aktualne w 2022 roku dla różnych zadań wstępnego przetwarzania tekstu, takich jak tokenizacja, stemming, tagowanie, parsowanie, rozumowanie semantyczne itp. Ale nawet jeśli NLTK jest łatwy w użyciu, dziś ma ograniczony przypadek użycia wniosek. Wiele nowoczesnych algorytmów nie wymaga dużego wstępnego przetwarzania tekstu.

• Github : github.com/nltk/nltk
• Werdykt : Pomocny
• Powód : Trafność w 2022 r.

2. Spacy : Spacy to idealna, uniwersalna biblioteka NLP z bardzo intuicyjnym i łatwym w użyciu interfejsem API. Podobnie jak NLTK obsługuje również różne zadania przetwarzania wstępnego. Ale najlepszą częścią Spacy jest obsługa wielu typowych zadań NLP, takich jak NER, tagowanie POS, tokenizacja, modelowanie statystyczne, segmentacja zdań oparta na składni itp., po wyjęciu z pudełka z ponad 59 językami. Nadchodzące spacy 3.0 zmieni zasady gry dzięki obsłudze architektury transformatorowej.

• Github : github.com/explosion/spaCy
• Werdykt : Niezbędny
• Powód : łatwe, wsparcie dla szerokiej gamy typowych zadań po wyjęciu z pudełka i szybkości.

3. Czysty tekst : Python zapewnia wyrażenie regularne do manipulacji ciągami znaków, ale praca z jego wzorcem jest bolesną pracą. Ta praca może być wykonana z łatwością za pomocą czystego tekstu. Jest dość prosty i łatwy w użyciu, ale jednocześnie potężny. Może nawet czyścić niealfanumeryczne znaki ASCII.

• Github : github.com/jfilter/clean-text
• Werdykt : Pomocny
• Powód : Ograniczony przypadek użycia, ale dość łatwy w użyciu.

Przeczytaj: Najlepsze narzędzia do głębokiego uczenia się

B. Narzędzia oparte na głębokim uczeniu:

4. Hugging Face Transformers : Modele oparte na Transformersach to aktualna sensacja świata NLP. Biblioteka transformatorów Hugging Face zawiera wszystkie modele SOTA (takie jak BERT, GPT2, RoBERTa itp.) używane z TF 2.0 i Pytorch. Ich wstępnie wytrenowane modele mogą być używane od razu po zainstalowaniu w wielu różnych zadaniach, takich jak NER, klasyfikacja sekwencji, wyodrębnianie odpowiedzi na pytania, modelowanie języka, generowanie tekstu, podsumowywanie, tłumaczenie. Zapewnia również obsługę dostrajania niestandardowego zestawu danych. Zapoznaj się z ich doskonałymi dokumentami i załącznikiem z modelami, aby rozpocząć.

• Github : github.com/huggingface/transformers
• Werdykt : Niezbędny
• Powód : Obecna sensacja świata NLP, zapewnia dużą liczbę wstępnie wytrenowanych modeli do szerokiej gamy dalszych zadań

5. Spark NLP : Ostatnio to właśnie Spark NLP robi najwięcej hałasu w świecie NLP, zwłaszcza w sektorze opieki zdrowotnej. Ponieważ używa Apache Spark jako zaplecza, gwarantowana jest doskonała wydajność i szybkość. Dostarczone przez nich benchmarki zapewniają najlepszą wydajność treningową w porównaniu z transformatorami Hugging Face, TensorFlow, Spacy.

Wyróżnia się dostęp do ilości embedowanych słów, takich jak BERT, ELMO, Universal sentencja Encoder, GloVe, Word2Vec itp., które zapewnia. Umożliwia również trenowanie modelu dla dowolnego przypadku użycia ze względu na jego uniwersalny charakter. Korzysta z niego wiele firm, w tym FAANG.

• Github : github.com/JohnSnowLabs/spark-nlp
• Werdykt : Niezbędny
• Powód : Doskonała wydajność na poziomie produkcyjnym, charakter ogólnego przeznaczenia.

6. Szybka sztuczna inteligencja : jest zbudowany na bazie Pytorcha i może być używany do projektowania dowolnych frameworków, w tym opartych na NLP. Jego interfejsy API są bardzo intuicyjne, a ich celem jest minimalizacja kodu i nacisk na praktyczność nad teorię. Można go również łatwo zintegrować z transformatorami Hugging face. Autorem biblioteki jest Jeremy Howard, który zawsze kładzie nacisk na stosowanie najlepszych praktyk.

• Github : github.com/fastai/fastai
• Werdykt : Niezbędny
• Powód : Przydatne API, nacisk na praktyczność.

7. Proste transformatory : Opiera się na transformatorach Hugging Face i działa dla niego jako łatwy interfejs API wysokiego poziomu. Ale nie traktuj tego jako jego ograniczenia. Dla każdego, kto nie szuka niestandardowej architektury projektowej, ale chce opracować model w oparciu o standardowe kroki, żadna inna biblioteka nie jest lepsza od niej.

Obsługuje wszystkie najczęściej używane przypadki użycia NLP, takie jak klasyfikacja tekstu, klasyfikacja tokenów, odpowiadanie na pytania, modelowanie języka, generowanie języka, klasyfikacja wielomodalna, konwersacyjna sztuczna inteligencja, generowanie reprezentacji tekstu. Ma też doskonałe dokumenty.

• Github : github.com/ThilinaRajapakse/simpletransformers
• Werdykt : Niezbędny
• Powód : działaj jak łatwy i wysokopoziomowy interfejs API dla transformatorów Hugging Face

Przeczytaj także: Jak zrobić chatbota w Pythonie?

C. Niszowe przypadki użycia:

8. Rasa : Jest to zdecydowanie najbardziej kompletne narzędzie do konwersacyjnej sztucznej inteligencji do tworzenia inteligentnego chatbota, asystenta tekstowego i głosowego. Trening jest niezwykle elastyczny.

• Github :
• Werdykt : Pomocny
• Powód : Ograniczony przypadek użycia, ale jednocześnie najlepszy w swojej klasie.

9. TextAttack : Doświadczony praktyk ML zawsze waży więcej niż trening. Ta struktura jest przeznaczona do ataków kontradyktoryjnych, treningu kontradyktoryjnego i rozszerzania danych w NLP. Pomaga sprawdzić solidność systemu NLP. Na początek może być nieco mylące, ale postępuj zgodnie z ich dokumentami, aby zacząć i zrozumieć motywację jego używania.

• Github : github.com/QData/TextAttack
• Werdykt : Niezbędny
• Powód : unikalne i potężne narzędzie.

10. Transformator zdań : Generowanie osadzania lub przekształcania tekstu w wektory to kluczowy element konstrukcyjny każdego frameworka NLP. Jedną z metod starej szkoły jest użycie TF-IDF, ale brakuje jej kontekstu. Zastosowanie transformatorów może rozwiązać ten problem. Istnieje wiele narzędzi, które mogą generować osadzania oparte na transformatorze (nawet transformator przytulania twarzy można podkręcić i użyć), ale żadne z nich nie czyni go tak prostym, jak transformator zdań.

• Github : github.com/UKPLab/sentence-transformers
• Werdykt : Pomocny
• Powód : Ograniczony przypadek użycia, ale wykonaj zadanie.

11. BertTopic : Jeśli ktokolwiek chce zaprojektować potężny system modelowania Topic, nie szukaj dalej niż BERTTopic. Wykorzystuje osadzania BERT i c-TF-IDF (zmodyfikowana przez autora wersja TF-IDF) do tworzenia gęstych klastrów pozwalających na łatwą interpretację tematów przy jednoczesnym zachowaniu ważnych słów w opisach tematów.

• Github : github.com/MaartenGr/BERTopic
• Werdykt : Pomocny
• Powód : ograniczony przypadek użycia, ale jednocześnie najlepszy w swojej klasie

12. Bert Extractive Summarizer : To kolejne niesamowite narzędzie oparte na transformatorze przytulania twarzy, który można wykorzystać do podsumowania tekstu. Podsumowuje tekst wejściowy na podstawie kontekstu, więc nie musisz się martwić, że przegapisz cenne informacje.

• Github : github.com/dmmiller612/bert-extractive-summarizer
• Werdykt : Pomocny
• Powód : ograniczony przypadek użycia, ale jednocześnie najlepszy w swojej klasie

D. Inne (niekodujące) narzędzia:

13. Doccano : Jest to proste, ale potężne narzędzie do tagowania danych, które może być używane do oznaczania analizy sentymentu, rozpoznawania nazwanych jednostek, podsumowywania tekstu itp. Istnieje wiele narzędzi, ale Doccano jest najłatwiejsze do skonfigurowania i najszybsze iść.

• Github : github.com/doccano/doccano
• Werdykt : Niezbędny
• Powód : szybkie i łatwe w użyciu, obsługa wielu formatów.

14. Akcje Github : Obecnie najlepszą cechą Github nie jest darmowy (nawet prywatny) hosting kodu, ale jego akcja na Github. Jest to jedno z lepszych narzędzi CI/CD. Jeśli jakoś nie masz z niego korzystać, wiele tracisz. Narzędzie CI/CD sprawia, że ​​programowanie jest szybkie i niezawodne.

• Werdykt : Niezbędny
• Powód : Darmowe narzędzie CI/CD z doskonałym wsparciem społeczności.

15. DVC (Kontrola wersji danych): Dane są sercem każdego projektu Data Science, więc zarządzanie nimi jest kluczowe. DVC czerpie inspirację z Gita. Bezproblemowo integruje się z Git. Umożliwia nam zmianę naszych wersjonowanych danych tam iz powrotem lub podróży w czasie danych. Działa również z pamięcią masową w chmurze, taką jak aws s3, magazyn Azure blob, magazyn w chmurze gcp itp.

• Github : github.com/iterative/dvc
• Werdykt : Niezbędny
• Powód : Działa z git, przechowywaniem w chmurze i może być używany do zarządzania ogromnymi rozmiarami danych

Jeśli chcesz opanować uczenie maszynowe i nauczyć się szkolić agenta, aby grał w kółko i krzyżyk, szkolił chatbota itp., sprawdź kurs Uczenie maszynowe i sztuczna inteligencja firmy upGrad.