2022'de En İyi 15 NLP Aracı Her Makine Öğrenimi Mühendisinin Uygulamalı Olarak Kullanması Gerekir

NLP, 2022'de AI/Veri Bilimi alanında en çok aranan alanlardan biridir. Çok çeşitli uygulamalara sahiptir ve birçok endüstri tarafından benimsenen kullanım durumlarını bulur. Bugün NLP'yi uygulayan en iyi endüstriler Finans/Fintech, Bankacılık, Hukuk, Sağlık, Sigorta, Perakende, Reklam ve medya, Yayıncılık medyasıdır, liste uzayabilir.

Yani, eğer biri yapay zeka alanında kariyer yapmak istiyorsa, o zaman kesinlikle NLP onların listesinin başında olmalıdır. Son zamanlarda, onunla ilişkili sıçramalar ve sınırlı araştırmalar olmuştur. Ama eğer biri okyanusta kaybolabilirse, 2022'de kullanılacak En İyi NLP araçlarını listelememe izin verin.

Ayrıca, yardımcı olanın en az, vazgeçilmezin en yüksek olduğu durumlarda, onları yararlı, gerekli ve vazgeçilmez olarak sıralayacağım.

A. Genel Amaç

2. NLTK : İyi NLTK, 2022'de simgeleştirme, kök alma, etiketleme, ayrıştırma, anlamsal akıl yürütme vb. gibi çeşitli metin ön işleme görevleri için hala geçerlidir. Ancak NLTK'nın kullanımı kolay olsa da, bugün sınırlı kullanım durumu vardır. başvuru. Modern algoritmaların çoğu, çok fazla metin ön işlemeye ihtiyaç duymaz.

• Github : github.com/nltk/nltk
• Karar : Yararlı
• Sebep : 2022'deki alaka düzeyi

2. Spacy : Spacy, çok sezgisel ve kullanımı kolay API'ye sahip mükemmel hepsi bir arada NLP kitaplığıdır. NLTK gibi, her türlü ön işleme görevini de destekler. Ancak Spacy'nin en iyi yanı, NER, POS etiketleme, tokenizasyon, istatistiksel modelleme, sözdizimine dayalı cümle segmentasyonu vb. gibi birçok yaygın NLP görevini 59'dan fazla dilde kutudan çıkarmış olarak desteklemesidir. Yaklaşan spacy 3.0, trafo mimarisi desteğiyle oyunun kurallarını değiştirecek.

• Github : github.com/explosion/spaCy
• Karar : Vazgeçilmez
• Sebep : Kolay, kutudan çıktığı gibi çok çeşitli ortak görevler için destek ve hız.

3. Temiz metin : Python, dize işleme için normal ifadeyi sağlar, ancak kalıbıyla çalışmak zahmetli bir iştir. Bu iş, Clean-text kullanılarak kolaylıkla yapılabilir. Oldukça basit ve kullanımı kolaydır ama aynı zamanda güçlüdür. Alfanümerik olmayan ASCII karakterleri bile temizleyebilir.

• Github : github.com/jfilter/clean-text
• Karar : Yararlı
• Sebep : Sınırlı kullanım durumu ancak kullanımı oldukça kolay.

Okuyun: En İyi Derin Öğrenme Araçları

B. Derin Öğrenme tabanlı araçlar:

4. Hugging Face Transformers : Transformers tabanlı modeller, NLP dünyasının güncel sansasyonudur. Hugging Face transformatörleri kitaplığı, TF 2.0 ve Pytorch ile birlikte kullanılan tüm SOTA modellerini (BERT, GPT2, RoBERTa, vb.) sağlar. Önceden eğitilmiş modelleri, NER, dizi sınıflandırma, çıkarımsal soru yanıtlama, dil modelleme, metin oluşturma, özetleme, çeviri gibi çok çeşitli aşağı akış görevleri için kullanıma hazır olarak kullanılabilir. Ayrıca, özel bir veri kümesinde ince ayar için destek sağlar. Başlamak için mükemmel belgelerine ve model eklerine göz atın.

• Github : github.com/huggingface/transformers
• Karar : Vazgeçilmez
• Sebep : NLP dünyasının mevcut hissi, çok çeşitli aşağı akış görevleri için önceden eğitilmiş çok sayıda model sağlar

5. Spark NLP : Son zamanlarda NLP dünyasında, özellikle Sağlık sektöründe en çok ses getiren Spark NLP'dir. Arka uç olarak Apache Spark kullandığından, mükemmel performans ve hız garanti edilir. Sağladıkları karşılaştırmalar, Hugging Face transformatörleri, TensorFlow, Spacy ile karşılaştırıldığında en iyi eğitim performansını iddia ediyor.

Öne çıkan bir şey, BERT, ELMO, Universal cümle Encoder, GloVe, Word2Vec, vb. tarafından sağlanan gömme kelime sayısına erişimdir. Ayrıca, genel amaçlı doğası gereği herhangi bir kullanım durumu için bir modelin eğitilmesine de olanak tanır. FAANG dahil birçok şirket bunu kullanıyor.

• Github : github.com/JohnSnowLabs/spark-nlp
• Karar : Vazgeçilmez
• Sebep : Mükemmel üretim dereceli performans, genel amaçlı doğa.

6. Hızlı AI : Pytorch'un üzerine inşa edilmiştir ve NLP tabanlı da dahil olmak üzere herhangi bir çerçeve tasarlamak için kullanılabilir. API'leri, minimum kod ve teori yerine pratikliğe vurgu yapma hedefiyle çok sezgiseldir. Ayrıca Hugging face trafoları ile kolayca entegre olabilir. Kütüphanenin yazarı, her zaman en iyi uygulamaların kullanımına vurgu yapan Jeremy Howard'dır.

• Github : github.com/fastai/fastai
• Karar : Temel
• Sebep : Kullanışlı API'ler, pratiklik vurgusu.

7. Basit Transformatörler : Hugging Face transformatörlerini temel alır ve bunun için bir tür kolay üst düzey API işlevi görür. Ancak bunu sınırlama olarak kabul etmeyin. Özel tasarım mimarisi arayan ancak standart adımlara dayalı bir model geliştirmek isteyen herkes için başka hiçbir kütüphane bundan daha iyi olamaz.

Metin Sınıflandırma, Belirteç Sınıflandırma, Soru Yanıtlama, Dil Modelleme, Dil Oluşturma, Çok Modlu Sınıflandırma, Konuşmaya Dayalı Yapay Zeka, Metin Temsili Oluşturma gibi en çok kullanılan NLP kullanım durumlarını destekler. Ayrıca mükemmel dokümanları var.

• Github : github.com/ThilinaRajapakse/simpletransformers
• Karar : Temel
• Sebep : Hugging Face transformatörleri için kolay ve üst düzey API gibi davranın

Ayrıca Okuyun: Python'da chatbot nasıl yapılır?

C. Niş Kullanım Durumları:

8. Rasa : Akıllı Chatbot, metin ve ses tabanlı asistan oluşturmak için açık ara en eksiksiz Yapay Zeka aracıdır. Eğitmek için son derece esnektir.

• Github :
• Karar : Yararlı
• Sebep : Sınırlı kullanım durumu ancak aynı zamanda sınıfının en iyisi.

9. TextAttack : Deneyimli bir makine öğrenimi uygulayıcısı her zaman testlere eğitimden daha fazla ağırlık verir. Bu çerçeve, NLP'de düşmanca saldırılar, düşmanca eğitim ve veri artırma içindir. NLP sisteminin sağlamlığını kontrol etmeye yardımcı olur. Bununla başlamak biraz kafa karıştırıcı olabilir, ancak başlamak ve kullanımının arkasındaki motivasyonu anlamak için belgelerini takip edin.

• Github : github.com/QData/TextAttack
• Karar : Temel
• Sebep : Eşsiz ve güçlü bir araç.

10. Cümle Dönüştürücü : Metni vektörlere gömmek veya dönüştürmek, herhangi bir NLP çerçevesi tasarlamanın temel yapı taşıdır. Eski usul yöntemlerden biri TF-IDF kullanmaktır, ancak bağlamı yoktur. Transformatörlerin kullanılması bu sorunu çözebilir. Transformatör tabanlı gömmeler oluşturabilen epeyce araç var (hatta yüz transformatörüne sarılmak bile ince ayar yapılabilir ve kullanılabilir), ancak bunların hiçbiri onu cümle dönüştürücü kadar tamamen basit yapmaz.

• Github : github.com/UKPLab/sentence-transformers
• Karar : Yararlı
• Sebep : Sınırlı kullanım durumu ancak işi bitirin.

11. BertTopic : Güçlü Konu modelleme sistemi tasarlamak isteyen biri varsa, o zaman BERTTopic'ten başka bir yere bakmayın. Konu açıklamalarında önemli kelimeleri tutarken, kolayca yorumlanabilir konulara izin veren yoğun kümeler oluşturmak için BERT yerleştirmelerini ve c-TF-IDF'yi (TF-IDF'nin yazarın değiştirilmiş versiyonu) kullanır.

• Github : github.com/MaartenGr/BERTopic
• Karar : Yararlı
• Sebep : Sınırlı kullanım durumu ancak aynı zamanda sınıfının en iyisi

12. Bert Extractive Summarizer : Bu, metin özetleme için kullanılabilecek sarılma yüz dönüştürücüye dayalı başka bir harika araçtır. Giriş metnini bağlama dayalı olarak özetler, böylece değerli bilgileri kaçırma konusunda endişelenmenize gerek kalmaz.

• Github : github.com/dmmiller612/bert-extractive-summarizer
• Karar : Yararlı
• Sebep : Sınırlı kullanım durumu ancak aynı zamanda sınıfının en iyisi

D. Diğer (Kodlama Dışı) Araçlar:

13. Doccano : Bu basit ama güçlü bir veri etiketleme aracıdır ve duygu analizi, adlandırılmış varlık tanıma, metin özetleme vb. etiketlemek için kullanılabilir. Piyasada epeyce araç var, ancak Doccano kurulumu en kolay ve en hızlı olanıdır. gitmek için.

• Github : github.com/doccano/doccano
• Karar : Temel
• Sebep : Hızlı ve kolay kullanım, birden çok formatı destekler.

14. Github Eylemleri : Şu anda, Github'ın en iyi özelliği ücretsiz (hatta özel) kod barındırma değil, Github eylemidir. Piyasadaki en iyi CI/CD araçlarından biridir. Bir şekilde kullanmıyorsanız, çok şey kaçırıyorsunuz demektir. Bir CI/CD aracı, geliştirmeyi hızlı ve güvenilir hale getirir.

• Karar : Vazgeçilmez
• Sebep : Harika topluluk desteğine sahip ücretsiz CI/CD aracı.

15. DVC (Veri Sürüm Kontrolü): Veri, herhangi bir Veri Bilimi projesinin kalbidir, bu nedenle onu yönetmek çok önemlidir. DVC, Git'ten ilham alır. Git ile zahmetsizce bütünleşir. Versiyonlanmış verilerimizi ileri geri veya Veri zaman yolculuğunu değiştirmemizi sağlar. Ayrıca aws s3, azure blob depolama, gcp bulut depolama vb. gibi bulut depolama ile çalışır.

• Github : github.com/iterative/dvc
• Karar : Vazgeçilmez
• Sebep : Git, bulut depolama ile çalışır ve çok büyük boyuttaki verileri yönetmek için kullanılabilir

Makine öğreniminde uzmanlaşmak ve bir aracıyı tic tac toe oynamak, sohbet robotu eğitmek vb. için nasıl eğiteceğinizi öğrenmek istiyorsanız, Grad'ın Makine Öğrenimi ve Yapay Zeka PG Diploması kursuna göz atın.