เครื่องมือ NLP 15 อันดับแรกในปี 2022 วิศวกรการเรียนรู้ของเครื่องทุกคนควรมีภาคปฏิบัติ

NLP เป็นหนึ่งในโดเมนที่เป็นที่ต้องการมากที่สุดในสาขา AI/Data Science ในปี 2022 มีการใช้งานที่หลากหลายและพบว่ามีกรณีการใช้งานที่นำไปใช้ในอุตสาหกรรมต่างๆ อุตสาหกรรมชั้นนำที่ฝึกฝน NLP ในปัจจุบัน ได้แก่ Finance/Fintech, Banking, Law, Healthcare, Insurance, Retail, Advertising & media, Publishing media, รายการสามารถดำเนินต่อไป

ดังนั้น หากใครก็ตามที่กำลังมองหาที่จะสร้างอาชีพด้าน AI แน่นอนว่า NLP ควรอยู่ในอันดับต้น ๆ ของพวกเขา เมื่อเร็ว ๆ นี้มีการวิจัยที่เกี่ยวข้องกับมันอย่างก้าวกระโดด แต่ถ้าใครหลงทางในมหาสมุทร ให้ฉันลงรายการเครื่องมือ NLP ยอดนิยมที่จะใช้ในปี 2022

ฉันจะจัดอันดับพวกเขาด้วยว่ามีประโยชน์ จำเป็น และขาดไม่ได้ โดยที่ความช่วยเหลือคืออันดับที่น้อยที่สุด & ที่ขาดไม่ได้คือสูงสุด

ก. วัตถุประสงค์ทั่วไป

2. NLTK : NLTK ที่ดียังคงมีความเกี่ยวข้องในปี พ.ศ. 2565 สำหรับงานประมวลผลข้อความล่วงหน้าที่หลากหลาย เช่น การทำให้เป็นโทเค็น การแยกส่วน การติดแท็ก การแยกวิเคราะห์ การใช้เหตุผลเชิงความหมาย เป็นต้น แต่แม้ว่า NLTK จะใช้งานง่าย แต่วันนี้ก็มีกรณีการใช้งานที่จำกัด แอปพลิเคชัน. อัลกอริธึมสมัยใหม่จำนวนมากไม่ต้องการการประมวลผลข้อความล่วงหน้าจำนวนมาก

• Github : github.com/nltk/nltk
• คำตัดสิน : มีประโยชน์
• เหตุผล : ความเกี่ยวข้องในปี 2565

2. Spacy : Spacy เป็นไลบรารี NLP แบบ all-in-one ที่สมบูรณ์แบบด้วย API ที่ใช้งานง่ายและใช้งานง่าย เช่นเดียวกับ NLTK มันยังรองรับงานประมวลผลล่วงหน้าที่หลากหลายอีกด้วย แต่ส่วนที่ดีที่สุดของ Spacy ก็คือการรองรับงาน NLP ทั่วไปหลายอย่าง เช่น NER การติดแท็ก POS การแปลงโทเค็น การสร้างแบบจำลองทางสถิติ การแบ่งส่วนประโยคที่ขับเคลื่อนด้วยไวยากรณ์ เป็นต้น พร้อม 59 ภาษา spacy 3.0 ที่กำลังจะมีขึ้นจะเป็นตัวเปลี่ยนเกมด้วยการสนับสนุนสถาปัตยกรรมหม้อแปลงไฟฟ้า

• Github : github.com/explosion/spaCy
• คำตัดสิน : ที่ขาดไม่ได้
• เหตุผล : ง่าย รองรับงานทั่วไปที่หลากหลายและรวดเร็ว

3. Clean-text : Python จัดเตรียม regex สำหรับการจัดการสตริง แต่การทำงานกับรูปแบบของมันเป็นงานที่เจ็บปวด งานนี้สามารถทำได้อย่างง่ายดายโดยใช้ Clean-text มันค่อนข้างง่ายและใช้งานง่าย แต่ในขณะเดียวกันก็ทรงพลังเช่นกัน สามารถล้างอักขระ ASCII ที่ไม่ใช่ตัวเลขและตัวอักษรได้

• Github : github.com/jfilter/clean-text
• คำตัดสิน : มีประโยชน์
• เหตุผล : มีข้อจำกัดในการใช้งานแต่ค่อนข้างใช้งานง่าย

อ่าน: เครื่องมือการเรียนรู้เชิงลึกยอดนิยม

B. เครื่องมือที่ใช้การเรียนรู้เชิงลึก:

4. Hugging Face Transformers : โมเดลที่อิงจาก Transformers เป็นความรู้สึกในปัจจุบันของโลกของ NLP ห้องสมุดหม้อแปลง Hugging Face มีรุ่น SOTA ทั้งหมด (เช่น BERT, GPT2, RoBERTa เป็นต้น) ที่ใช้กับ TF 2.0 และ Pytorch โมเดลที่ผ่านการฝึกอบรมมาแล้วสามารถใช้งานได้ทันทีสำหรับงานดาวน์สตรีมที่หลากหลาย เช่น NER, การจัดประเภทลำดับ, การตอบคำถามแบบแยกส่วน, การสร้างแบบจำลองภาษา, การสร้างข้อความ, การสรุป, การแปล นอกจากนี้ยังให้การสนับสนุนสำหรับการปรับแต่งชุดข้อมูลที่กำหนดเอง ตรวจสอบเอกสารที่ยอดเยี่ยมและภาคผนวกของแบบจำลองเพื่อเริ่มต้น

• Github : github.com/huggingface/transformers
• คำตัดสิน : ที่ขาดไม่ได้
• เหตุผล : ความรู้สึกในโลกของ NLP ในปัจจุบัน ทำให้มีโมเดลที่ผ่านการฝึกอบรมมาแล้วไม่มากสำหรับงานดาวน์สตรีมที่หลากหลาย

5. Spark NLP : ช่วงนี้เป็น Spark NLP ที่ดังที่สุดในโลกของ NLP โดยเฉพาะในภาค Healthcare เนื่องจากใช้ Apache Spark เป็นแบ็กเอนด์ จึงรับประกันประสิทธิภาพและความเร็วที่ยอดเยี่ยม เกณฑ์มาตรฐานที่จัดทำโดยพวกเขาอ้างว่าประสิทธิภาพการฝึกอบรมที่ดีที่สุดเมื่อเทียบกับหม้อแปลง Hugging Face, TensorFlow, Spacy

สิ่งหนึ่งที่โดดเด่นคือการเข้าถึงจำนวนคำที่ฝัง เช่น BERT, ELMO, Universal sentence Encoder, GloVe, Word2Vec เป็นต้น ที่จัดให้ นอกจากนี้ยังอนุญาตให้ฝึกโมเดลสำหรับกรณีการใช้งานใดๆ เนื่องจากลักษณะการใช้งานทั่วไป หลายๆ บริษัท รวมทั้ง FAANG กำลังใช้งานอยู่

• Github : github.com/JohnSnowLabs/spark-nlp
• คำตัดสิน : ที่ขาดไม่ได้
• เหตุผล : ประสิทธิภาพระดับการผลิตที่ดีเยี่ยม ลักษณะการใช้งานทั่วไป

6. Fast AI : มันถูกสร้างขึ้นบน Pytorch และสามารถใช้ในการออกแบบเฟรมเวิร์กใด ๆ รวมถึง NLP API ของ API นั้นใช้งานง่ายมากโดยมีเป้าหมายเป็นโค้ดขั้นต่ำและเน้นการปฏิบัติจริงเหนือทฤษฎี นอกจากนี้ยังสามารถรวมเข้ากับหม้อแปลง Hugging face ได้อย่างง่ายดาย ผู้เขียนห้องสมุดคือ Jeremy Howard ซึ่งเน้นที่การใช้แนวปฏิบัติที่ดีที่สุดเสมอ

• Github : github.com/fastai/fastai
• คำตัดสิน : จำเป็น
• เหตุผล : API ที่มีประโยชน์ เน้นการใช้งานได้จริง

7. Simple Transformers : มันใช้หม้อแปลง Hugging Face และทำหน้าที่ API ระดับสูงที่ง่ายสำหรับมัน แต่อย่าถือว่านี่เป็นข้อจำกัด สำหรับใครก็ตามที่ไม่ต้องการสถาปัตยกรรมการออกแบบที่กำหนดเองแต่ต้องการพัฒนาโมเดลตามขั้นตอนมาตรฐาน ก็ไม่มีไลบรารี่อื่นที่ดีไปกว่ามันแล้ว

รองรับกรณีการใช้งาน NLP ที่ใช้ส่วนใหญ่ทั้งหมด เช่น การจัดประเภทข้อความ การจัดประเภทโทเค็น การตอบคำถาม การสร้างแบบจำลองภาษา การสร้างภาษา การจำแนกประเภทหลายโมดอล AI การสนทนา การสร้างการแทนข้อความ นอกจากนี้ยังมีเอกสารที่ดีเยี่ยม

• Github : github.com/ThilinaRajapakse/simpletransformers
• คำตัดสิน : จำเป็น
• เหตุผล : ทำตัวเหมือน API ที่ง่ายและสูงสำหรับหม้อแปลง Hugging Face

อ่านเพิ่มเติม: วิธีสร้างแชทบ็อตใน Python

C. กรณีการใช้งานเฉพาะ:

8. รสา : เป็นเครื่องมือ AI การสนทนาที่สมบูรณ์แบบที่สุดในการสร้าง Smart Chatbot ผู้ช่วยข้อความและเสียง มีความยืดหยุ่นสูงในการฝึก

• Github :
• คำตัดสิน : มีประโยชน์
• เหตุผล : มีข้อจำกัดในการใช้งานแต่ในขณะเดียวกันก็ดีที่สุดในระดับเดียวกัน

9. TextAttack : ผู้ฝึก ML ที่ช่ำชองมักจะให้น้ำหนักในการทดสอบมากกว่าการฝึก กรอบนี้มีไว้สำหรับการโจมตีของฝ่ายตรงข้าม การฝึกอบรมของฝ่ายตรงข้าม และการเพิ่มข้อมูลใน NLP ช่วยตรวจสอบความทนทานของระบบ NLP การเริ่มต้นใช้งานอาจดูสับสนเล็กน้อย แต่ให้ทำตามเอกสารของพวกเขาเพื่อเริ่มต้นและทำความเข้าใจแรงจูงใจเบื้องหลังการใช้งาน

• Github : github.com/QData/TextAttack
• คำตัดสิน : จำเป็น
• เหตุผล : เครื่องมือที่ไม่ซ้ำใครและทรงพลัง

10. Sentence Transformer : การสร้างการฝังหรือการแปลงข้อความเป็นเวกเตอร์เป็นส่วนประกอบสำคัญในการออกแบบเฟรมเวิร์ก NLP วิธีการแบบเก่าวิธีหนึ่งคือการใช้ TF-IDF แต่ไม่มีบริบท การใช้หม้อแปลงสามารถแก้ไขปัญหานี้ได้ มีเครื่องมือค่อนข้างน้อยที่สามารถสร้างการฝังบนหม้อแปลงได้ (แม้แต่ตัวแปลงหน้าแบบกอดก็สามารถปรับแต่งและใช้งาน) แต่ไม่มีเครื่องมือใดที่ทำให้มันง่ายอย่างที่สุดเหมือนกับตัวแปลงประโยค

• Github : github.com/UKPLab/sentence-transformers
• คำตัดสิน : มีประโยชน์
• เหตุผล : มีจำกัดการใช้งานแต่ได้งาน

11. BertTopic : หากใครกำลังมองหาการออกแบบระบบการสร้างแบบจำลองหัวข้อที่มีประสิทธิภาพแล้วล่ะก็ ไม่ต้องมองหาที่ไหนไกลไปกว่า BERTTopic มันใช้การฝังของ BERT และ c-TF-IDF (เวอร์ชันที่แก้ไขโดยผู้เขียนของ TF-IDF) เพื่อสร้างคลัสเตอร์ที่มีความหนาแน่นสูง ซึ่งช่วยให้สามารถตีความหัวข้อได้อย่างง่ายดายในขณะที่เก็บคำสำคัญไว้ในคำอธิบายหัวข้อ

• Github : github.com/MaartenGr/BERTopic
• คำตัดสิน : มีประโยชน์
• เหตุผล : มีข้อจำกัดในการใช้งานแต่ในขณะเดียวกันก็ดีที่สุดในระดับเดียวกัน

12. Bert Extractive Summarizer : นี่เป็นอีกเครื่องมือที่ยอดเยี่ยมที่ใช้หม้อแปลงหน้ากอดซึ่งสามารถใช้ในการสรุปข้อความได้ โดยจะสรุปข้อความที่ป้อนเข้าตามบริบท ดังนั้นคุณจึงไม่ต้องกังวลว่าจะพลาดข้อมูลอันมีค่า

• Github : github.com/dmmiller612/bert-extractive-summarizer
• คำตัดสิน : มีประโยชน์
• เหตุผล : มีข้อจำกัดในการใช้งานแต่ในขณะเดียวกันก็ดีที่สุดในระดับเดียวกัน

D. เครื่องมืออื่นๆ (ไม่เข้ารหัส):

13. Doccano : เป็นเครื่องมือการติดแท็กข้อมูลที่เรียบง่ายแต่มีประสิทธิภาพ และสามารถใช้เพื่อแท็กการวิเคราะห์ความรู้สึก การรับรู้เอนทิตีที่มีชื่อ การสรุปข้อความ ฯลฯ มีเครื่องมือค่อนข้างน้อย แต่ Doccano เป็นวิธีการตั้งค่าที่ง่ายที่สุดและรวดเร็วที่สุด ที่จะได้รับไป

• Github : github.com/doccano/doccano
• คำตัดสิน : จำเป็น
• เหตุผล : เดินทางสะดวกและรวดเร็ว รองรับหลายรูปแบบ

14. Github Actions : ในปัจจุบัน ฟีเจอร์ที่ดีที่สุดของ Github ไม่ใช่การโฮสต์โค้ดฟรี (แม้แต่ส่วนตัว) แต่เป็นการกระทำของ Github เป็นหนึ่งในเครื่องมือ CI/CD ที่ดีกว่า หากคุณไม่ได้ใช้มันแสดงว่าคุณพลาดไปมาก เครื่องมือ CI/CD ทำให้การพัฒนารวดเร็วและเชื่อถือได้

• คำตัดสิน : ที่ขาดไม่ได้
• เหตุผล : เครื่องมือ CI/CD ฟรีพร้อมการสนับสนุนจากชุมชนที่ยอดเยี่ยม

15. DVC (การควบคุมเวอร์ชันข้อมูล): ข้อมูลคือหัวใจของโครงการ Data Science ดังนั้นการจัดการจึงเป็นกุญแจสำคัญ DVC ได้รับแรงบันดาลใจจาก Git รวมเข้ากับ Git ได้อย่างง่ายดาย ช่วยให้เราสามารถเปลี่ยนข้อมูลเวอร์ชันของเราไปมาหรือการเดินทางข้ามเวลาของข้อมูล มันยังใช้งานได้กับที่เก็บข้อมูลบนคลาวด์ เช่น aws s3, ที่เก็บข้อมูล Azure Blob, ที่เก็บข้อมูลบนคลาวด์ gcp เป็นต้น

• Github : github.com/iterative/dvc
• คำตัดสิน : ที่ขาดไม่ได้
• เหตุผล : ทำงานร่วมกับ git ที่เก็บข้อมูลบนคลาวด์และสามารถใช้เพื่อจัดการข้อมูลขนาดใหญ่ได้

หากคุณต้องการเชี่ยวชาญแมชชีนเลิร์นนิงและเรียนรู้วิธีฝึกตัวแทนให้เล่น tic tac toe ฝึกแชทบ็อต ฯลฯ ให้ลองดูหลักสูตรประกาศนียบัตร PG ปัญญาประดิษฐ์ของ upGrad