การสรุปข้อความในการประมวลผลภาษาธรรมชาติ: อัลกอริธึม เทคนิค & ความท้าทาย

การสร้างบทสรุปจากเนื้อหาที่กำหนดเป็นกระบวนการที่เป็นนามธรรมมากซึ่งทุกคนมีส่วนร่วม การทำให้กระบวนการดังกล่าวเป็นอัตโนมัติสามารถช่วยแยกวิเคราะห์ข้อมูลจำนวนมาก และช่วยให้มนุษย์ใช้เวลาของพวกเขาในการตัดสินใจที่สำคัญได้ดียิ่งขึ้น ด้วยปริมาณสื่อที่มีอยู่จำนวนมาก สื่อหนึ่งสามารถมีประสิทธิภาพมากโดยการลดปุยรอบข้อมูลที่สำคัญที่สุด เราเริ่มเห็นข้อความสรุปในเว็บที่สร้างขึ้นโดยอัตโนมัติแล้ว

หากคุณใช้ Reddit เป็นประจำ คุณอาจเคยเห็น 'บอท Autotldr' ช่วยเหลือ Redditors เป็นประจำโดยการสรุปบทความที่เชื่อมโยงไว้ในโพสต์ที่กำหนด มันถูกสร้างขึ้นในปี 2011 และได้ช่วยคนหลายพันชั่วโมงไปแล้ว มีตลาดสำหรับการสรุปข้อความที่เชื่อถือได้ดังที่แสดงโดยแนวโน้มของแอปพลิเคชันที่ทำอย่างนั้นอย่างแม่นยำเช่น Inshorts (สรุปข่าวใน 60 คำหรือน้อยกว่า) และ Blinkist (หนังสือสรุป )

การ สรุปข้อความ อัตโนมัติจึงเป็นพรมแดนที่น่าตื่นเต้นแต่ท้าทายใน การประมวลผลภาษาธรรมชาติ (NLP) และ การเรียนรู้ของเครื่อง (ML) การพัฒนาในปัจจุบันในการสรุปข้อความอัตโนมัติเป็นผลมาจากการวิจัยในสาขานี้ตั้งแต่ทศวรรษ 1950 เมื่อบทความของ Hans Peter Luhn เรื่อง "การสร้างบทคัดย่อวรรณกรรมโดยอัตโนมัติ" ได้รับการตีพิมพ์

เอกสารนี้สรุปการใช้คุณลักษณะต่างๆ เช่น ความถี่ของคำและความถี่ของวลี เพื่อแยกประโยคที่จำเป็นออกจากเอกสาร ตามมาด้วยงานวิจัยที่สำคัญอีกชิ้นที่ทำโดย Harold P Edmundson ในช่วงปลายทศวรรษ 1960 ซึ่งเน้นการมีอยู่ของคำสำคัญ คำที่ใช้ในชื่อที่ปรากฏในข้อความ และตำแหน่งของประโยคเพื่อดึงประโยคที่มีนัยสำคัญออกจากเอกสาร

ขณะนี้โลกมีความก้าวหน้าในการเรียนรู้ของเครื่องและเผยแพร่การศึกษาใหม่ในสาขานี้ การสรุปข้อความอัตโนมัติกำลังจะกลายเป็นเครื่องมือที่แพร่หลายในการโต้ตอบกับข้อมูลในยุคดิจิทัล

ต้องอ่าน: เงินเดือนวิศวกร NLP ในอินเดีย

มีสองวิธีหลักในการสรุปข้อความใน NLP . เป็นหลัก

การสรุปข้อความใน NLP

1. การสรุปตามการสกัด

ตามชื่อที่แนะนำ เทคนิคนี้อาศัยเพียงการแยกหรือดึงวลีสำคัญออกจากเอกสาร ตามด้วยการรวมวลีสำคัญเหล่านี้เพื่อสร้างบทสรุปที่สอดคล้องกัน

2. สรุปตามนามธรรม

เทคนิคนี้แตกต่างจากการดึงข้อมูลโดยอาศัยความสามารถในการถอดความและย่อส่วนต่างๆ ของเอกสารให้สั้นลง เมื่อนามธรรมดังกล่าวทำอย่างถูกต้องในปัญหาการเรียนรู้เชิงลึก เราสามารถมั่นใจได้ว่ามีไวยากรณ์ที่สอดคล้องกัน แต่ความซับซ้อนที่เพิ่มเข้ามานี้ทำให้ต้นทุนการพัฒนายากกว่าการสกัด

มีอีกวิธีหนึ่งในการสร้างบทสรุปคุณภาพสูงขึ้น แนวทางนี้เรียกว่าการสรุปผลที่ได้รับความช่วยเหลือ ซึ่งเกี่ยวข้องกับความพยายามของมนุษย์และซอฟต์แวร์ร่วมกัน มาพร้อมกัน 2 รสชาติ

1. การสรุปโดยมนุษย์โดยใช้เครื่องช่วย : เทคนิคการแยกส่วนเน้นข้อความของผู้สมัครที่จะรวมไว้ ซึ่งมนุษย์อาจเพิ่มหรือลบข้อความ
2. สรุปเครื่องช่วยมนุษย์ : มนุษย์เพียงแค่แก้ไขผลลัพธ์ของซอฟต์แวร์

นอกจากแนวทางหลักในการสรุปข้อความแล้ว ยังมีฐานอื่นๆ ที่จัดประเภทตัวสรุปข้อความ ต่อไปนี้เป็นหัวหน้าหมวดหมู่เหล่านั้น:

3. การสรุปเอกสารเดี่ยวและหลายฉบับ

เอกสารเดี่ยวอาศัยความสอดคล้องและข้อเท็จจริงซ้ำๆ กันไม่บ่อยนักเพื่อสร้างบทสรุป ในทางกลับกัน การสรุปเอกสารหลายฉบับจะเพิ่มโอกาสที่ข้อมูลซ้ำซ้อนและการเกิดขึ้นซ้ำ

4. บ่งชี้กับข้อมูล

อนุกรมวิธานของบทสรุปขึ้นอยู่กับเป้าหมายปลายทางของผู้ใช้ ตัวอย่างเช่น ในการสรุปประเภทที่บ่งบอก เราคาดหวังคะแนนระดับสูงของบทความ ในขณะที่ในภาพรวมข้อมูล อาจมีการกรองหัวข้อเพิ่มเติมเพื่อให้ผู้อ่านเจาะลึกข้อมูลสรุปได้

5. ความยาวและประเภทเอกสาร

ความยาวของข้อความป้อนเข้ามีอิทธิพลอย่างมากต่อการเรียงลำดับวิธีการสรุป

ชุดข้อมูลสรุปที่ใหญ่ที่สุด เช่น ห้องข่าวของ Cornell เน้นที่บทความข่าวซึ่งมีคำโดยเฉลี่ยประมาณ 300-1,000 คำ ตัวสรุปที่แยกออกมาจัดการกับความยาวดังกล่าวค่อนข้างดี เอกสารหรือบทที่มีหลายหน้าของหนังสือสามารถสรุปได้อย่างเพียงพอด้วยวิธีการขั้นสูง เช่น การจัดกลุ่มตามลำดับชั้นหรือการวิเคราะห์วาทกรรม

นอกจากนี้ ประเภทของข้อความยังมีอิทธิพลต่อผู้สรุปด้วยเช่นกัน วิธีการที่จะสรุปเอกสารทางเทคนิคจะแตกต่างอย่างสิ้นเชิงจากเทคนิคที่อาจเหมาะสมกว่าในการสรุปงบการเงิน

ในบทความนี้ เราจะเน้นรายละเอียดเพิ่มเติมของเทคนิคการสรุปการแยกข้อมูล

อัลกอริทึม PageRank

อัลกอริทึมนี้ช่วยให้เครื่องมือค้นหาเช่น Google จัดอันดับหน้าเว็บ มาทำความเข้าใจอัลกอริทึมด้วยตัวอย่างกัน สมมติว่าคุณมีหน้าเว็บสี่หน้าที่มีระดับการเชื่อมต่อระหว่างกันต่างกัน หนึ่งอาจไม่มีลิงก์ไปยังอีกสามคน ตัวหนึ่งอาจเชื่อมต่อกับอีก 2 ตัว ตัวหนึ่งอาจสัมพันธ์กับตัวเดียว และอื่นๆ

จากนั้นเราสามารถจำลองความน่าจะเป็นของการนำทางจากหน้าหนึ่งไปอีกหน้าหนึ่งโดยใช้เมทริกซ์ที่มี n แถวและคอลัมน์ โดยที่ n คือจำนวนหน้าเว็บ แต่ละองค์ประกอบภายในเมทริกซ์จะแสดงถึงความน่าจะเป็นของการเปลี่ยนจากหน้าเว็บหนึ่งไปอีกหน้าเว็บหนึ่ง โดยการกำหนดความน่าจะเป็นที่ถูกต้อง เราสามารถอัปเดตเมทริกซ์ดังกล่าวซ้ำๆ เพื่อมาที่การจัดอันดับหน้าเว็บ

อ่านเพิ่มเติม: โครงการและหัวข้อ NLP

อัลกอริทึม TextRank

เหตุผลที่เราสำรวจอัลกอริธึม PageRank คือการแสดงให้เห็นว่าอัลกอริธึมเดียวกันนี้สามารถใช้จัดอันดับข้อความแทนหน้าเว็บได้อย่างไร ซึ่งสามารถทำได้โดยการเปลี่ยนมุมมองโดยแทนที่ลิงก์ระหว่างหน้าต่างๆ ให้มีความคล้ายคลึงกันระหว่างประโยค และใช้เมทริกซ์สไตล์ PageRank เป็นคะแนนความคล้ายคลึงกัน

การใช้อัลกอริธึม TextRank

ห้องสมุดที่จำเป็น

• Numby
• แพนด้า
• Ntlk
• อีกครั้ง

ต่อไปนี้เป็นคำอธิบายของโค้ดที่อยู่เบื้องหลังเทคนิคการสรุปการแยกข้อมูล:

ขั้นตอนที่ 1

เชื่อมข้อความทั้งหมดที่คุณมีในเอกสารต้นทางให้เป็นบล็อกข้อความเดียว เหตุผลที่ต้องทำคือให้เงื่อนไขเพื่อให้เราสามารถดำเนินการขั้นตอนที่ 2 ได้ง่ายขึ้น

ขั้นตอนที่ 2

เรามีเงื่อนไขที่กำหนดประโยค เช่น การมองหาเครื่องหมายวรรคตอน เช่น จุด (.) เครื่องหมายคำถาม (?) และเครื่องหมายอัศเจรีย์ (!) เมื่อได้คำจำกัดความนี้แล้ว เราก็แบ่งเอกสารข้อความออกเป็นประโยค

ขั้นตอนที่ 3

ตอนนี้เราสามารถเข้าถึงประโยคที่แยกจากกัน เราพบการแสดงเวกเตอร์ (การฝังคำ) ของแต่ละประโยคเหล่านั้น ตอนนี้เราต้องเข้าใจว่าการแสดงเวกเตอร์คืออะไร การฝังคำเป็นการแสดงคำประเภทหนึ่งที่ให้คำอธิบายทางคณิตศาสตร์ของคำที่มีความหมายคล้ายกัน ในความเป็นจริง นี่คือเทคนิคทั้งคลาสที่แสดงคำเป็นเวกเตอร์ที่มีค่าจริงในพื้นที่เวกเตอร์ที่กำหนดไว้ล่วงหน้า

แต่ละคำจะแสดงด้วยเวกเตอร์มูลค่าจริงซึ่งมีหลายมิติ (มากกว่า 100 ครั้ง) การแสดงแทนการแจกแจงขึ้นอยู่กับการใช้คำ ดังนั้นจึงอนุญาตให้คำที่ใช้ในลักษณะเดียวกันมีคำอธิบายที่คล้ายคลึงกัน สิ่งนี้ทำให้เราสามารถจับความหมายของคำได้อย่างเป็นธรรมชาติโดยอาศัยความใกล้ชิดกับคำอื่นๆ ที่แสดงเป็นเวกเตอร์เอง

สำหรับคู่มือนี้ เราจะใช้ Global Vectors of Word Representation (GloVe) gloVe เป็นอัลกอริธึมการแสดงคำแบบกระจายโอเพนซอร์สที่พัฒนาโดย Pennington ที่ Stanford รวมคุณสมบัติของ 2 ตระกูลโมเดล ได้แก่ การแยกตัวประกอบเมทริกซ์ส่วนกลางและวิธีการหน้าต่างบริบทในเครื่อง

ขั้นตอนที่ 4

เมื่อเราได้ภาพเวกเตอร์สำหรับคำของเราแล้ว เราต้องขยายกระบวนการเพื่อแสดงทั้งประโยคเป็นเวกเตอร์ ในการทำเช่นนั้น เราอาจดึงข้อมูลเวกเตอร์ของคำศัพท์ที่ประกอบเป็นคำในประโยค จากนั้นจึงนำค่าเฉลี่ย/ค่าเฉลี่ยของเวกเตอร์เหล่านั้นมาที่เวกเตอร์รวมของประโยคนั้น

ขั้นตอนที่ 5

ณ จุดนี้ เรามีการแสดงเวกเตอร์สำหรับแต่ละประโยค การหาปริมาณความคล้ายคลึงกันระหว่างประโยคโดยใช้วิธีความคล้ายคลึงกันของโคไซน์จะเป็นประโยชน์ จากนั้นเราสามารถเติมเมทริกซ์ว่างด้วยความคล้ายคลึงโคไซน์ของประโยค

ขั้นตอนที่ 6

ตอนนี้เรามีเมทริกซ์ที่เติมด้วยความคล้ายคลึงของโคไซน์ระหว่างประโยค เราสามารถแปลงเมทริกซ์นี้เป็นกราฟที่โหนดเป็นตัวแทนของประโยค และขอบแสดงถึงความคล้ายคลึงกันระหว่างประโยค ในกราฟนี้เราจะใช้อัลกอริธึม PageRank ที่มีประโยชน์เพื่อให้ได้อันดับประโยค

ขั้นตอนที่ 7

ตอนนี้เราได้จัดอันดับประโยคทั้งหมดในบทความตามลำดับความสำคัญแล้ว ตอนนี้เราสามารถแยกประโยค N (พูด 10) ด้านบนเพื่อสร้างสรุปได้

ในการค้นหาโค้ดสำหรับวิธีการดังกล่าว มีหลายโปรเจ็กต์ดังกล่าวบน Github บทความนี้ช่วยพัฒนาความเข้าใจในสิ่งเดียวกัน

เช็คเอาท์: วิวัฒนาการของการสร้างแบบจำลองภาษาในชีวิตสมัยใหม่

เทคนิคการประเมินผล

ปัจจัยสำคัญในการปรับแต่งโมเดลดังกล่าวอย่างละเอียดคือการมีวิธีที่เชื่อถือได้ในการตัดสินคุณภาพของบทสรุปที่ผลิต สิ่งนี้จำเป็นสำหรับเทคนิคการประเมินที่ดี ซึ่งสามารถจำแนกอย่างกว้างๆ ได้ดังต่อไปนี้:

• การประเมินภายในและภายนอก :

แท้จริง: การประเมินดังกล่าวจะทดสอบระบบการสรุปผลในตัวของมันเอง พวกเขาส่วนใหญ่ประเมินการเชื่อมโยงกันและการให้ข้อมูลของสรุป

ภายนอก: การประเมินดังกล่าวจะทดสอบการสรุปโดยพิจารณาจากผลกระทบที่มีต่องานอื่นๆ อาจทดสอบผลกระทบของการสรุปในงาน เช่น การประเมินความเกี่ยวข้อง ความเข้าใจในการอ่าน ฯลฯ

• Inter-textual และ Intra-textual :

Inter-textual: การประเมินดังกล่าวมุ่งเน้นไปที่การวิเคราะห์คอนทราสต์ของระบบการสรุปผลหลายระบบ

Intra-textual: การประเมินดังกล่าวจะประเมินผลลัพธ์ของระบบการสรุปผลเฉพาะ

• เฉพาะโดเมนและไม่ขึ้นกับโดเมน :

ไม่ขึ้นกับโดเมน: โดยทั่วไป เทคนิคเหล่านี้ใช้ชุดคุณลักษณะทั่วไปที่สามารถเน้นที่การระบุกลุ่มข้อความที่มีข้อมูลจำนวนมาก

เฉพาะโดเมน: เทคนิคเหล่านี้ใช้ความรู้ที่มีอยู่เฉพาะสำหรับโดเมนในข้อความ ตัวอย่างเช่น การสรุปข้อความของวรรณกรรมทางการแพทย์ต้องใช้แหล่งที่มาของความรู้ทางการแพทย์และอภิปรัชญา

• การประเมินบทสรุปในเชิงคุณภาพ :

ข้อเสียเปรียบที่สำคัญของเทคนิคการประเมินอื่นๆ คือ จำเป็นต้องใช้ข้อมูลสรุปอ้างอิงเพื่อให้สามารถเปรียบเทียบผลลัพธ์ของการสรุปอัตโนมัติกับแบบจำลองได้ ทำให้งานการประเมินยากและมีราคาแพง มีงานที่ทำเพื่อสร้างคลังบทความ/เอกสารและสรุปที่เกี่ยวข้องเพื่อแก้ไขปัญหานี้

ความท้าทายในการสรุปข้อความ

แม้จะมีเครื่องมือที่ได้รับการพัฒนาอย่างสูงเพื่อสร้างและประเมินผลสรุป ความท้าทายยังคงเป็นไปในการหาวิธีที่เชื่อถือได้สำหรับผู้สรุปข้อความเพื่อทำความเข้าใจสิ่งที่สำคัญและเกี่ยวข้อง

ตามที่กล่าวไว้ เมทริกซ์การแสดงเวกเตอร์และเมทริกซ์ความคล้ายคลึงกันพยายามค้นหาการเชื่อมโยงคำ แต่ก็ยังไม่มีวิธีการที่เชื่อถือได้ในการระบุประโยคที่สำคัญที่สุด

ความท้าทายอีกประการหนึ่งในการสรุปข้อความคือความซับซ้อนของภาษามนุษย์และวิธีที่ผู้คนแสดงออก โดยเฉพาะอย่างยิ่งในข้อความที่เป็นลายลักษณ์อักษร ภาษาไม่เพียงแต่ประกอบด้วยประโยคยาวๆ ที่มีคำคุณศัพท์และคำวิเศษณ์เพื่ออธิบายบางสิ่ง แต่ยังรวมถึงประโยคที่เกี่ยวข้อง คำอุปมา เป็นต้น ข้อมูลเชิงลึกดังกล่าวอาจเพิ่มข้อมูลที่มีค่าซึ่งไม่ได้ช่วยในการกำหนดจุดสำคัญของข้อมูลที่จะรวมไว้ในบทสรุป

“ปัญหา Anaphora” เป็นอุปสรรคอีกประการหนึ่งในการสรุปข้อความ ในภาษา เรามักจะแทนที่หัวเรื่องในการสนทนาด้วยคำพ้องความหมายหรือคำสรรพนาม ความเข้าใจในคำสรรพนามที่ใช้แทนคำใดคือ "ปัญหาอนาโฟรา"

“ปัญหาคาตาโฟรา” เป็นปัญหาตรงข้ามกับปัญหาแอนนาโฟรา ในคำและคำอธิบายที่คลุมเครือเหล่านี้ มีการใช้คำศัพท์เฉพาะในข้อความก่อนที่จะแนะนำคำศัพท์นั้นเอง

บทสรุป

ฟิลด์การสรุปข้อความกำลังประสบกับการเติบโตอย่างรวดเร็ว และเครื่องมือพิเศษต่างๆ กำลังได้รับการพัฒนาเพื่อจัดการกับงานสรุปที่มุ่งเน้นมากขึ้น ด้วยซอฟต์แวร์โอเพนซอร์ซและแพ็คเกจการฝังคำที่แพร่หลาย ผู้ใช้จึงขยายกรณีการใช้งานของเทคโนโลยีนี้

การสรุปข้อความอัตโนมัติเป็นเครื่องมือที่ช่วยให้การก้าวกระโดดของควอนตัมในการผลิตของมนุษย์โดยการลดความซับซ้อนของปริมาณข้อมูลที่มนุษย์โต้ตอบกับทุกวัน สิ่งนี้ไม่เพียงแต่ช่วยให้ผู้คนลดการอ่านที่จำเป็นเท่านั้น แต่ยังช่วยเพิ่มเวลาในการอ่านและทำความเข้าใจงานเขียนที่มองข้ามไป เป็นเพียงเรื่องของเวลาเท่านั้นที่ผู้สรุปดังกล่าวจะได้รับการบูรณาการเป็นอย่างดีจนสร้างบทสรุปที่แยกไม่ออกจากสิ่งที่เขียนโดยมนุษย์

หากคุณต้องการพัฒนาทักษะ NLP คุณต้องลงมือทำโครงการ NLP เหล่านี้ หากคุณสนใจที่จะเรียนรู้เพิ่มเติมเกี่ยวกับแมชชีนเลิร์นนิง โปรดดูที่ IIIT-B & upGrad's PG Diploma in Machine Learning & AI ซึ่งออกแบบมาสำหรับมืออาชีพที่ทำงานและมีการฝึกอบรมที่เข้มงวดมากกว่า 450 ชั่วโมง กรณีศึกษาและการมอบหมายมากกว่า 30 รายการ IIIT- สถานะศิษย์เก่า B, 5+ โครงการหลักที่ใช้งานได้จริง & ความช่วยเหลือด้านงานกับบริษัทชั้นนำ