Evolusi Pemodelan Bahasa dalam Kehidupan Modern

Bagaimana pemodelan bahasa, yang digagas pada pertengahan abad sebelumnya, menjadi bagian integral dari kecerdasan buatan dengan aplikasi praktis dalam kehidupan modern? Bagaimana perpaduan kecerdasan buatan dan linguistik komputasi ini menjadi inti dunia kita? Mari menelusuri konsep pemrosesan bahasa alami (NLP) dan aplikasi populernya seperti chatbots, perintah suara, dan asisten virtual seperti Google Assistant, Siri, Cortana, dan Alexa Amazon.

Apa itu NLP?

Dengan kata sederhana, NLP membantu komputer memahami, menafsirkan, dan memanfaatkan lidah manusia dan juga memungkinkan komunikasi lengkap dengan cara yang lebih bernuansa. NLP menarik dari berbagai disiplin ilmu, termasuk linguistik dan ilmu komputer, dan menyediakan komputer dengan kemampuan untuk membaca teks, mendengar pidato dan menafsirkan sejumlah besar data. Ini telah berkembang secara luas sejak 1950-an dan telah menjadi bagian dari kehidupan kita sehari-hari. Kemungkinan akan terus memberikan solusi standar dan inovatif untuk masalah umum, mengurangi waktu, tenaga, dan biaya manusia.

Sejarah NLP

Alan Turing , seorang ahli ilmu komputer teoretis dan ahli kecerdasan buatan, pertama kali menyusun gagasan pemrosesan bahasa alami pada 1950-an. Dia menulis sebuah makalah yang menjelaskan tes untuk sebuah mesin, di mana dia menyatakan bahwa jika sebuah mesin dapat menjadi bagian dari percakapan menggunakan teleprinter, maka itu juga dapat diajarkan bagaimana meniru manusia. Pola berulang akan memungkinkan mesin untuk mempelajari tindakan ini, setelah itu dapat dianggap mampu berpikir.

Pada tahun 1954, sebuah eksperimen oleh Universitas Georgetown dan IBM berusaha untuk secara otomatis menerjemahkan enam kalimat Rusia ke dalam bahasa Inggris, menanam benih harapan bahwa terjemahan mesin akan mungkin dilakukan dalam waktu singkat. Namun, baru pada akhir 1980-an sistem terjemahan mesin statistik pertama (terjemahan yang dihasilkan melalui model statistik) dikembangkan. Selama periode 1950-an-80-an, kemajuan dibuat dalam membangun program bahasa alami lainnya.

Dari jumlah tersebut, ELIZA menjadi pusat perhatian pada pertengahan 1960-an. Ini adalah program komputer yang dikembangkan di MIT Artificial Intelligence Laboratory oleh Joseph Weizenbaum untuk menjelaskan kedangkalan komunikasi antara manusia dan mesin. Ini mengungkapkan bahwa komunikasi dengan mesin tidak melibatkan peristiwa kontekstualisasi dan hanya mengikuti skrip. Namun, pengguna menghubungkan perasaan manusia dengan program tersebut. ELIZA membuka jalan untuk apa yang sekarang kita kenal sebagai chatbots (juga dikenal sebagai chatterbots), yang berkembang dari waktu ke waktu.

Tahun 1970-an adalah dekade pembuatan informasi terstruktur dunia nyata menjadi data yang dapat dipahami komputer, dan sejumlah program ditingkatkan pada teknologi yang tersedia. Yang terkenal termasuk PARRY (sebuah chatbot tahun 1972 dengan respons emosional), dan kemudian, Racter (sebuah chatbot lidah-di-pipi yang dibuat pada tahun 1984) dan Jabberwacky (sebuah chatbot yang dibuat pada tahun 1988 yang bertujuan untuk mensimulasikan percakapan manusia dengan cara yang menghibur).

Tahun 1980-an revolusioner dalam pemrosesan bahasa alami, ketika algoritma pembelajaran mesin digunakan untuk pemrosesan bahasa. Ada lonjakan kekuatan komputasi dan penyederhanaan linguistik secara bertahap. Dengan pohon keputusan, penandaan ucapan dan fokus pada model statistik, model bahasa cache, dan pengenalan ucapan, hasilnya menjadi lebih andal.

Keberhasilan awal pembelajaran mesin dapat dikaitkan dengan IBM Research, di mana berturut-turut, model statistik yang lebih rumit dikembangkan, termasuk terjemahan semua proses pemerintah ke dalam semua bahasa resmi Kanada dan Uni Eropa.

Abad ke- 21 menghadirkan pembelajaran representasi (pembelajaran fitur otomatis) dan metode pembelajaran mesin gaya jaringan saraf dalam untuk mencapai hasil yang canggih. Ini termasuk penyisipan kata untuk menangkap semantik dan pertanyaan serta jawaban tingkat tinggi, melahirkan terjemahan mesin saraf (NMT), yang menggunakan jaringan saraf tiruan untuk memprediksi urutan kata, memodelkan seluruh kalimat dalam satu model terintegrasi.

Dalam dua dekade terakhir, NLP telah mengeksplorasi lebih banyak model bahasa saraf, pembelajaran multi-tugas, penyisipan kata, jaringan saraf yang lebih maju, model urutan-ke-urutan, jaringan berbasis memori, dan model bahasa yang telah dilatih sebelumnya. Kemajuan ini telah menghasilkan aplikasi seperti keyboard cerdas dan saran tanggapan email hingga bantuan yang diaktifkan oleh mesin untuk berbicara.

Sekarang ada perpindahan yang stabil dari Natural Language Processing (NLP) ke Natural Language Understanding (NLU), di mana pengguna yang memiliki hubungan emosional manusia dengan mesin tidak akan sesat.

Pengkodean Versus Statistik NLP

Awalnya, sistem pemrosesan bahasa dirancang dengan pengkodean tangan, pada dasarnya dengan menulis tata bahasa atau merancang aturan heuristik. Namun, pada pertengahan 1980-an, ini berubah menjadi pembelajaran mesin, yang menggunakan inferensi statistik untuk mempelajari aturan ini secara otomatis melalui analisis sekumpulan besar contoh dunia nyata. Ini menghasilkan perbedaan yang nyata dalam kecepatan dan pemahaman tentang sistem pemrosesan bahasa.

Prosedur pembelajaran yang digunakan selama pembelajaran mesin secara otomatis berfokus pada kasus yang paling umum. Mereka dapat menunjukkan dan memperbaiki input yang salah, kata yang salah eja, dan menangani tugas yang lebih kompleks melalui algoritme. Ini adalah pengubah permainan dan mencapai skenario di mana NLP dapat digunakan secara luas dan berhasil dalam skala global.

Itu adalah jalan yang panjang untuk mencapai titik di mana induksi tata bahasa, lemmatisasi, segmentasi morfologis, penandaan ucapan, penguraian, pemecahan kalimat, stemming, segmentasi kata, dan ekstraksi terminologi dapat digunakan untuk membuat platform yang kuat untuk menggunakan NLP.

Aplikasi NLP dalam Kehidupan Nyata

1. Terjemahan Mesin

NLP telah mengembangkan beberapa titik kontak dalam hidup kita, terutama dalam dekade terakhir. Salah satu aplikasi yang paling populer adalah terjemahan mesin , paling dikenal sebagai Google Translate . Berdasarkan SMT (terjemahan mesin statistik, yang mengacu pada terjemahan mesin yang dihasilkan berdasarkan model statistik), Google Terjemahan tidak melakukan terjemahan kata demi kata tetapi memberikan nilai semantik pada kata-kata untuk menerjemahkannya secara koheren.

Namun, karena ambiguitas dan fleksibilitas yang melekat dalam bahasa manusia, terjemahan tersebut tidak sepenuhnya akurat. Karena itu, Google Terjemahan masih merupakan alat paling populer yang digunakan untuk menerjemahkan saat bepergian, menjembatani kesenjangan bahasa.

2. Pengenalan Ucapan

Contoh lain dari NLP yang patut dicontoh dan terkait. Program perangkat lunak pengenalan suara memungkinkan penguraian kode suara manusia, yang dapat digunakan dalam telepon seluler, otomatisasi rumah, komputasi hands-free, bantuan virtual, permainan video, dan banyak lagi. Penggunaan paling populer ini dalam kehidupan kita sehari-hari telah datang dengan munculnya Asisten Google, Siri, dan Alexa Amazon .

Bagaimana cara kerjanya? Dalam kasus Asisten Google, ucapan diubah menjadi teks menggunakan sistem Hidden Markov Model (HMM). Sistem HMM mendengarkan klip 10-20 milidetik dari kata-kata yang diucapkan dan mencari fonem dan membandingkannya dengan ucapan yang sudah direkam sebelumnya. Proses pemahaman diikuti dengan mengidentifikasi bahasa dan konteks.

Sistem memecah setiap kata menjadi bagian-bagiannya (kata benda, kata kerja, dll.) dan kemudian menentukan konteks pesanan Anda. Kemudian, itu mengkategorikan perintah ini dan secara efektif menjalankan tugas. Alexa, di sisi lain, berfungsi sedikit berbeda.

Setiap kali Anda mengatakan sesuatu, kata-kata itu kembali ke server Amazon untuk diuraikan. Sistem bergantung pada database besar kata-kata dan instruksi untuk menilai dan menjalankan perintah. Misalnya, jika Alexa mendeteksi kata-kata seperti 'pizza' atau 'dinner', itu akan membuka aplikasi makanan, atau jika mendeteksi kata 'play', itu akan terhubung ke opsi musik.

3. Analisis Sentimen

Ketika berbicara tentang NLP, analisis sentimen tidak bisa diabaikan. Ini juga dikenal sebagai penambangan opini atau AI emosi, yang mengukur kecenderungan opini orang. Ini melibatkan mengidentifikasi informasi subjektif dalam teks dan memiliki sejumlah aplikasi. Pemantauan merek dan manajemen reputasi adalah penggunaan paling umum dari analisis sentimen di industri.

Ini memungkinkan bisnis untuk melacak persepsi suatu merek, mengidentifikasi tren, terus mendengarkan influencer dan dampaknya, memantau ulasan produk atau layanan, menggali ide dan variasi baru, dan menyesuaikan strategi pemasaran yang sesuai. Terlepas dari persepsi merek dan opini pelanggan, riset pasar adalah bidang lain yang menonjol dari aplikasi analisis sentimen.

Pembuatan dan pelacakan konten yang dibuat pengguna (ulasan), artikel berita, konten pesaing, dan mengisi celah pada intelijen pasar seringkali merupakan bagian dari analisis sentimen. Manajemen reputasi dan analisis produk adalah aplikasi lain dari analisis sentimen yang digunakan di seluruh industri. Dengan ini, merek bisa mendapatkan umpan balik bernuansa pada produk mereka.

Analisis sentimen berbasis aspek adalah cara lain di mana merek dapat menggunakan analisis sentimen secara produktif. Pendekatan analisis berbasis aspek memungkinkan ekstraksi poin yang paling layak mengenai umpan balik pelanggan. Dengan informasi dan analisis yang kaya ini, merek dapat menyesuaikan, menyegarkan, dan mengarahkan komunikasi serta membuat perubahan pada produk atau layanan yang sesuai.

4. Asisten Virtual

Bantuan virtual dengan bantuan chatbot yang lebih dewasa adalah pendekatan modern menuju komunikasi yang cepat dan efektif dengan konsumen. Tugas berprioritas rendah tetapi dengan perputaran tinggi, yang tidak memerlukan keterampilan, dapat dengan mudah diberikan dengan bantuan chatbots. Ada kepercayaan dan popularitas yang tumbuh di antara pengguna dan pengembang saat kami bergerak menuju evolusi cepat chatbot cerdas yang akan menawarkan bantuan yang dipersonalisasi kepada pelanggan dalam waktu dekat.

Bahkan, penerapan chatbots juga telah mendorong profesional pemasaran untuk menggunakan bantuan virtual secara lebih produktif, menciptakan format iklan dan komunikasi baru yang sesuai dengan program chatbot.

5. Kesehatan

Di dunia medis, layanan perawatan primer bertenaga AI melibatkan penyelesaian banyak tugas NLP. Beberapa kasus penggunaan NLP saat ini dalam kedokteran melibatkan ekstraksi entitas medis yang berbeda, termasuk gejala, penyakit, atau perawatan dari sejumlah besar informasi.

Penemuan pengetahuan dari teks medis yang tidak terstruktur untuk menggambar pola dan hubungan sangat berguna bagi para profesional perawatan medis. Sebanyak NLP dapat digunakan untuk menarik informasi, NLP juga dapat digunakan untuk mengomunikasikan tanggapan yang relevan dan membuat fungsionalitas pelengkapan otomatis untuk sistem komunikasi yang sadar medis.

6. Sistem Email

Pada tahun 2017, Google meluncurkan SmartReply , kecakapan berbasis pembelajaran mesinnya, untuk menanggapi email dengan sedikit usaha. Pengetikan lebih cepat, pengetikan prediktif, pemeriksaan ejaan, dan pemeriksaan tata bahasa adalah bagian dari ini. Smart Reply memindai teks pesan masuk dan menyarankan tiga respons dasar yang dapat diubah dan dikirim pengguna, mengurangi waktu yang dihabiskan untuk balasan sederhana atau biasa.

Ini sepenuhnya didasarkan pada jaringan saraf yang dilatih untuk menganalisis pesan dan mengubahnya menjadi kode numerik yang mewakili maknanya. Dalam sistem email, klasifikasi email dan deteksi SPAM adalah cara lain di mana NLP telah menyederhanakan hidup kita.

7. Perilaku pencarian

Perilaku pencarian adalah aspek lain yang didukung NLP yang kami temui setiap hari. Mesin pencari menggunakan NLP untuk menampilkan hasil yang relevan berdasarkan perilaku pencarian yang serupa atau maksud pengguna, sehingga rata-rata pengguna menemukan apa yang mereka butuhkan dengan mudah. Misalnya, Google tidak hanya memprediksi pencarian populer apa yang mungkin berlaku untuk kueri individu saat mereka mulai mengetik, tetapi juga melihat keseluruhan gambar secara komprehensif yang menunjukkan hasil tangensial yang relevan.

8. Panggilan Telepon Digital

Panggilan telepon digital mungkin tampak seperti bagian hari yang mengganggu, ketika pesan pemasaran yang direkam berbicara kepada Anda, tetapi ini adalah media yang bagus untuk menjangkau banyak orang dan menyelesaikan masalah dengan cepat. NLP memungkinkan bahasa yang dihasilkan komputer dekat dengan suara manusia, yang dapat mengumpulkan informasi dari konsumen dan melakukan tugas-tugas sederhana seperti menyampaikan informasi dan memesan janji temu.

9. Rumah Pintar

Perintah suara di dalam mobil, seperti mengunci pintu, menurunkan jendela atau memutar musik tertentu, hanyalah beberapa dari fungsi yang telah diaktifkan NLP di industri otomotif . Di arena otomatisasi, otomatisasi rumah juga terkait erat dengan NLP, di mana perintah suara untuk menutup atau membuka tirai, lampu, dan peralatan adalah inti dari ' rumah pintar'.

Ini hanya beberapa dari banyak penggunaan NLP yang kita temui dalam hidup kita. Titik kontaknya ada di dunia bisnis, pengembangan pribadi, SDM, penjualan, pengajaran, kedokteran, telekomunikasi, mobil, infrastruktur, pembinaan, dan banyak lagi.

Apa berikutnya?

NLP, meskipun masih baru lahir dibandingkan dengan data besar dan pembelajaran mendalam, secara luas dianggap sebagai masa depan layanan pelanggan. Ini menjanjikan untuk membuat data lebih ramah pengguna dan percakapan, menjadikannya tiang tenda analitik bisnis. Chatbots, misalnya, akan menjadi lebih canggih dan sehat dengan kemampuan untuk memecahkan kode permintaan yang kompleks dan panjang secara real-time.

Apa yang mungkin berubah mengenai kemampuan NLP saat ini adalah pemahaman bahasa yang bernuansa. NLP masa depan akan memungkinkan pemahaman seluk-beluk dan nada bahasa dan memberikan pengetahuan dan wawasan yang berguna, yang dapat berupa laporan tahunan, transkrip panggilan, komunikasi sensitif investor atau dokumen hukum dan kepatuhan.

Penggunaan NLP yang diperluas juga dapat dilihat di industri robotika, perawatan kesehatan, layanan keuangan, otomotif dan infrastruktur, dengan titik kontak dalam penggunaan sehari-hari. NLP masa depan akan menjadi inti analitik untuk meningkatkan dan mengembangkan bisnis di seluruh dunia.

Jika Anda tertarik untuk mengetahui lebih banyak tentang pemrosesan bahasa alami, lihat program Diploma PG dalam Pembelajaran Mesin dan AI kami yang dirancang untuk para profesional yang bekerja dan menyediakan 30+ studi kasus & tugas, 25+ sesi bimbingan industri, 5+ praktik langsung proyek batu penjuru, lebih dari 450 jam pelatihan yang ketat & bantuan penempatan kerja dengan perusahaan-perusahaan top.