現代生活中語言建模的演變
已發表: 2020-03-04上世紀中葉構想的語言建模如何成為人工智能不可或缺的一部分，並在現代生活中得到實際應用？ 人工智能和計算語言學的這種融合是如何成為我們世界的核心的？ 讓我們了解自然語言處理 (NLP) 的概念及其流行的應用程序，例如聊天機器人、語音命令和虛擬助手，例如 Google Assistant、Siri、Cortana 和亞馬遜的 Alexa。
目錄
什麼是自然語言處理？
簡而言之，NLP 幫助計算機理解、解釋和利用人類的語言，還允許以更細微的方式進行完整的交流。 NLP 借鑒了包括語言學和計算機科學在內的各個學科，並為計算機提供了閱讀文本、聽到語音和解釋大量數據的能力。 自 1950 年代以來，它得到了廣泛的發展，並已成為我們日常生活的一部分。 它可能會繼續為常見問題提供標準和創新的解決方案，從而減少時間、人力和成本。
NLP 的歷史
理論計算機科學和人工智能專家艾倫·圖靈在 1950 年代首先構想了自然語言處理的想法。 他寫了一篇論文闡明了對機器的測試，其中他說如果機器可以使用電傳打印機成為對話的一部分，那麼它也可以被教導如何模仿人類。 重複的模式可以讓機器學習這個行為，之後它可以被認為有能力思考。
1954 年，喬治城大學和 IBM的一項實驗力求將 6 個俄語句子自動翻譯成英語，播下了希望機器翻譯在短時間內成為可能的種子。 然而，直到 1980 年代後期才開發出第一個統計機器翻譯系統（通過統計模型生成的翻譯）。 在 1950-80 年代期間，在構建其他自然語言程序方面取得了進展。
其中， ELIZA在 1960 年代中期佔據了中心舞台。 這是約瑟夫·魏岑鮑姆在麻省理工學院人工智能實驗室開發的一個計算機程序，用於闡明人與機器之間交流的膚淺性。 它揭示了與機器的通信不涉及情境化事件，而只遵循腳本。 然而，用戶將人類的感受歸因於該程序。 ELIZA 為我們現在所知的聊天機器人（也稱為聊天機器人）鋪平了道路，它隨著時間的推移而發展。
1970 年代是將結構化的現實世界信息創建為計算機可理解數據的十年，許多程序在可用技術的基礎上進行了改進。 值得注意的包括PARRY （一個 1972 年的具有情緒反應的聊天機器人），後來， Racter （一個在 1984 年創建的半開玩笑的聊天機器人）和 Jabberwacky （一個 1988 年構思的聊天機器人，旨在以一種有趣的方式模擬人類對話）。
1980 年代是自然語言處理的革命性時期，當時機器學習算法被用於語言處理。 計算能力激增，語言學逐漸簡化。 借助決策樹、語音標記以及專注於統計模型、緩存語言模型和語音識別，結果變得更加可靠。
機器學習的早期成功可以歸功於 IBM 研究院，該研究院先後開發了更複雜的統計模型，包括將所有政府程序翻譯成加拿大和歐盟的所有官方語言。
21世紀引入了表示學習（自動特徵學習）和深度神經網絡式機器學習方法，以實現最先進的結果。 這包括用於捕獲語義和更高級別問題和答案的詞嵌入，催生了神經機器翻譯(NMT)，它使用人工神經網絡來預測單詞序列，在單個集成模型中對整個句子進行建模。
在過去的二十年裡，NLP 探索了更多的神經語言模型、多任務學習、詞嵌入、更高級的神經網絡、序列到序列模型、基於記憶的網絡和預訓練的語言模型。 這種進步導致了諸如智能鍵盤和電子郵件響應建議等應用程序，以支持機器的語音輔助。
現在有一個從自然語言處理 (NLP) 到自然語言理解 (NLU) 的穩步轉變，在這種情況下，與機器有人類情感聯繫的用戶不會是異端。
編碼與統計 NLP
最初，語言處理系統是通過手工編碼設計的，主要是通過編寫語法或設計啟發式規則。 然而，在 1980 年代中期，這變成了機器學習，它使用統計推斷通過分析大量現實世界的示例來自動學習這些規則。 這導致語言處理系統的速度和理解存在明顯差異。
機器學習過程中使用的學習過程會自動關注最常見的情況。 他們可以指出並糾正錯誤的輸入、拼寫錯誤的單詞，並通過算法處理更複雜的任務。 這改變了遊戲規則，並達到了 NLP 可以在全球範圍內廣泛且成功地使用的場景。
要達到可以使用語法歸納、詞形還原、形態分割、語音標記、解析、斷句、詞幹提取、分詞和術語提取來創建使用 NLP 的強大平台的地步，還有很長的路要走。
NLP在現實生活中的應用
1.機器翻譯
NLP 在我們的生活中形成了幾個接觸點，尤其是在過去十年中。 最流行的應用程序之一是機器翻譯，最有名的是谷歌翻譯。 基於 SMT（統計機器翻譯，指基於統計模型生成的機器翻譯），谷歌翻譯不進行逐字翻譯，而是為單詞賦予語義值，以便以連貫的方式進行翻譯。
然而，由於人類語言固有的模糊性和靈活性，這種翻譯並不完全準確。 話雖如此，谷歌翻譯仍然是旅行時最受歡迎的翻譯工具，彌合了語言差距。
2.語音識別
NLP 的另一個示例和相關示例。 語音識別軟件程序允許解碼人聲，可用於移動電話、家庭自動化、免提計算、虛擬輔助、視頻遊戲等。 隨著Google Assistant、Siri 和亞馬遜的 Alexa的出現，我們日常生活中最流行的這種用法已經到來。
這是如何運作的？ 在 Google Assistant 的情況下，語音使用隱馬爾可夫模型 (HMM) 系統轉換為文本。 HMM 系統收聽 10-20 毫秒的口語片段並蒐索音素並將它們與預先錄製的語音進行比較。 理解過程之後是識別語言和上下文。
系統將每個單詞分解為其詞性（名詞、動詞等），然後確定您的訂單的上下文。 然後，它對該命令進行分類並有效地執行任務。 另一方面，Alexa 的功能略有不同。
每次你說什麼，這些話都會回到亞馬遜服務器進行破譯。 該系統依靠龐大的單詞和指令數據庫來評估和執行命令。 例如，如果 Alexa 檢測到諸如“pizza”或“dinner”之類的詞，它會打開一個美食應用程序，或者如果它檢測到“play”這個詞，它將連接到音樂選項。
3. 情緒分析
談及 NLP，情感分析不容忽視。 這也被稱為意見挖掘或情感人工智能，它衡量人們意見的傾向。 它涉及識別文本中的主觀信息，並有許多應用。 品牌監控和聲譽管理是行業中情感分析最常見的用途。
它允許企業跟踪品牌認知、識別趨勢、密切關注影響者及其影響、監控產品或服務的評論、挖掘新想法和變化，並相應地調整營銷策略。 除了品牌認知和客戶意見之外，市場研究是情感分析應用的另一個突出領域。
創建和跟踪用戶生成的內容（評論）、新聞文章、競爭對手內容以及填補市場情報空白通常是情緒分析的子集。 聲譽管理和產品分析是跨行業使用的另一種情感分析應用。 有了這個，品牌可以獲得對其產品的細緻入微的反饋。
基於方面的情感分析是品牌可以有效地使用情感分析的另一種方式。 基於方面的分析方法允許提取有關客戶反饋的最可行的點。 鑑於這些豐富的信息和分析，品牌能夠調整、更新和直接溝通，並相應地更改產品或服務。
4. 虛擬助手
在更成熟的聊天機器人的幫助下，虛擬協助是一種與消費者進行快速有效溝通的現代方法。 在聊天機器人的幫助下，可以輕鬆提供不需要技能的低優先級但高周轉任務。 隨著我們朝著智能聊天機器人的快速發展邁進，用戶和開發人員的信任度和受歡迎程度越來越高，智能聊天機器人將在不久的將來為客戶提供個性化的幫助。
事實上，聊天機器人的應用也推動營銷專業人士更有效地使用虛擬協助，創造適合聊天機器人程序的新廣告和通信格式。
5. 醫療保健
在醫學界，人工智能驅動的初級保健服務涉及解決許多 NLP 任務。 NLP 在醫學中的一些當前用例涉及從大量信息中提取不同的醫學實體，包括症狀、疾病或治療方法。
從非結構化醫學文本中發現知識以繪製模式和關係對於醫療保健專業人員非常有用。 NLP 不僅可用於繪製信息，還可用於傳達相關響應並為具有醫學意識的通信系統創建自動完成功能。
6. 電子郵件系統
2017 年，谷歌推出了SmartReply ，它基於機器學習的能力，可以毫不費力地回復電子郵件。 更快的打字、預測打字、拼寫檢查和語法檢查是其中的一部分。 智能回复掃描傳入消息的文本並建議用戶可以調整和發送的三個基本回复，從而減少簡單或平凡回复所花費的時間。
這完全基於經過訓練的神經網絡，可以分析消息並將其轉換為代表其含義的數字代碼。 在電子郵件系統中，電子郵件分類和垃圾郵件檢測是 NLP 簡化我們生活的其他方式。
7. 搜索行為
搜索行為是我們每天都會遇到的另一個 NLP 支持的方面。 搜索引擎使用 NLP 根據相似的搜索行為或用戶意圖顯示相關結果，因此普通用戶可以輕鬆找到他們需要的內容。 例如，Google 不僅會在個人開始輸入時預測哪些熱門搜索可能適用於他們的查詢，而且還會全面查看顯示相關切線結果的整體情況。
8. 數字電話
當語音錄製的營銷信息與您交談時，數字電話似乎是一天中的侵入性部分，但這是聯繫大量人員並迅速解決問題的絕佳媒介。 NLP 使計算機生成的語言接近人類的聲音，它可以從消費者那裡收集信息並執行簡單的任務，例如傳遞信息和預約。
9. 智能家居
車內語音命令，例如鎖門、搖下車窗或播放某些音樂，只是 NLP 在汽車行業啟用的一些功能。 在自動化領域，家庭自動化也與 NLP 密切相關，其中關閉或打開百葉窗、燈和電器的語音命令是“智能家居”的核心。
這些只是我們在生活中遇到的眾多 NLP 用法中的一小部分。 接觸點在商業、個人發展、人力資源、銷售、教學、醫藥、電信、汽車、基礎設施、教練等領域。
下一步是什麼？
NLP 雖然與大數據和深度學習相比仍處於初期階段，但被廣泛認為是客戶服務的未來。 它承諾使數據更加用戶友好和對話，使其成為業務分析的支柱。 例如，聊天機器人將更加複雜和健康，能夠實時解碼複雜和長格式的請求。
當前的 NLP 能力可能會發生變化的是對語言的細緻入微的理解。 未來的 NLP 將有助於理解語言的微妙之處和語氣，並提供有用的知識和見解，這些知識和見解可能在年度報告、電話記錄、投資者敏感通信或法律和合規文件領域。
在機器人、醫療保健、金融服務、汽車和基礎設施行業也可以看到 NLP 的擴展使用，在日常使用中都有接觸點。 未來的 NLP 將成為分析的核心，以增強和發展全球業務。
如果您有興趣了解有關自然語言處理的更多信息，請查看我們的機器學習和人工智能 PG 文憑課程，該課程專為在職專業人士設計，並提供 30 多個案例研究和作業、25 多個行業指導課程、5 多個實踐實踐頂石項目，超過 450 小時的嚴格培訓和頂級公司的就業幫助。