现代生活中语言建模的演变
已发表: 2020-03-04上世纪中叶构想的语言建模如何成为人工智能不可或缺的一部分，并在现代生活中得到实际应用？ 人工智能和计算语言学的这种融合是如何成为我们世界的核心的？ 让我们了解自然语言处理 (NLP) 的概念及其流行的应用程序，例如聊天机器人、语音命令和虚拟助手，例如 Google Assistant、Siri、Cortana 和亚马逊的 Alexa。
目录
什么是自然语言处理？
简而言之，NLP 帮助计算机理解、解释和利用人类的语言，还允许以更细微的方式进行完整的交流。 NLP 借鉴了包括语言学和计算机科学在内的各个学科，并为计算机提供了阅读文本、听到语音和解释大量数据的能力。 自 1950 年代以来，它得到了广泛的发展，并已成为我们日常生活的一部分。 它可能会继续为常见问题提供标准和创新的解决方案，从而减少时间、人力和成本。
NLP 的历史
理论计算机科学和人工智能专家艾伦·图灵在 1950 年代首先构想了自然语言处理的想法。 他写了一篇论文阐明了对机器的测试，其中他说如果机器可以使用电传打印机成为对话的一部分，那么它也可以被教导如何模仿人类。 重复的模式可以让机器学习这个行为，之后它可以被认为有能力思考。
1954 年，乔治城大学和 IBM的一项实验力求将 6 个俄语句子自动翻译成英语，播下了希望机器翻译在短时间内成为可能的种子。 然而，直到 1980 年代后期才开发出第一个统计机器翻译系统（通过统计模型生成的翻译）。 在 1950-80 年代期间，在构建其他自然语言程序方面取得了进展。
其中， ELIZA在 1960 年代中期占据了中心舞台。 这是约瑟夫·魏岑鲍姆在麻省理工学院人工智能实验室开发的一个计算机程序，用于阐明人与机器之间交流的肤浅性。 它揭示了与机器的通信不涉及情境化事件，而只遵循脚本。 然而，用户将人类的感受归因于该程序。 ELIZA 为我们现在所知的聊天机器人（也称为聊天机器人）铺平了道路，它随着时间的推移而发展。
1970 年代是将结构化的现实世界信息创建为计算机可理解数据的十年，许多程序在可用技术的基础上进行了改进。 值得注意的包括PARRY （一个 1972 年的具有情绪反应的聊天机器人），后来， Racter （一个在 1984 年创建的半开玩笑的聊天机器人）和 Jabberwacky （一个 1988 年构思的聊天机器人，旨在以一种有趣的方式模拟人类对话）。
1980 年代是自然语言处理的革命性时期，当时机器学习算法被用于语言处理。 计算能力激增，语言学逐渐简化。 借助决策树、语音标记以及专注于统计模型、缓存语言模型和语音识别，结果变得更加可靠。
机器学习的早期成功可以归功于 IBM 研究院，该研究院先后开发了更复杂的统计模型，包括将所有政府程序翻译成加拿大和欧盟的所有官方语言。
21世纪引入了表示学习（自动特征学习）和深度神经网络式机器学习方法，以实现最先进的结果。 这包括用于捕获语义和更高级别问题和答案的词嵌入，催生了神经机器翻译(NMT)，它使用人工神经网络来预测单词序列，在单个集成模型中对整个句子进行建模。
在过去的二十年里，NLP 探索了更多的神经语言模型、多任务学习、词嵌入、更高级的神经网络、序列到序列模型、基于记忆的网络和预训练的语言模型。 这种进步导致了诸如智能键盘和电子邮件响应建议等应用程序，以支持机器的语音辅助。
现在有一个从自然语言处理 (NLP) 到自然语言理解 (NLU) 的稳步转变，在这种情况下，与机器有人类情感联系的用户不会是异端。
编码与统计 NLP
最初，语言处理系统是通过手工编码设计的，主要是通过编写语法或设计启发式规则。 然而，在 1980 年代中期，这变成了机器学习，它使用统计推断通过分析大量现实世界的示例来自动学习这些规则。 这导致语言处理系统的速度和理解存在明显差异。
机器学习过程中使用的学习过程会自动关注最常见的情况。 他们可以指出并纠正错误的输入、拼写错误的单词，并通过算法处理更复杂的任务。 这改变了游戏规则，并达到了 NLP 可以在全球范围内广泛且成功地使用的场景。
要达到可以使用语法归纳、词形还原、形态分割、语音标记、解析、断句、词干提取、分词和术语提取来创建使用 NLP 的强大平台的地步，还有很长的路要走。
NLP在现实生活中的应用
1.机器翻译
NLP 在我们的生活中形成了几个接触点，尤其是在过去十年中。 最流行的应用程序之一是机器翻译，最有名的是谷歌翻译。 基于 SMT（统计机器翻译，指基于统计模型生成的机器翻译），Google Translate 不进行逐字翻译，而是为单词赋予语义值，以便以连贯的方式进行翻译。
然而，由于人类语言固有的模糊性和灵活性，这种翻译并不完全准确。 话虽如此，谷歌翻译仍然是旅行时最受欢迎的翻译工具，弥合了语言差距。
2.语音识别
NLP 的另一个示例和相关示例。 语音识别软件程序允许解码人声，可用于移动电话、家庭自动化、免提计算、虚拟辅助、视频游戏等。 随着Google Assistant、Siri 和亚马逊的 Alexa的出现，我们日常生活中最流行的这种用法已经到来。
这是如何运作的？ 在 Google Assistant 的情况下，语音使用隐马尔可夫模型 (HMM) 系统转换为文本。 HMM 系统收听 10-20 毫秒的口语片段并搜索音素并将它们与预先录制的语音进行比较。 理解过程之后是识别语言和上下文。
系统将每个单词分解为其词性（名词、动词等），然后确定您的订单的上下文。 然后，它对该命令进行分类并有效地执行任务。 另一方面，Alexa 的功能略有不同。
每次你说什么，这些话都会回到亚马逊服务器进行破译。 该系统依靠庞大的单词和指令数据库来评估和执行命令。 例如，如果 Alexa 检测到诸如“pizza”或“dinner”之类的词，它会打开一个美食应用程序，或者如果它检测到“play”这个词，它将连接到音乐选项。
3. 情绪分析
谈及 NLP，情感分析不容忽视。 这也被称为意见挖掘或情感人工智能，它衡量人们意见的倾向。 它涉及识别文本中的主观信息，并有许多应用。 品牌监控和声誉管理是行业中情感分析最常见的用途。
它允许企业跟踪品牌认知、识别趋势、密切关注影响者及其影响、监控产品或服务的评论、挖掘新想法和变化，并相应地调整营销策略。 除了品牌认知和客户意见之外，市场研究是情感分析应用的另一个突出领域。
创建和跟踪用户生成的内容（评论）、新闻文章、竞争对手内容以及填补市场情报空白通常是情绪分析的子集。 声誉管理和产品分析是跨行业使用的另一种情感分析应用。 有了这个，品牌可以获得对其产品的细致入微的反馈。
基于方面的情感分析是品牌可以有效地使用情感分析的另一种方式。 基于方面的分析方法允许提取有关客户反馈的最可行的点。 鉴于这些丰富的信息和分析，品牌能够调整、更新和直接沟通，并相应地更改产品或服务。
4. 虚拟助手
在更成熟的聊天机器人的帮助下，虚拟协助是一种与消费者进行快速有效沟通的现代方法。 在聊天机器人的帮助下，可以轻松提供不需要技能的低优先级但高周转任务。 随着我们朝着智能聊天机器人的快速发展迈进，用户和开发人员的信任度和受欢迎程度越来越高，智能聊天机器人将在不久的将来为客户提供个性化的帮助。
事实上，聊天机器人的应用也推动营销专业人士更有效地使用虚拟协助，创造适合聊天机器人程序的新广告和通信格式。
5. 医疗保健
在医学界，人工智能驱动的初级保健服务涉及解决许多 NLP 任务。 NLP 在医学中的一些当前用例涉及从大量信息中提取不同的医学实体，包括症状、疾病或治疗方法。
从非结构化医学文本中发现知识以绘制模式和关系对于医疗保健专业人员非常有用。 NLP 不仅可用于绘制信息，还可用于传达相关响应并为具有医学意识的通信系统创建自动完成功能。
6. 电子邮件系统
2017 年，谷歌推出了SmartReply ，它基于机器学习的能力，可以毫不费力地回复电子邮件。 更快的打字、预测打字、拼写检查和语法检查是其中的一部分。 智能回复扫描传入消息的文本并建议用户可以调整和发送的三个基本回复，从而减少简单或平凡回复所花费的时间。
这完全基于经过训练的神经网络，可以分析消息并将其转换为代表其含义的数字代码。 在电子邮件系统中，电子邮件分类和垃圾邮件检测是 NLP 简化我们生活的其他方式。
7. 搜索行为
搜索行为是我们每天都会遇到的另一个 NLP 支持的方面。 搜索引擎使用 NLP 根据相似的搜索行为或用户意图显示相关结果，因此普通用户可以轻松找到他们需要的内容。 例如，Google 不仅会在个人开始输入时预测哪些热门搜索可能适用于他们的查询，而且还会全面查看显示相关切线结果的整体情况。
8. 数字电话
当语音录制的营销信息与您交谈时，数字电话似乎是一天中的侵入性部分，但这是联系大量人员并迅速解决问题的绝佳媒介。 NLP 使计算机生成的语言接近人类的声音，它可以从消费者那里收集信息并执行简单的任务，例如传递信息和预约。
9. 智能家居
车内语音命令，例如锁门、摇下车窗或播放某些音乐，只是 NLP 在汽车行业启用的一些功能。 在自动化领域，家庭自动化也与 NLP 密切相关，其中关闭或打开百叶窗、灯和电器的语音命令是“智能家居”的核心。
这些只是我们在生活中遇到的众多 NLP 用法中的一小部分。 接触点在商业、个人发展、人力资源、销售、教学、医药、电信、汽车、基础设施、教练等领域。
下一步是什么？
NLP 虽然与大数据和深度学习相比仍处于初期阶段，但被广泛认为是客户服务的未来。 它承诺使数据更加用户友好和对话，使其成为业务分析的支柱。 例如，聊天机器人将更加复杂和健康，能够实时解码复杂和长格式的请求。
当前的 NLP 能力可能会发生变化的是对语言的细致入微的理解。 未来的 NLP 将有助于理解语言的微妙之处和语气，并提供有用的知识和见解，这可能在年度报告、电话记录、投资者敏感通信或法律和合规文件领域。
在机器人、医疗保健、金融服务、汽车和基础设施行业也可以看到 NLP 的扩展使用，在日常使用中都有接触点。 未来的 NLP 将成为分析的核心，以增强和发展全球业务。
如果您有兴趣了解有关自然语言处理的更多信息，请查看我们的机器学习和人工智能 PG 文凭课程，该课程专为在职专业人士设计，并提供 30 多个案例研究和作业、25 多个行业指导课程、5 多个实践实践顶石项目，超过 450 小时的严格培训和顶级公司的就业帮助。