現代生活における言語モデリングの進化
公開: 2020-03-04前世紀の半ばに考案された言語モデリングは、どのようにして人工知能の不可欠な部分となり、現代の生活に実用化されたのでしょうか。 人工知能と計算言語学のこのブレンドは、どのようにして私たちの世界の中核になりましたか？ 自然言語処理（NLP）の概念と、チャットボット、音声コマンド、Googleアシスタント、Siri、Cortana、AmazonのAlexaなどの仮想アシスタントなどの人気のあるアプリケーションに沿って旅してみましょう。
目次
NLPとは何ですか？
簡単に言うと、NLPは、コンピューターが人間の舌を理解、解釈、利用するのに役立ち、より微妙な方法で完全なコミュニケーションを可能にします。 NLPは、言語学やコンピューターサイエンスなどのさまざまな分野を利用しており、コンピューターにテキストを読んだり、音声を聞いたり、膨大な量のデータを解釈したりする機能を提供します。 1950年代から大きく進化し、私たちの日常生活の一部となっています。 一般的な問題に対して標準的で革新的なソリューションを提供し続け、時間、人的労力、およびコストを削減する可能性があります。
NLPの歴史
理論計算機科学および人工知能の専門家であるAlanTuringは、1950年代に自然言語処理のアイデアを最初に考案しました。 彼は、機械のテストを説明する論文を書きました。そこでは、機械がテレプリンターを使用した会話の一部になることができれば、人間を模倣する方法も教えることができると述べました。 繰り返されるパターンは、機械がこの行為を学習することを可能にし、その後、それは考えることができると見なされる可能性があります。
1954年、ジョージタウン大学とIBMによる実験により、ロシア語の6つの文が自動的に英語に翻訳され、機械翻訳が短期間で可能になるという希望の種が植えられました。 しかし、最初の統計的機械翻訳システム（統計モデルを介して生成された翻訳）が開発されたのは1980年代後半になってからでした。 1950年代から80年代にかけて、他の自然言語プログラムの構築が進歩しました。
これらのうち、 ELIZAは1960年代半ばに中心的な舞台となりました。 これは、人間と機械の間のコミュニケーションの表面性を解明するために、ジョセフ・ワイゼンバウムによってMIT人工知能研究所で開発されたコンピュータープログラムでした。 マシンとの通信にはコンテキスト化イベントが含まれず、スクリプトに従うだけであることが明らかになりました。 それでも、ユーザーは人間の感情をプログラムに帰した。 ELIZAは、時間の経過とともに進化したチャットボット（チャットボットとも呼ばれます）として現在知られているものへの道を開きました。
1970年代は、構造化された実世界の情報をコンピューターが理解できるデータに作成する10年であり、多くのプログラムが利用可能なテクノロジーを改良しました。 注目すべきものには、 PARRY （感情的な反応を伴う1972年のチャットボット）、そしてその後、 Racter （1984年に作成された冗談のチャットボット）とJabberwacky （1988年に考案されたチャットボットで、人間の会話を面白い方法でシミュレートすることを目的とした）が含まれます。
1980年代は、機械学習アルゴリズムが言語処理に使用されたとき、自然言語処理において革命的でした。 計算能力が急上昇し、言語学が徐々に単純化されました。 決定木、音声タグ付け、統計モデル、キャッシュ言語モデル、音声認識に焦点を当てることで、結果の信頼性が高まりました。
機械学習の初期の成功は、IBM Researchに起因する可能性があります。IBMResearchでは、すべての政府の手続きをカナダと欧州連合のすべての公用語に翻訳するなど、より複雑な統計モデルが開発されました。
21世紀には、表現学習（自動特徴学習）とディープニューラルネットワークスタイルの機械学習手法が導入され、最先端の結果が得られました。 これには、セマンティクスと高レベルの質問と回答をキャプチャするための単語の埋め込みが含まれ、人工ニューラルネットワークを使用して単語のシーケンスを予測し、単一の統合モデルで文全体をモデル化するニューラル機械翻訳（NMT）が誕生します。
過去20年以内に、NLPは、より多くのニューラル言語モデル、マルチタスク学習、単語の埋め込み、より高度なニューラルネットワーク、シーケンス間モデル、メモリベースのネットワーク、および事前にトレーニングされた言語モデルを調査してきました。 この進歩により、インテリジェントキーボードや、機械による音声対応支援への電子メール応答提案などのアプリケーションが生まれました。
現在、自然言語処理（NLP）から自然言語理解（NLU）への着実な移行があり、機械と人間の感情的なつながりを持つユーザーは異端ではありません。
コーディングと統計的NLP
当初、言語処理システムは、基本的に文法を記述したり、ヒューリスティックなルールを考案したりすることにより、手動でコーディングすることによって設計されていました。 ただし、1980年代半ばに、これは機械学習に変わりました。機械学習では、統計的推論を使用して、実世界の多数の例の分析を通じてこれらのルールを自動的に学習しました。 これにより、言語処理システムの速度と理解に明らかな違いが生じました。
機械学習中に使用される学習手順は、最も一般的なケースに自動的に焦点を合わせました。 彼らは、誤った入力を指摘して修正し、単語のスペルを間違え、アルゴリズムを介してより複雑なタスクを処理する可能性があります。 これはゲームチェンジャーであり、NLPを世界規模で広く成功裏に使用できるシナリオに到達しました。
文法誘導、レンマ化、形態論的セグメンテーション、音声タグ付け、構文解析、文の分割、ステミング、単語セグメンテーション、および用語抽出を使用して、NLPを使用するための堅牢なプラットフォームを作成できるようになるまでには長い道のりがありました。
実生活でのNLPアプリケーション
1.機械翻訳
NLPは、特に過去10年間に、私たちの生活の中でいくつかのタッチポイントを開発してきました。 最も人気のあるアプリケーションの1つは、 Google翻訳として最もよく知られている機械翻訳です。 SMT（統計的機械翻訳。統計モデルに基づいて生成された機械翻訳を指します）に基づいて、Google翻訳は単語ごとの翻訳を行いませんが、一貫した方法で翻訳するために単語に意味値を割り当てます。
ただし、人間の言語に固有のあいまいさと柔軟性のために、そのような翻訳は完全に正確ではありません。 そうは言っても、Google翻訳は今でも旅行中の翻訳に使用される最も人気のあるツールであり、言語のギャップを埋めています。
2.音声認識
NLPのもう1つの例示的で関連性のある例。 音声認識ソフトウェアプログラムを使用すると、人間の声をデコードできます。これは、携帯電話、ホームオートメーション、ハンズフリーコンピューティング、仮想支援、ビデオゲームなどで使用できます。 私たちの日常生活でこれを最もよく使用するのは、 Googleアシスタント、Siri、AmazonのAlexaの登場です。
これはどのように作動しますか？ Googleアシスタントの場合、隠れマルコフモデル（HMM）システムを使用して音声がテキストに変換されます。 HMMシステムは、話された単語の10〜20ミリ秒のクリップをリッスンし、音素を検索して、事前に録音された音声と比較します。 理解のプロセスに続いて、言語と文脈を特定します。
システムは、各単語を品詞（名詞、動詞など）に分解してから、注文のコンテキストを決定します。 次に、このコマンドを分類し、タスクを効果的に実行します。 一方、Alexaの機能は少し異なります。
あなたが何かを言うたびに、その言葉は解読されるためにAmazonサーバーに戻ります。 システムは、コマンドを評価して実行するために、単語と命令の大規模なデータベースに依存しています。 たとえば、Alexaが「ピザ」や「ディナー」などの単語を検出した場合はフードアプリを開き、「再生」という単語を検出した場合は音楽オプションに接続します。
3.感情分析
NLPについて話すとき、感情分析は無視できません。 これは、意見マイニングまたは感情AIとも呼ばれ、人々の意見の傾向を測定します。 これは、テキスト内の主観的な情報を識別することを含み、多くのアプリケーションがあります。 ブランドの監視と評判の管理は、業界での感情分析の最も一般的な使用法です。
これにより、企業はブランドの認識を追跡し、傾向を特定し、インフルエンサーとその影響を把握し、製品またはサービスのレビューを監視し、新しいアイデアやバリエーションを探し、それに応じてマーケティング戦略を微調整することができます。 ブランドの認識と顧客の意見とは別に、市場調査は感情分析アプリケーションのもう1つの著名な分野です。
ユーザー生成コンテンツ（レビュー）、ニュース記事、競合他社のコンテンツの作成と追跡、および市場インテリジェンスのギャップを埋めることは、多くの場合、感情分析のサブセットです。 評判管理と製品分析は、業界全体で使用される感情分析のさらに別のアプリケーションです。 これにより、ブランドは自社製品に関する微妙なフィードバックを得ることができます。
アスペクトベースの感情分析は、ブランドが感情分析を生産的に使用できるもう1つの方法です。 アスペクトベースの分析アプローチにより、顧客のフィードバックに関して最も実行可能なポイントを抽出できます。 この豊富な情報と分析により、ブランドはコミュニケーションを微調整、更新、および指示し、それに応じて製品またはサービスに変更を加えることができます。
4.仮想アシスタント
より成熟したチャットボットの助けを借りた仮想支援は、消費者との迅速かつ効果的なコミュニケーションに向けた現代のアプローチです。 スキルを必要としない、優先度は低いが離職率の高いタスクは、チャットボットの助けを借りて簡単に提供できます。 近い将来、顧客に個別の支援を提供するインテリジェントなチャットボットの急速な進化に向けて、ユーザーと開発者の間で信頼と人気が高まっています。
実際、チャットボットのアプリケーションにより、マーケティングプロフェッショナルは仮想支援をより生産的に使用するようになり、チャットボットプログラムに適合する新しい形式の広告とコミュニケーションが作成されました。
5.ヘルスケア
医療の世界では、AIを活用したプライマリケアサービスには、多くのNLPタスクの解決が含まれます。 医療におけるNLPの現在の使用例のいくつかは、大量の情報からの症状、病気、または治療を含む、さまざまな医療機関の抽出を含みます。
パターンや関係を描くための非構造化医療テキストからの知識発見は、医療専門家にとって非常に役立ちます。 NLPを使用して情報を引き出すことができるだけでなく、関連する応答を伝達したり、医学的に認識された通信システムのオートコンプリート機能を作成したりするためにも使用できます。
6.電子メールシステム
2017年、Googleは、機械学習ベースの優れたスキルであるSmartReplyを公開し、わずかな労力でメールに返信しました。 より高速なタイピング、予測タイピング、スペルチェック、文法チェックはこの一部です。 Smart Replyは、着信メッセージのテキストをスキャンし、ユーザーが微調整して送信できる3つの基本的な応答を提案し、単純な応答またはありふれた応答にかかる時間を短縮します。
これは、メッセージを分析し、メッセージを意味を表す数値コードに変換するようにトレーニングされたニューラルネットワークに完全に基づいています。 電子メールシステム内では、電子メールの分類とスパム検出は、NLPが私たちの生活を簡素化した他の方法です。
7.検索動作
検索動作は、私たちが日常的に遭遇するもう1つのNLPに裏打ちされた側面です。 検索エンジンはNLPを使用して、同様の検索行動やユーザーの意図に基づいて関連する結果を表示するため、平均的なユーザーは必要なものを簡単に見つけることができます。 たとえば、Googleは、人気のある検索が入力を開始するときに個人のクエリにどのように適用されるかを予測するだけでなく、関連する接線方向の結果を包括的に示す全体像を調べます。
8.デジタル電話
音声録音されたマーケティングメッセージがあなたに話しかけるとき、デジタル電話は一日の邪魔な部分のように見えるかもしれませんが、これは多くの人々に到達し、問題を迅速に解決するための素晴らしい媒体です。 NLPは、人間の声に近いコンピューター生成言語を可能にし、消費者から情報を収集し、情報の中継や予約などの簡単なタスクを実行できます。
9.スマートホーム
ドアのロック、窓のロールダウン、特定の音楽の再生などの車載音声コマンドは、NLPが自動車業界で有効にした機能のほんの一部です。 自動化の分野では、ホームオートメーションはNLPとも密接に関連しており、ブラインド、ライト、電化製品を開閉する音声コマンドが「スマートホーム」の中核を成しています。
これらは、私たちが生活の中で遭遇する多くのNLPの使用法のほんの一部です。 タッチポイントは、ビジネス、自己啓発、人材育成、販売、教育、医学、電気通信、自動車、インフラストラクチャ、コーチングなどの世界にあります。
次は何ですか？
NLPは、ビッグデータやディープラーニングと比較するとまだ初期段階ですが、カスタマーサービスの未来と広く見なされています。 データをよりユーザーフレンドリーで会話型にすることを約束し、ビジネス分析のテントポールにします。 たとえば、チャットボットはさらに洗練されて健全になり、複雑で長い形式のリクエストをリアルタイムでデコードできるようになります。
現在のNLP能力に関して変更される可能性が高いのは、言語の微妙な理解です。 将来のNLPは、言語の微妙さとトーンを理解することを可能にし、年次報告書、電話記録、投資家に配慮したコミュニケーション、または法律およびコンプライアンス文書の分野にある可能性のある有用な知識と洞察を提供します。
NLPの使用の拡大は、ロボット工学、ヘルスケア、金融サービス、自動車、インフラストラクチャー業界でも見られ、日常的に使用されるタッチポイントがあります。 将来のNLPは、世界中のビジネスを強化および成長させるための分析の中核となるでしょう。
自然言語処理について詳しく知りたい場合は、機械学習とAIプログラムのPGディプロマをチェックしてください。このプログラムは、働く専門家向けに設計されており、30以上のケーススタディと課題、25以上の業界メンターシップセッション、5以上の実践的なハンズオンを提供します。キャップストーンプロジェクト、450時間以上の厳格なトレーニングとトップ企業との就職支援。