感情分析の正確さの4つの落とし穴

公開: 2022-03-11

人々はフォーラム、ソーシャルネットワーク、ブログ、その他のプラットフォームを使用して意見を共有しているため、膨大な量のデータが生成されます。一方、ユーザーや消費者は、購入する製品や視聴する映画を知りたいので、レビューを読んでそれに応じて決定を下そうとします。

ユーザーが生成したデータに関する情報を手動で収集するには時間がかかります。そのため、ますます多くの企業や組織が、自動感情分析手法を理解するのに役立てることに関心を持っています。

感情分析とは何ですか？

感情分析は、一般的に言語の手がかりを使用して、人々の意見や感情を研究するプロセスです。一見、テキスト分類の問題ですが、深く掘り下げると、感情分析の精度に深刻な影響を与える困難な問題がたくさんあることがわかります。以下では、一般的な感情分析の問題に取り組む際に直面するいくつかの落とし穴について説明します。

皮肉と皮肉
否定の種類
単語のあいまいさ
多極性

各トピックを調べて、説明されている問題が感情分類器の品質にどのように影響するか、およびそれらを解決するためにどのテクノロジーを使用できるかを理解しようとします。

感情分析の課題1：皮肉の検出

皮肉なテキストでは、人々は肯定的な言葉を使用して否定的な感情を表現します。この事実により、皮肉は、その可能性を考慮に入れるように特別に設計されていない限り、感情分析モデルを簡単にだますことができます。

皮肉は、Facebookのコメント、ツイートなどのユーザー生成コンテンツで最も頻繁に発生します。感情分析での皮肉の検出は、状況のコンテキスト、特定のトピック、および環境を十分に理解していないと、非常に困難です。

機械だけでなく、人間にとっても理解しにくいことがあります。皮肉な文章で使用される単語の継続的な変化は、感情分析モデルをうまく訓練することを困難にします。皮肉を利用できるようにするには、共通のトピック、興味、歴史的情報を2人で共有する必要があります。

まず、皮肉が広く研究されている言語学の観点から皮肉を見てみましょう。この分野で最も引用されている研究の1つで、著者のエリザベスキャンプは次の4種類の皮肉を提案しています。

命題：皮肉は非感情的な命題のように見えますが、暗黙の感情が関係しています。
埋め込まれている：皮肉には、単語やフレーズ自体の形で感情の不一致が埋め込まれています。
Like-prefixed：like-phraseは、行われている引数の暗黙の拒否を提供します。
発語内交：皮肉に寄与する非発話行為（ボディーランゲージ、ジェスチャー）。

エリザベスキャンプの4種類の皮肉：命題（「これは完璧な計画のように見えます！」）、埋め込み（「無視されるのが大好き」）、接頭辞のように（「彼らが言う言葉を信じているように」）、発語内行為「（肩をすくめる）本当にとても役に立ちました！」

キャンプの研究は2012年に発表されました。2017年、スタンフォード大学の研究者は、「論文を書くのに2時間かかるのは楽しいです！」という非常に興味深い研究を発表しました。テキストの数値部分で皮肉を検出し、数値と呼ばれる別の種類の皮肉について話しました。皮肉。数値的な皮肉は、ソーシャルネットワークで非常に頻繁に発生します。その背後にある考え方は、テキストの極性に影響を与える数値の変化に関連しています。例えば：

「この電話は38時間の素晴らしいバッテリーバックアップを備えています。」（非皮肉）
「この電話には2時間の素晴らしいバッテリーバックアップがあります。」（皮肉な）

「外は+25で、とても暑いです。」（非皮肉）
「外は-25で、とても暑いです。」（皮肉な）

「私たちはとてもゆっくりと運転しました---時速20kmしかありません。」（非皮肉）
「私たちはとてもゆっくりと運転しました---時速160kmしかありません。」（皮肉な）

ご覧のとおり、これらの文は使用される数だけが異なります。つまり、数値の皮肉です。

自動皮肉検出には、次のようなさまざまなアプローチがあります。

ルールベース
統計
機械学習アルゴリズム
ディープラーニング

ディープラーニングに基づくアプローチが人気を集めています。 Kumar、Somani、およびBhattacharyyaは、2017年に、特定の深層学習モデル（CNN-LSTM-FFアーキテクチャ）が以前のアプローチよりも優れており、数値的な皮肉検出の精度が最高レベルに達していると結論付けました。

しかし、ディープニューラルネットワーク（DNN）は、数値的な皮肉に最適であるだけでなく、他の皮肉検出器のアプローチよりも一般的に優れていました。 GhoshとVealeは、2016年の論文で、畳み込みニューラルネットワーク、長短期記憶（LSTM）ネットワーク、およびDNNを組み合わせて使用しています。彼らは、彼らのアプローチを再帰的サポートベクターマシン（SVM）と比較し、彼らの深層学習アーキテクチャはそのようなアプローチよりも改善されていると結論付けています。

感情分析の課題2：否定の検出

言語学では、否定は単語、句、さらには文の極性を逆転させる方法です。研究者はさまざまな言語規則を使用して否定が発生しているかどうかを識別しますが、否定語の影響を受ける単語の範囲を判別することも重要です。

影響を受ける単語の範囲に固定サイズはありません。たとえば、「ショーは面白くなかった」という文では、スコープは否定語の次の単語のみです。しかし、「私はこの映画をコメディ映画とは呼びません」のような文の場合、否定語「not」の効果は文の終わりまでです。正または負の単語が否定の範囲内にある場合、単語の元の意味が変わります。その場合、反対の極性が返されます。

文中の否定を処理するための最も簡単なアプローチは、ほとんどの最先端の感情分析手法で使用されており、否定キューから次の句読点トークンまでのすべての単語を否定としてマークすることです。さまざまなコンテキストでの言語の特定の構成により、否定モデルの有効性を変更できます。

文中で否定的な意見を表現するためのいくつかの形式があります：

否定は、接頭辞（ "dis-"、 "non-"）または接尾辞（ "-less"）のいずれかで示される形態論的である可能性があります。
「この行為では、彼の最初で最後の映画になります」のように、否定は暗黙的に示される可能性があります。否定的な感情が込められていますが、否定的な言葉は使用されていません。
「これは良くない」のように、否定は明示的にすることができます。

記述された否定のタイプが異なるサンプルがあると、否定内の感情分類モデルをトレーニングおよびテストするためのデータセットの品質が向上します。リカレントニューラルネットワーク（RNN）に関する最新の研究によると、 LSTMモデルのさまざまなアーキテクチャは、文の否定のタイプを検出する他のすべてのアプローチよりも優れています。

論文「感情分析における否定の影響」では、感情分析モデルが、AmazonおよびTrustedreviews.comから収集された500件のレビューを評価しました。著者は、否定検出がある場合とない場合のモデルの比較を示しています。彼らの評価は、否定を考慮することでモデルの精度を大幅に向上させる方法を示しています。

感情分析の課題3：単語のあいまいさ

単語のあいまいさは、感情分析の問題に取り組む際に直面するもう1つの落とし穴です。単語のあいまいさの問題は、一部の単語の極性が文の文脈に強く依存しているため、極性を事前に定義できないことです。

レキシコンベースの感情分析アプローチは、既存の方法の中で人気があります。オピニオンレキシコンには、極性値を持つオピニオンワードが含まれています。インターネット上には、SentiWordNet、General Inquirer、SenticNetなどの世論用語集があります。単語の極性はドメインによって異なるため、すべての単語に極性を持つユニバーサルオピニオンレキシコンを開発することは不可能です。例えば：

「話は予測できません。」
「ハンドルは予測できません。」

これらの2つの例は、コンテキストが意見の単語の感情にどのように影響するかを示しています。最初の例では、「予測不可能」という単語の極性が正として予測されます。第二に、同じ単語の極性は負です。

感情分析の課題4：多極性

場合によっては、特定の文やドキュメント、または分析したいテキストの単位が多極性を示すことがあります。このような場合、分析の結果全体だけを持っていると誤解を招く可能性があります。これは、平均が、分析に含まれるすべての数値に関する貴重な情報を隠してしまう場合と非常によく似ています。

著者が記事やレビューでさまざまな人、製品、または会社（またはそれらの側面）について話しているときの写真。 1つのテキストの中で、一部の主題が批判され、一部が賞賛されることはよくあることです。

ここでは、全体的な感情の極性に重要な情報がありません。これが、感情ラベルが割り当てられた文のすべてのエンティティまたはアスペクトを抽出し、必要な場合にのみ全体の極性を計算する必要がある理由です。

複数の極性で構成される例を考えてみましょう。「新しいラップトップの音質はとてもクールですが、ディスプレイの色はあまり良くありません。」

一部の感情分析モデルでは、この文に負または中立の極性が割り当てられます。このような状況に対処するには、感情分析モデルで文の各側面に極性を割り当てる必要があります。ここで、「オーディオ」は正極性が割り当てられたアスペクトであり、「ディスプレイ」は負極性の別のアスペクトです。

このアプローチのより詳細な説明については、スタンフォード大学のBoWanfとMinLiuによる、興味深く有用な論文「アスペクトベースの感情分析のためのディープラーニング」をお勧めします。

感情分析の精度の向上：これらはエッジケースではありません

この記事では、感情分析分類の一般的な問題である皮肉、否定、単語のあいまいさ、および多極性について説明しました。これらのそれぞれについて知ることは、起こりうる問題を回避するのに役立ちます。これまでに説明した状況を考慮に入れると、分類モデルの感情分析の精度が大幅に向上します。この記事がこのトピックの入門書として役立つことを願っています。

関連：事前にトレーニングされたモデルを最大限に活用する