Vier Fallstricke der Genauigkeit der Stimmungsanalyse

Menschen nutzen Foren, soziale Netzwerke, Blogs und andere Plattformen, um ihre Meinung zu teilen, und erzeugen dabei eine riesige Datenmenge. In der Zwischenzeit möchten Benutzer oder Verbraucher wissen, welches Produkt sie kaufen oder welchen Film sie ansehen sollen, also lesen sie auch Rezensionen und versuchen, ihre Entscheidungen entsprechend zu treffen.

Das manuelle Sammeln von Informationen über benutzergenerierte Daten ist zeitaufwändig. Aus diesem Grund interessieren sich immer mehr Unternehmen und Organisationen für automatische Stimmungsanalysemethoden, um sie besser zu verstehen.

Was ist Stimmungsanalyse?

Stimmungsanalyse ist der Prozess der Untersuchung der Meinungen und Emotionen von Menschen, im Allgemeinen unter Verwendung von Sprachhinweisen. Auf den ersten Blick ist es nur ein Textklassifizierungsproblem, aber wenn wir tiefer eintauchen, werden wir feststellen, dass es viele herausfordernde Probleme gibt, die die Genauigkeit der Stimmungsanalyse ernsthaft beeinträchtigen. Im Folgenden werde ich einige Fallstricke untersuchen, denen Sie bei der Arbeit an dem allgemeinen Stimmungsanalyseproblem gegenüberstehen:

1. Ironie und Sarkasmus
2. Arten von Negationen
3. Mehrdeutigkeit des Wortes
4. Multipolarität

Wir werden jedes Thema durchgehen und versuchen zu verstehen, wie sich die beschriebenen Probleme auf die Qualität der Stimmungsklassifikatoren auswirken und welche Technologien verwendet werden können, um sie zu lösen.

Stimmungsanalyse Herausforderung Nr. 1: Sarkasmuserkennung

In sarkastischen Texten drücken Menschen ihre negativen Gefühle mit positiven Worten aus. Diese Tatsache ermöglicht es Sarkasmus, Stimmungsanalysemodelle leicht zu überlisten, es sei denn, sie sind speziell darauf ausgelegt, diese Möglichkeit zu berücksichtigen.

Sarkasmus tritt am häufigsten in nutzergenerierten Inhalten wie Facebook-Kommentaren, Tweets usw. auf. Die Sarkasmuserkennung in der Stimmungsanalyse ist ohne ein gutes Verständnis des Kontexts der Situation, des spezifischen Themas und der Umgebung sehr schwierig zu bewerkstelligen.

Es kann nicht nur für eine Maschine, sondern auch für einen Menschen schwer zu verstehen sein. Die kontinuierliche Variation der Wörter, die in sarkastischen Sätzen verwendet werden, macht es schwierig, Sentimentanalysemodelle erfolgreich zu trainieren. Gemeinsame Themen, Interessen und historische Informationen müssen zwischen zwei Personen geteilt werden, um Sarkasmus verfügbar zu machen.

Betrachten wir Sarkasmus zunächst aus der Perspektive der Linguistik , wo Sarkasmus umfassend untersucht wird. In einer der meistzitierten Forschungsarbeiten auf diesem Gebiet schlägt die Autorin Elisabeth Camp die folgenden vier Arten von Sarkasmus vor:

• Propositional: Sarkasmus scheint eine Aussage ohne Sentiment zu sein, beinhaltet aber eine implizite Sentimentalität.
• Eingebettet: Sarkasmus hat eine eingebettete Gefühlsinkongruenz in Form von Wörtern und Phrasen selbst.
• Like-Präfix: Eine Like-Phrase liefert eine implizite Ablehnung des vorgebrachten Arguments.
• Illokutionär: Nichtsprachliche Handlungen (Körpersprache, Gesten), die zum Sarkasmus beitragen.

Die Forschung von Camp wurde 2012 veröffentlicht. 2017 kündigten Forscher der Stanford University ihre eigene ziemlich interessante Studie „Haben 2 Stunden, um eine Arbeit zu schreiben, macht Spaß ! Sarkasmus . Numerischer Sarkasmus ist in sozialen Netzwerken sehr verbreitet. Die Idee dahinter bezieht sich auf Änderungen von Zahlenwerten, die dann die Textpolarität beeinflussen. Zum Beispiel:

1. "Dieses Telefon hat eine fantastische Batteriereserve von 38 Stunden." (Nicht sarkastisch)
2. "Dieses Telefon hat eine fantastische Akkulaufzeit von 2 Stunden." (Sarkastisch)

1. "Es ist +25 draußen und mir ist so heiß." (Nicht sarkastisch)
2. "Es ist -25 draußen und mir ist so heiß." (Sarkastisch)

1. „Wir sind so langsam gefahren – nur 20 km/h.“ (Nicht sarkastisch)
2. „Wir sind so langsam gefahren – nur 160 km/h.“ (Sarkastisch)

Wie wir sehen können, unterscheiden sich diese Sätze nur in der verwendeten Zahl – daher numerischer Sarkasmus.

Es gibt verschiedene Ansätze für die automatische Erkennung von Sarkasmus, darunter:

1. Regelbasiert
2. Statistisch
3. Algorithmen für maschinelles Lernen
4. Tiefes Lernen

Ansätze, die auf Deep Learning basieren, gewinnen an Popularität. Kumar, Somani und Bhattacharyya kamen 2017 zu dem Schluss, dass ein bestimmtes Deep-Learning-Modell (die CNN-LSTM-FF-Architektur) frühere Ansätze übertrifft und die höchste Genauigkeitsstufe für die numerische Sarkasmuserkennung erreicht.

Aber Deep Neural Networks (DNNs) waren nicht nur die besten für numerischen Sarkasmus – sie übertrafen auch andere Sarkasmus-Detektoransätze im Allgemeinen. Ghosh und Veale verwenden in ihrer Arbeit von 2016 eine Kombination aus einem Convolutional Neural Network, einem Long Short-Term Memory (LSTM)-Netzwerk und einem DNN. Sie vergleichen ihren Ansatz mit rekursiven Support Vector Machines (SVMs) und kommen zu dem Schluss, dass ihre Deep-Learning-Architektur eine Verbesserung gegenüber solchen Ansätzen darstellt.

Stimmungsanalyse Herausforderung Nr. 2: Negationserkennung

In der Linguistik ist Negation eine Möglichkeit, die Polarität von Wörtern, Phrasen und sogar Sätzen umzukehren. Forscher verwenden verschiedene linguistische Regeln, um festzustellen, ob eine Negation auftritt, aber es ist auch wichtig, den Bereich der Wörter zu bestimmen, die von Negationswörtern betroffen sind.

Es gibt keine feste Größe für den Umfang betroffener Wörter. Beispielsweise ist im Satz „Die Show war nicht interessant“ der Geltungsbereich nur das nächste Wort nach dem Verneinungswort. Aber bei Sätzen wie „Ich nenne diesen Film keine Komödie“ wirkt das Verneinungswort „nicht“ bis zum Ende des Satzes. Die ursprüngliche Bedeutung der Wörter ändert sich, wenn ein positives oder negatives Wort in den Bereich der Negation fällt – in diesem Fall wird die entgegengesetzte Polarität zurückgegeben.

Der einfachste Ansatz zum Umgang mit Negationen in einem Satz, der in den meisten modernen Sentimentanalysetechniken verwendet wird, besteht darin, alle Wörter von einem Negationshinweis bis zum nächsten Interpunktionszeichen als negiert zu markieren. Die Wirksamkeit des Negationsmodells kann aufgrund der spezifischen Konstruktion von Sprache in verschiedenen Kontexten verändert werden.

Es gibt mehrere Formen, um eine negative Meinung in Sätzen auszudrücken:

• Negation kann morphologisch sein, wo sie entweder durch ein Präfix („dis-“, „non-“) oder ein Suffix („-weniger“) bezeichnet wird.
• Negation kann implizit sein, wie in „Mit dieser Nummer wird es sein erster und letzter Film sein“ – es trägt ein negatives Gefühl, aber es werden keine negativen Worte verwendet.
• Verneinung kann explizit sein, wie in „das ist nicht gut“.

Proben mit verschiedenen Arten von beschriebenen Negationen zu haben, erhöht die Qualität eines Datensatzes zum Trainieren und Testen von Stimmungsklassifizierungsmodellen innerhalb der Negation. Gemäß der neuesten Forschung zu rekurrenten neuronalen Netzen (RNNs) übertreffen verschiedene Architekturen von LSTM-Modellen alle anderen Ansätze bei der Erkennung von Negationsarten in Sätzen.

In dem Paper Effect of Negation in Sentiment Analysis wertete ein Stimmungsanalysemodell 500 Rezensionen aus, die von Amazon und Trustedreviews.com gesammelt wurden. Die Autoren zeigen einen Vergleich der Modelle mit und ohne Negationserkennung. Ihre Auswertung zeigt, wie die Berücksichtigung der Negation die Genauigkeit eines Modells deutlich erhöhen kann.

Stimmungsanalyse-Herausforderung Nr. 3: Mehrdeutigkeit von Wörtern

Die Mehrdeutigkeit von Wörtern ist ein weiterer Fallstrick, mit dem Sie bei der Arbeit an einem Stimmungsanalyseproblem konfrontiert werden. Das Problem der Wortmehrdeutigkeit ist die Unmöglichkeit, die Polarität im Voraus zu definieren, da die Polarität für einige Wörter stark vom Satzkontext abhängt.

Unter den bestehenden Methoden sind lexikonbasierte Stimmungsanalyseansätze beliebt. Ein Meinungslexikon enthält Meinungswörter mit ihrem Polaritätswert. Im Internet sind einige Lexika der öffentlichen Meinung verfügbar: unter anderem SentiWordNet, General Inquirer und SenticNet. Da die Wortpolarität in verschiedenen Bereichen variiert, ist es unmöglich, ein universelles Meinungslexikon zu entwickeln, das für jedes Wort eine Polarität aufweist. Zum Beispiel:

1. „Die Geschichte ist unvorhersehbar.“
2. „Das Lenkrad ist unberechenbar.“

Diese beiden Beispiele zeigen, wie der Kontext die Meinungswortstimmung beeinflusst. Im ersten Beispiel wird die Wortpolarität „unvorhersehbar“ als positiv vorhergesagt. Im zweiten ist die Polarität desselben Wortes negativ.

Stimmungsanalyse Herausforderung Nr. 4: Multipolarität

Manchmal weist ein bestimmter Satz oder ein bestimmtes Dokument – ​​oder welche Texteinheit auch immer wir analysieren möchten – Multipolarität auf. In diesen Fällen kann es irreführend sein, nur das Gesamtergebnis der Analyse zu haben, ähnlich wie ein Durchschnitt manchmal wertvolle Informationen über alle darin enthaltenen Zahlen verbergen kann.

Stellen Sie sich vor, wenn Autoren in einem Artikel oder einer Rezension über verschiedene Personen, Produkte oder Unternehmen (oder Aspekte davon) sprechen. Es ist üblich, dass innerhalb eines Textes einige Themen kritisiert und andere gelobt werden.

Hier fehlen der gesamten Stimmungspolarität Schlüsselinformationen. Aus diesem Grund ist es notwendig, alle Entitäten oder Aspekte im Satz mit zugewiesenen Sentiment-Labels zu extrahieren und nur bei Bedarf die Gesamtpolarität zu berechnen.

Betrachten wir ein Beispiel, das aus mehreren Polaritäten besteht: „Die Audioqualität meines neuen Laptops ist so cool, aber die Displayfarben sind nicht so gut.“

Einige Stimmungsanalysemodelle weisen diesem Satz eine negative oder neutrale Polarität zu. Um mit solchen Situationen fertig zu werden, muss ein Stimmungsanalysemodell jedem Aspekt im Satz eine Polarität zuweisen; hier ist „Audio“ ein Aspekt, dem eine positive Polarität zugeordnet ist, und „Anzeige“ ist ein separater Aspekt mit einer negativen Polarität.

Für eine tiefergehende Beschreibung dieses Ansatzes empfehle ich das interessante und nützliche Paper Deep Learning for Aspect-based Sentiment Analysis von Bo Wanf und Min Liu von der Stanford University.

Verbesserung der Genauigkeit der Stimmungsanalyse: Dies sind keine Grenzfälle

In diesem Artikel haben wir über beliebte Probleme der Stimmungsanalyse-Klassifizierung gesprochen: Sarkasmus, Negationen, Wortmehrdeutigkeit und Multipolarität. Wenn Sie diese kennen, können Sie mögliche Probleme vermeiden: Die Berücksichtigung der besprochenen Situationen erhöht die Genauigkeit der Stimmungsanalyse in einem Klassifizierungsmodell erheblich. Ich hoffe, dass Sie diesen Artikel als nützliche Einführung in das Thema empfunden haben.