Cuatro trampas de la precisión del análisis de sentimiento

Las personas están utilizando foros, redes sociales, blogs y otras plataformas para compartir su opinión, generando así una gran cantidad de datos. Mientras tanto, los usuarios o consumidores quieren saber qué producto comprar o qué película ver, por lo que también leen reseñas e intentan tomar sus decisiones en consecuencia.

La recopilación manual de información sobre los datos generados por el usuario requiere mucho tiempo. Es por eso que cada vez más empresas y organizaciones están interesadas en los métodos automáticos de análisis de sentimientos para ayudarlos a comprenderlo.

¿Qué es el análisis de sentimiento?

El análisis de sentimientos es el proceso de estudiar las opiniones y emociones de las personas, generalmente utilizando pistas del lenguaje. A primera vista, es solo un problema de clasificación de texto, pero si profundizamos, descubriremos que hay muchos problemas desafiantes que afectan seriamente la precisión del análisis de sentimiento. A continuación, exploraré algunas dificultades a las que se enfrenta al trabajar en el problema de análisis de sentimiento general:

1. Ironía y sarcasmo
2. Tipos de negaciones
3. Ambigüedad de palabras
4. multipolaridad

Revisaremos cada tema e intentaremos comprender cómo los problemas descritos afectan la calidad del clasificador de opiniones y qué tecnologías se pueden usar para resolverlos.

Desafío de análisis de sentimiento n.º 1: detección de sarcasmo

En el texto sarcástico, las personas expresan sus sentimientos negativos usando palabras positivas. Este hecho permite que el sarcasmo engañe fácilmente a los modelos de análisis de sentimientos a menos que estén diseñados específicamente para tener en cuenta su posibilidad.

El sarcasmo ocurre con mayor frecuencia en el contenido generado por el usuario, como comentarios de Facebook, tweets, etc. La detección del sarcasmo en el análisis de sentimientos es muy difícil de lograr sin tener una buena comprensión del contexto de la situación, el tema específico y el entorno.

Puede ser difícil de entender no solo para una máquina sino también para un ser humano. La variación continua en las palabras utilizadas en las oraciones sarcásticas dificulta el entrenamiento exitoso de los modelos de análisis de sentimientos. Los temas comunes, los intereses y la información histórica deben compartirse entre dos personas para que el sarcasmo esté disponible.

Primero, veamos el sarcasmo desde la perspectiva de la lingüística , donde el sarcasmo se estudia ampliamente. En una de las investigaciones más citadas en este campo, la autora Elisabeth Camp propone los siguientes cuatro tipos de sarcasmo:

• Proposicional: el sarcasmo parece ser una proposición sin sentimiento pero tiene un sentimiento implícito involucrado.
• Incrustado: el sarcasmo tiene una incongruencia de sentimiento incrustada en forma de palabras y frases en sí mismas.
• Prefijo similar: una frase similar proporciona una negación implícita del argumento que se está haciendo.
• Ilocucionario: Actos no verbales (lenguaje corporal, gestos) que contribuyen al sarcasmo.

La investigación de Camp se publicó en 2012. En 2017, investigadores de la Universidad de Stanford anunciaron su propia investigación bastante interesante: "¡Tener 2 horas para escribir un artículo es divertido!": Detectar sarcasmo en porciones numéricas de texto, donde hablaron sobre otro tipo de sarcasmo llamado numérico . sarcasmo El sarcasmo numérico es muy frecuente en las redes sociales. La idea detrás de esto está relacionada con los cambios en los valores numéricos que luego afectan la polaridad del texto. Por ejemplo:

1. "Este teléfono tiene una increíble batería de respaldo de 38 horas". (No sarcástico)
2. "Este teléfono tiene una increíble batería de respaldo de 2 horas". (Sarcástico)

1. "Hace +25 afuera y tengo mucho calor". (No sarcástico)
2. "Hace -25 afuera y tengo mucho calor". (Sarcástico)

1. "Condujimos muy despacio --- sólo a 20 km/h". (No sarcástico)
2. "Condujimos muy despacio, a solo 160 km/h". (Sarcástico)

Como podemos ver, estas oraciones difieren solo en el número utilizado, por lo tanto, el sarcasmo numérico.

Existen diferentes enfoques para la detección automática de sarcasmo, que incluyen:

1. basado en reglas
2. Estadístico
3. Algoritmos de aprendizaje automático
4. Aprendizaje profundo

Los enfoques basados ​​en el aprendizaje profundo están ganando popularidad. Kumar, Somani y Bhattacharyya concluyeron en 2017 que un modelo particular de aprendizaje profundo (la arquitectura CNN-LSTM-FF) supera los enfoques anteriores y alcanza el nivel más alto de precisión para la detección de sarcasmo numérico.

Pero las redes neuronales profundas (DNN) no solo fueron las mejores para el sarcasmo numérico, sino que también superaron a otros enfoques de detección de sarcasmo en general. Ghosh y Veale en su artículo de 2016 utilizan una combinación de una red neuronal convolucional, una red de memoria a largo plazo (LSTM) y una DNN. Comparan su enfoque con las máquinas de vectores de soporte recursivas (SVM) y concluyen que su arquitectura de aprendizaje profundo es una mejora con respecto a tales enfoques.

Desafío de análisis de sentimiento n.° 2: Detección de negación

En lingüística, la negación es una forma de invertir la polaridad de palabras, frases e incluso oraciones. Los investigadores usan diferentes reglas lingüísticas para identificar si se está produciendo una negación, pero también es importante determinar el rango de las palabras que se ven afectadas por las palabras de negación.

No hay un tamaño fijo para el alcance de las palabras afectadas. Por ejemplo, en la oración "El espectáculo no fue interesante", el alcance es solo la siguiente palabra después de la palabra de negación. Pero para oraciones como "No llamo a esta película una película de comedia", el efecto de la palabra de negación "no" es hasta el final de la oración. El significado original de las palabras cambia si una palabra positiva o negativa cae dentro del alcance de la negación; en ese caso, se devolverá la polaridad opuesta.

El enfoque más simple para lidiar con la negación en una oración, que se usa en la mayoría de las técnicas de análisis de sentimientos de última generación, es marcar como negadas todas las palabras desde una señal de negación hasta el siguiente signo de puntuación. La efectividad del modelo de negación puede cambiar debido a la construcción específica del lenguaje en diferentes contextos.

Hay varias formas de expresar una opinión negativa en oraciones:

• La negación puede ser morfológica donde se denota por un prefijo ("dis-", "non-") o un sufijo ("-less").
• La negación puede ser implícita, como en "con este acto, será su primera y última película": conlleva un sentimiento negativo, pero no se usan palabras negativas.
• La negación puede ser explícita, como en "esto no es bueno".

Tener muestras con diferentes tipos de negaciones descritas aumentará la calidad de un conjunto de datos para entrenar y probar modelos de clasificación de sentimientos dentro de la negación. Según las últimas investigaciones sobre redes neuronales recurrentes (RNN), varias arquitecturas de modelos LSTM superan a todos los demás enfoques en la detección de tipos de negaciones en oraciones.

En el artículo Effect of Negation in Sentiment Analysis, un modelo de análisis de sentimiento evaluó 500 reseñas recopiladas de Amazon y Trustedreviews.com. Los autores muestran una comparación de los modelos con y sin detección de negación. Su evaluación demuestra cómo considerar la negación puede aumentar significativamente la precisión de un modelo.

Desafío de análisis de sentimiento No. 3: Ambigüedad de palabras

La ambigüedad de las palabras es otro escollo al que se enfrentará al trabajar en un problema de análisis de sentimientos. El problema de la ambigüedad de las palabras es la imposibilidad de definir la polaridad por adelantado porque la polaridad de algunas palabras depende en gran medida del contexto de la oración.

Los enfoques de análisis de sentimientos basados ​​en el léxico son populares entre los métodos existentes. Un léxico de opinión contiene palabras de opinión con su valor de polaridad. Hay algunos léxicos de opinión pública disponibles en Internet: SentiWordNet, General Inquirer y SenticNet, entre otros. Debido a que la polaridad de las palabras varía en diferentes dominios, es imposible desarrollar un léxico de opinión universal que tenga una polaridad para cada palabra. Por ejemplo:

1. “La historia es impredecible”.
2. “El volante es impredecible”.

Estos dos ejemplos muestran cómo el contexto afecta el sentimiento de las palabras de opinión. En el primer ejemplo, la palabra polaridad de “impredecible” se predice como positiva. En el segundo, la polaridad de la misma palabra es negativa.

Análisis de Sentimiento Desafío No. 4: Multipolaridad

A veces, una oración o documento dado, o cualquier unidad de texto que nos gustaría analizar, exhibirá multipolaridad. En estos casos, tener solo el resultado total del análisis puede ser engañoso, al igual que un promedio a veces puede ocultar información valiosa sobre todos los números que se incluyeron en él.

Imagen cuando los autores hablan sobre diferentes personas, productos o empresas (o aspectos de ellos) en un artículo o reseña. Es común que dentro de un texto, algunos temas sean criticados y otros elogiados.

Aquí, a la polaridad total del sentimiento le faltará información clave. Es por eso que es necesario extraer todas las entidades o aspectos en la oración con etiquetas de sentimiento asignadas y solo calcular la polaridad total si es necesario.

Consideremos un ejemplo que consta de múltiples polaridades: "La calidad de audio de mi nueva computadora portátil es genial, pero los colores de la pantalla no son demasiado buenos".

Algunos modelos de análisis de sentimientos asignarán una polaridad negativa o neutral a esta oración. Para lidiar con tales situaciones, un modelo de análisis de sentimientos debe asignar una polaridad a cada aspecto de la oración; aquí, "audio" es un aspecto al que se le asigna una polaridad positiva y "pantalla" es un aspecto separado con una polaridad negativa.

Para una descripción más detallada de este enfoque, recomiendo el interesante y útil artículo Deep Learning for Aspect-based Sentiment Analysis de Bo Wanf y Min Liu de la Universidad de Stanford.

Mejora de la precisión del análisis de opinión: estos no son casos extremos

En este artículo, hablamos sobre problemas populares de clasificación del análisis de sentimientos: sarcasmo, negaciones, ambigüedad de palabras y multipolaridad. Conocer cada uno de estos le ayudará a evitar posibles problemas: Tener en cuenta las situaciones que hemos discutido aumentará significativamente la precisión del análisis de sentimiento en un modelo de clasificación. Espero que hayas encontrado este artículo como una introducción útil al tema.