Duygu Analizi Doğruluğunun Dört Tuzağı

İnsanlar fikirlerini paylaşmak için forumları, sosyal ağları, blogları ve diğer platformları kullanıyor ve böylece çok büyük miktarda veri üretiyor. Bu arada, kullanıcılar veya tüketiciler hangi ürünü satın alacaklarını veya hangi filmi izleyeceklerini bilmek isterler, bu nedenle yorumları da okurlar ve kararlarını buna göre vermeye çalışırlar.

Kullanıcı tarafından oluşturulan veriler hakkında manuel olarak bilgi toplamak zaman alıcıdır. Bu nedenle, giderek daha fazla şirket ve kuruluş, anlamalarına yardımcı olmak için otomatik duygu analizi yöntemleriyle ilgileniyor.

Duygu Analizi Nedir?

Duygu analizi, genellikle dil ipuçlarını kullanarak insanların fikir ve duygularını inceleme sürecidir. İlk bakışta, bu sadece bir metin sınıflandırma problemidir, ancak daha derine inersek, duygu analizi doğruluğunu ciddi şekilde etkileyen birçok zorlu problem olduğunu göreceğiz. Aşağıda, genel duygu analizi problemi üzerinde çalışırken karşılaştığınız bazı tuzakları keşfedeceğim:

1. ironi ve alay
2. olumsuzlama türleri
3. kelime belirsizliği
4. çok kutupluluk

Her konuyu inceleyeceğiz ve açıklanan sorunların duygu sınıflandırıcı kalitesini nasıl etkilediğini ve bunları çözmek için hangi teknolojilerin kullanılabileceğini anlamaya çalışacağız.

Duygu Analizi Zorluk No. 1: Sarcasm Detection

Alaycı metinde insanlar olumsuz duygularını olumlu kelimeler kullanarak ifade ederler. Bu gerçek, alaycılığın, olasılığını hesaba katmak için özel olarak tasarlanmadıkça, duygu analizi modellerini kolayca aldatmasına izin verir.

Alaycılık en çok Facebook yorumları, tweet'ler vb. gibi kullanıcı tarafından oluşturulan içeriklerde ortaya çıkar. Duygu analizinde alaycılık tespiti, durumun bağlamını, belirli konuyu ve çevreyi iyi anlamadan başarmak çok zordur.

Sadece bir makine için değil, bir insan için de anlamak zor olabilir. Alaycı cümlelerde kullanılan kelimelerdeki sürekli çeşitlilik, duygu analizi modellerini başarılı bir şekilde eğitmeyi zorlaştırıyor. Ortak konular, ilgi alanları ve tarihsel bilgiler, iğnelemeyi mümkün kılmak için iki kişi arasında paylaşılmalıdır.

İlk olarak, alaycılığın yaygın olarak incelendiği dilbilim perspektifinden alaycılığa bakalım. Bu alanda en çok alıntı yapılan araştırmalardan birinde, yazar Elisabeth Camp aşağıdaki dört tür alaycılık önermektedir:

• Önermesel: Sarcasm, duygusal olmayan bir önerme gibi görünmektedir, ancak dolaylı bir duyguya sahiptir.
• Yerleşik: Sarcasm, sözcüklerin ve ifadelerin kendisinde yerleşik bir duygu uyuşmazlığına sahiptir.
• Like-prefixed: Benzer bir ifade, yapılan argümanın zımni bir reddini sağlar.
• Illocutionary: Alaycılığa katkıda bulunan konuşma dışı eylemler (beden dili, jestler).

Kampın araştırması 2012'de yayınlandı. 2017'de, Stanford Üniversitesi'nden araştırmacılar kendi oldukça ilginç araştırmalarını duyurdular: "Bir makale yazmak için 2 saate sahip olmak eğlencelidir!": Sayısal olarak adlandırılan başka bir alaycılık türü hakkında konuştukları Metnin Sayısal Bölümlerinde Sarcasm Detecting alay Sosyal ağlarda sayısal alaycılık çok yaygındır. Bunun arkasındaki fikir, daha sonra metin polaritesini etkileyen sayısal değerlerdeki değişikliklerle ilgilidir. Örneğin:

1. "Bu telefonun 38 saatlik harika bir pil yedeği var." (alaycı olmayan)
2. "Bu telefonun 2 saatlik harika bir pil yedeği var." (alaycı)

1. "Dışarıda +25 ve çok ateşliyim." (alaycı olmayan)
2. "Dışarıda hava -25 ve çok ateşliyim." (alaycı)

1. "Çok yavaş sürdük --- sadece 20 km/s." (alaycı olmayan)
2. "Çok yavaş sürdük --- sadece 160 km/s." (alaycı)

Gördüğümüz gibi, bu cümleler yalnızca kullanılan sayıda farklılık gösterir - dolayısıyla sayısal alaycılık.

Aşağıdakiler dahil, otomatik alay tespiti için farklı yaklaşımlar vardır:

1. kural tabanlı
2. istatistiksel
3. Makine öğrenimi algoritmaları
4. Derin öğrenme

Derin öğrenmeye dayalı yaklaşımlar popülerlik kazanıyor. Kumar, Somani ve Bhattacharyya, 2017'de belirli bir derin öğrenme modelinin (CNN-LSTM-FF mimarisi) önceki yaklaşımlardan daha iyi performans gösterdiği ve sayısal alay tespiti için en yüksek doğruluk düzeyine ulaştığı sonucuna vardı.

Ancak derin sinir ağları (DNN'ler) yalnızca sayısal alaycılık için en iyisi olmakla kalmadı, aynı zamanda genel olarak diğer alaycı algılama yaklaşımlarından daha iyi performans gösterdi. Ghosh ve Veale 2016 makalelerinde, evrişimli sinir ağı, uzun kısa süreli bellek (LSTM) ağı ve DNN'nin bir kombinasyonunu kullanıyor. Yaklaşımlarını özyinelemeli destek vektör makineleri (SVM'ler) ile karşılaştırıyorlar ve derin öğrenme mimarilerinin bu tür yaklaşımlara göre bir gelişme olduğu sonucuna varıyorlar.

Duygu Analizi Zorluk No. 2: Olumsuzlama Tespiti

Dilbilimde olumsuzlama, kelimelerin, cümlelerin ve hatta cümlelerin kutuplarını tersine çevirmenin bir yoludur. Araştırmacılar, olumsuzlamanın gerçekleşip gerçekleşmediğini belirlemek için farklı dil kuralları kullanır, ancak olumsuzlama sözcüklerinden etkilenen sözcüklerin aralığını belirlemek de önemlidir.

Etkilenen kelimelerin kapsamı için sabit bir boyut yoktur. Örneğin, "Gösteri değildi" cümlesinde kapsam, olumsuzlama kelimesinden sonraki kelimedir. Ancak “Ben bu filme komedi filmi demiyorum” gibi cümleler için “değil” olumsuzlama kelimesinin etkisi cümlenin sonuna kadardır. Olumlu veya olumsuz bir kelime olumsuzlama kapsamına girerse kelimelerin orijinal anlamı değişir - bu durumda zıt kutup döndürülür.

En gelişmiş duygu analizi tekniklerinin çoğunda kullanılan, bir cümlede olumsuzlama ile başa çıkmak için en basit yaklaşım, bir olumsuzlama işaretinden sonraki noktalama işaretine kadar tüm kelimeleri olumsuzlanmış olarak işaretlemektir. Olumsuzlama modelinin etkinliği, dilin farklı bağlamlarda özel olarak yapılandırılması nedeniyle değiştirilebilir.

Cümlelerde olumsuz bir görüş ifade etmenin çeşitli biçimleri vardır:

• Olumsuzlama, bir önek ("dis-", "non-") veya bir sonek ("-less") ile gösterildiğinde morfolojik olabilir.
• Olumsuzlama, "bu eylemle, onun ilk ve son filmi olacak" örneğinde olduğu gibi örtük olabilir - olumsuz bir duygu taşır, ancak olumsuz kelimeler kullanılmaz.
• Olumsuzlama, “bu iyi değil”deki gibi açık olabilir.

Tanımlanmış olumsuzlamaların farklı türlerine sahip örneklere sahip olmak, olumsuzlama içinde duygu sınıflandırma modellerini eğitmek ve test etmek için bir veri kümesinin kalitesini artıracaktır. Tekrarlayan sinir ağları (RNN'ler) üzerine yapılan en son araştırmaya göre , LSTM modellerinin çeşitli mimarileri, cümlelerdeki olumsuzlama türlerini tespit etmede diğer tüm yaklaşımlardan daha iyi performans gösteriyor.

Duygu Analizinde Olumsuzlamanın Etkisi makalesinde, bir duygu analizi modeli, Amazon ve Trustedreviews.com'dan toplanan 500 incelemeyi değerlendirdi. Yazarlar, olumsuzluk tespiti olan ve olmayan modellerin bir karşılaştırmasını göstermektedir. Değerlendirmeleri, olumsuzlamanın dikkate alınmasının bir modelin doğruluğunu nasıl önemli ölçüde artırabileceğini gösterir.

Duygu Analizi Zorluk No. 3: Kelime Belirsizliği

Sözcük belirsizliği, bir duygu analizi problemi üzerinde çalışırken karşılaşacağınız başka bir tuzaktır. Kelime belirsizliği sorunu, polariteyi önceden tanımlamanın imkansızlığıdır, çünkü bazı kelimelerin polaritesi büyük ölçüde cümle bağlamına bağlıdır.

Sözlük tabanlı duygu analizi yaklaşımları, mevcut yöntemler arasında popülerdir. Bir görüş sözlüğü, kutupluluk değerleriyle görüş sözcüklerini içerir. İnternette bazı kamuoyu sözlükleri mevcuttur: SentiWordNet, General Inquirer ve SenticNet, diğerleri arasında. Kelime kutupluluğu farklı alanlarda farklılık gösterdiğinden, her kelime için bir kutupluluğu olan evrensel bir kanaat sözlüğü geliştirmek mümkün değildir. Örneğin:

1. "Hikaye tahmin edilemez."
2. "Direksiyon simidi tahmin edilemez."

Bu iki örnek, bağlamın fikir sözcüğü duyarlılığını nasıl etkilediğini göstermektedir. İlk örnekte, “öngörülemeyen” kelime polaritesi pozitif olarak tahmin edilmiştir. İkincisinde, aynı kelimenin kutupluluğu negatiftir.

Duygu Analizi Mücadelesi No. 4: Çok Kutupluluk

Bazen, belirli bir cümle veya belge - ya da hangi metin birimini analiz etmek istersek - çok kutupluluk sergileyecektir. Bu durumlarda, yalnızca analizin toplam sonucuna sahip olmak yanıltıcı olabilir, tıpkı bir ortalamanın bazen içine giren tüm sayılarla ilgili değerli bilgileri nasıl gizleyebileceği gibi.

Yazarların bir makalede veya incelemede farklı kişiler, ürünler veya şirketler (veya bunların yönleri) hakkında konuştuğunu hayal edin. Bir metin parçasında bazı konuların eleştirilmesi ve bazılarının övülmesi yaygındır.

Burada, toplam duygu polaritesinde önemli bilgiler eksik olacaktır. Bu nedenle, atanmış duygu etiketleri ile cümledeki tüm varlıkları veya yönleri çıkarmak ve yalnızca gerekirse toplam polariteyi hesaplamak gerekir.

Çoklu kutuplardan oluşan bir örneği ele alalım: “Yeni dizüstü bilgisayarımın ses kalitesi çok güzel ama ekran renkleri çok iyi değil.”

Bazı duygu analizi modelleri, bu cümleye olumsuz veya nötr bir polarite atayacaktır. Bu tür durumlarla başa çıkmak için, bir duygu analizi modeli, cümledeki her bir yöne bir kutupluluk atamalıdır; burada, “ses” pozitif kutuplu bir görünümdür ve “ekran” negatif kutuplu ayrı bir görünümdür.

Bu yaklaşımın daha derinlemesine bir açıklaması için, Stanford Üniversitesi'nden Bo Wanf ve Min Liu'nun hazırladığı ilginç ve faydalı Derin Öğrenme için Yöne Dayalı Duygu Analizi makalesini öneriyorum.

Duyarlılık Analizi Doğruluğunu Artırma: Bunlar Uç Vakalar Değil

Bu makalede, duygu analizi sınıflandırmasının popüler sorunlarından bahsettik: alaycılık, olumsuzlamalar, kelime belirsizliği ve çok kutupluluk. Bunların her biri hakkında bilgi sahibi olmak olası sorunlardan kaçınmanıza yardımcı olacaktır: Tartıştığımız durumları dikkate almak, bir sınıflandırma modelinde duyarlılık analizi doğruluğunu önemli ölçüde artıracaktır. Umarım bu makaleyi konuya yararlı bir giriş bulmuşsunuzdur.