Python'da Yalan Haber Tespit Projesi [Kodlamalı]

Hiç sahte görünen bir haber okudunuz mu? Hepimiz bu tür haber makaleleriyle karşılaşıyoruz ve içgüdüsel olarak bir şeylerin doğru gelmediğini anlıyoruz. Çok fazla gönderi olduğu için, doğruyu yanlıştan ayırmak neredeyse imkansız. Burada sadece asılsız iddialardan ve olgusal noktalardan değil, dilin kendisinde karmaşık bir şekilde yanlış görünen şeylerden bahsediyoruz.

Sahte bir haber tespit projesinin nasıl geliştirileceğini hiç merak ettiniz mi? Ancak sosyal medyadaki haberlerin yayılma hızı ile özellikle bu günlerde hangi haberin yalan hangisinin yalan olduğunu bulmanın kolay bir yolu yok. Yine de, bazı çözümler bu yanlışları belirlemede yardımcı olabilir.

Bazı haberlerin yalan olup olmadığını iddia etmenin iki yolu vardır: Birincisi, olgusal noktalara yönelik bir saldırı. İkincisi, dil. İlki, yalnızca otomatik sorgulama sistemleriyle internete yapılan önemli aramalarla yapılabilir. Özellikle veri bilimine ve doğal dil işlemeye yeni başlayan biri için bunaltıcı bir görev olabilir.

İkincisi, doğal bir dil işleme hattı ve ardından bir makine öğrenme hattı aracılığıyla mümkündür. Sahte haber tespit projemizi Python'da bu şekilde uygulayacağız . Doğal dil işleme problemi olarak ortaya konan bir makine öğrenme problemi olarak kabul edilen problemlerden bir diğeridir. Yeni başlayan biriyseniz ve veri bilimi hakkında daha fazla bilgi edinmek istiyorsanız, en iyi üniversitelerden veri bilimi çevrimiçi kurslarımıza göz atın.

Okuyun: Python Proje Fikirleri ve Konuları

Bu tür bir uygulama için birçok veri seti var, ancak burada bahsedileni kullanıyor olacağız . Veriler, iki hedef etiketli yaklaşık 7500+ haber beslemesi içeriyor: sahte veya gerçek. Veri seti ayrıca ilgili haberin başlığını da içerir.

Doğal dil işleme için boru hattındaki adımlar aşağıdaki gibi olacaktır:

1. Verilerin alınması ve yüklenmesi
2. Veri kümesini temizleme
3. Fazladan sembollerin kaldırılması
4. Noktalama işaretlerini kaldırma
5. Durdurulan kelimeleri kaldırmak
6. kök salmak
7. Tokenizasyon
8. Özellik çıkarma
9. TF-IDF vektörleştirici
10. TF-IDF transformatörlü sayaç vektörleştirici
11. Makine öğrenimi modeli eğitimi ve doğrulaması

Sahte haber tespit projesinin uygulama adımlarını tartışmaya başlamadan önce gerekli kütüphaneleri import edelim:

Kod:

İlk adım, verileri elde etmektir. CSV dosyasının bağlantısını zaten sağladık; ancak, verilerinizi oluşturmanın diğer yolunu tartışmak da çok önemlidir.

Yöntemlerden biri web kazımadır. Bunun için bir web tarayıcısı kodlamamız ve verileri almanız gereken siteleri belirtmemiz gerekiyor. Ancak dikkatli olun, bu yaklaşımla ilgili iki sorun var.

İlk olarak, birçok siteyi hurdaya çıkarmak yasa dışı olabilir, bu nedenle bununla ilgilenmeniz gerekir. İkincisi, veriler çok ham olacaktır. Tüm işlem hattına, bu ham verileri uygulanabilir bir CSV dosyasına veya veri kümesine dönüştürmek için bir adım listesi eklenir. Bu nedenle, önceden ayarlanmış CSV dosyasını organize verilerle kullanırız.

Bununla birlikte, ilgileniyorsanız, Veri mühendisliği ve web kazıma hakkında uygun açıklamalarla birlikte yeterli kaynağın bulunduğu upGrad'ın Veri bilimi hakkındaki kursuna göz atabilirsiniz. Buradakileri kontrol ettiğinizden emin olun .

Veri kümemizi bu şekilde içe aktarır ve etiketleri ekleriz. Gereksiz sütunları veri kümesinden nasıl çıkardığımıza dikkat edin. Gerekirse daha yüksek bir değerde bu sütunları yukarıda tutabilirsiniz. Ancak şu anda sahte haber tespit projemiz yalnızca metin ve hedef etiket sütunlarında sorunsuz çalışacaktı.

Kod:

Devam ederken, bir sonraki adım mevcut verileri temizlemektir. Bu adım neden gerekli? Bir makineyle çalıştığımızı anlamak ve ona sahte ile gerçeği ayırmayı öğretmek çok önemlidir. Şu anda elimizde metinsel veri var ama bilgisayarlar sayılar üzerinde çalışıyor. Bu yüzden önce onları sayılara dönüştürmek gerekir ve bundan önceki adım, yalnızca anlama için gerekli olan metinleri dönüştürdüğümüzden emin olmaktır.

Temizleme hattındaki ilk adım, veri kümesinin silinecek fazladan sembol içerip içermediğini kontrol etmektir. Web adresleri veya at(@) veya hashtag'ler gibi diğer referans sembollerinden herhangi biri olabilir. İşte kod:

Kod:

Bunu kaldırdığımızda, sonraki adım diğer sembolleri, noktalama işaretlerini temizlemektir. Bunu düşünürsek, noktalama işaretlerinin belirli bir haberin gerçekliğini anlamada net bir girdisi yoktur. Bazen, çok fazla noktalama işareti varsa, örneğin aşırı ünlem kullanımı gibi haberlerin gerçek olmaması mümkün olabilir.

Ancak bunlar nadir görülen durumlardır ve belirli kural tabanlı analiz gerektirir. Yani, bu sahte haber tespit projesi için noktalama işaretlerini kaldırıyor olacağız. Bunu nasıl yapacağınız aşağıda açıklanmıştır:

Kod:

Bir sonraki adım, kelimeyi özüne bağlamak ve kelimeleri tokenize etmektir. Belirteçleştirme, her cümleyi bir sözcük veya belirteç listesine dönüştürmek anlamına gelir. İşte eklenmesi gereken iki satırlık bir kod:

Kod:

Bir sonraki adım çok önemli. Belirteçlerin anlamlı sayılara dönüştürülmesi. Bu adım aynı zamanda özellik çıkarma olarak da bilinir. Uygulamamız için, makine öğrenimi ardışık düzenimizin özelliklerini çıkarmak ve oluşturmak için TF-IDF yöntemiyle gidiyoruz.

TF-IDF esasen terim frekansı-ters belge frekansı anlamına gelir. Adından da anlaşılacağı gibi, veri kümesi hakkındaki bilgileri, terimlerin sıklığı ve tüm veri kümesindeki terimlerin sıklığı veya belgelerin toplanması yoluyla alırız.

TF-IDF, hem TF hem de IDF değerleri karıştırılarak kolayca hesaplanabilir. Her iki formül de basit oranlar içerir.

TF = hayır. terimin belgede görünme sayısı / toplam terim sayısı.

IDF = günlük (toplam belge sayısı / terimin geçtiği belge sayısı)

Şimdi Python'un TF-IDF dönüşümü için iki uygulaması var. Birincisi bir TF-IDF vektörleştiricisi ve ikincisi TF-IDF transformatörüdür. Aradaki fark, transformatörün dönüşümden önce bir kelime çantası uygulaması gerektirmesi, vektörleyicinin ise her iki adımı bir araya getirmesidir. Ayrıca, basit bir kelime çantası uygulaması olan sayım vektörleştiricisini de kullanabiliriz. Ancak TF-IDF, belirli veri kümesi üzerinde daha iyi çalışır.

TF-IDF'nin nasıl uygulanabileceği aşağıda açıklanmıştır.

Kod:

Bir sonraki adım, Makine öğrenimi ardışık düzenidir. Tıpkı tipik ML ardışık düzeninde olduğu gibi, verileri X ve y'ye almamız gerekiyor. Bunu yapmak için, düzleştirilmesi gereken TF-IDF vektörleştiricisi tarafından çıktı olarak sağlanan matris olarak X'i kullanırız.

Matrisi bir diziye dönüştürmek için Python'daki travel fonksiyonunu kullanabiliriz. Y değerleri, sayı değil, etiket oldukları için doğrudan eklenemez. Onları 0'lara ve 1'lere dönüştürmek için sklearn'in etiket kodlayıcısını kullanıyoruz.

Bu kodlayıcı, etiket metinlerini numaralandırılmış hedeflere dönüştürür. Örneğin, şöyle bir etiket listemiz olduğunu varsayalım: ['gerçek', 'sahte', 'sahte', 'sahte']

Esasen ihtiyacımız olan şey şöyle bir liste: [1, 0, 0, 0]. Etiket kodlayıcının yaptığı, tüm farklı etiketleri alıp bir liste yapmaktır. Örneğimiz için liste ['sahte', 'gerçek'] olacaktır.

İşte aynı uygulanması:

Kod:

Tamamlandığında, eğitim ve test bölmeleri yapılır. Bu, sklearn'in ön işleme paketini kullanarak ve tren testi bölme işlevini içe aktararak elde edilebilir.

Kod:

Son adım, modelleri kullanmaktır. Kullanılabilir birçok iyi makine öğrenimi modeli vardır, ancak basit temel modeller bile sahte haber algılama projelerini uygulamamızda iyi sonuç verir . Önce bir lojistik regresyon modeli uyguluyoruz. İşte sklearn kullanarak nasıl uygulanacağı.

Kod:

Model oldukça iyi performans gösteriyor. Bir regresyon modelinde yüzde 92 doğruluk oldukça iyi. Ayrıca mevcut diğer modelleri de uygulayabilir ve doğruluklarını kontrol edebilirsiniz.

Python kullanarak sahte bir haber tespit projesini bu şekilde uygulayabilirsiniz.

Burada yapılacak çok şey olduğunu unutmayın. NLP boru hattı henüz tam olarak tamamlanmadı. Daha da iyi özellik çıkarımları elde etmek için uygulanabilecek birçok başka işlev vardır.

Ayrıca Okuyun: Python Açık Kaynak Proje Fikirleri

Sahte haberlerin teknolojiyi uyarlama şekli, daha iyi ve daha iyi işleme modelleri gerekli olacaktır. Ve bu modeller daha çok doğal dil anlayışına yönelik olacak ve bir makine öğrenimi modelinin kendisi olarak daha az ortaya çıkacaktı. Modeller ayrıca kullanılan özelliklere göre ince ayar yapılabilmektedir. Veri seti, mevcut veriler üzerinde çalışmasını sağlamak için dinamik olarak uyarlanabilir hale getirilebilir. Ancak bu, güncel haber makaleleri üzerinde kapsamlı bir şekilde eğitilmiş bir model gerektirecektir.

Dolayısıyla, daha fazla veri mevcutsa, daha iyi modeller yapılabilir ve sahte haber tespit projelerinin uygulanabilirliği geliştirilebilir. Ancak iç şema ve çekirdek boru hatları aynı kalacaktı. Açıklanan boru hatları, yapmak isteyebileceğiniz herhangi bir deneye son derece uyarlanabilir. Farklı işlevleri denemekten ve oynamaktan çekinmeyin.

Hızlı teknolojik gelişmelerin önünde olmak için veri bilimi öğrenmeyi merak ediyorsanız, upGrad & IIIT-B'nin Veri Biliminde Yönetici PG Programına göz atın ve gelecek için kendinizi geliştirin.