Python ile Twitter Verilerini Kazıma [2 API ile]

Tanıtım

Twitter gibi sosyal medya platformları, veri kümeleri toplamak için harika havuzlardan biridir. Yeni bir veri bilimi projesi üzerinde çalışmak, makul miktarda veri gerektirir, veri kümesini toplamak kolay bir iş değildir.

Ve Twitter, farklı zihniyetlere ve farklı duygulara sahip insanlardan gelen bir tweet koleksiyonu olduğu için çeşitlendirilmiş bir veri türü sağlar. Önyargısız bu tür bir veri kümesi, yeni bir makine öğrenimi modelinin eğitimi için çok ihtiyaç duyulan bir ön koşuldur.

Başlayalım!

Twitter veri kazıma için 2 API üzerinden geçeceğiz.

1. berbat
2. ikiz

berbat

Tweepy API kullanarak verileri kazımak için python kodunu incelemeye başlamadan önce, bir Twitter geliştirici hesabının kimlik bilgilerine ihtiyacımız olduğunu bilmeniz gereken bir nokta var ve bunlara zaten sahipseniz bu çok kolay.

Geliştirici hesabı olmayanlar için buradan başvurabilirsiniz . Ve bir geliştirici hesabına başvurmadan önce bir Twitter hesabınızın olması gerekir. Bir geliştirici hesabına başvurmak kolay bir işlemdir ve uygulama, başvuru nedeni vb. gibi birkaç temel soru sorar. Geliştirici hesabının onaylanması genellikle 2-3 gün sürer.

Geliştirici hesabı için onay aldıktan sonra, "anahtarlar ve belirteçler" bölümünden tüketici API anahtarlarınızı, erişim belirtecinizi ve erişim belirteci sırrını not edin.

Ayrıca, sadece bir haftadan eski olmayan tweetleri sıyırabileceğiniz gibi tweepy için birkaç kısıtlama olduğuna dikkat edilmesi gereken bir nokta var. Ve 15 dakikalık bir zaman diliminde 18000 tweet'e kadar kazıma sınırı.

Harika, şimdi geliştirici hesabından anahtarlarımız ve jetonlarımız olduğuna göre onları yetkilendirelim.

Artık kimlik bilgilerimizle yetkilendirdiğimize göre, belirli bir hesabın tweet'lerini kazıyalım. Şimdilik, Bay Sundar Pichai'nin tweet'lerini kazıyalım.

Yukarıdaki snippet'te satır1, tüm tweet'lerle yinelenebilir bir nesne oluşturur ve "tweets_obj" değişkenine atanır. Yinelenebilir bir nesne oluşturmayı bitirdikten sonra, onu yineleyelim ve tüm verileri çıkaralım.

"created_at", "id", "text" gibi yalnızca birkaç özniteliği ayıklıyoruz ve bunları 2B dizideki her girişe ekliyoruz. Her girişin, kazıdığımız her tweet'in tüm verilerine sahip olduğu yer. Artık her girdi olarak öznitelikleri olan bir 2B dizimiz olduğuna göre, onu “pd.DataFrame()” sözdizimini kullanarak bir veri çerçevesine dönüştürebiliriz.

Bir diziyi bir veri çerçevesine dönüştürmenin nedeni, daha fazla esneklik, önceden tanımlanmış yöntemlerin kullanılabilirliği ve kolay erişim, onu veri bilimi projeleri için tüm veri yapılarından farklı kılar.

Benzer şekilde, belirli bir metin sorgusuna sahip verileri kazımak için bir kodu inceleyelim.

Yukarıdaki snippet'te her şey önceki snippet'le aynıdır. Sonunda, “vocal for local” metin sorgusunu içeren tüm tweet'leri içeren bir veri çerçevesi oluşturduk.

Retweet sayısı, favori sayısı vb. gibi daha fazla özellik dahil olmak üzere daha spesifik veya özelleştirilmiş bir veri kazıma arıyorsanız. Sözdizimimizi özelleştirebilir ve tweepy tarafından sağlanan diğer özellikleri çıkarabiliriz. tweepy tarafından sunulan diğer özellikler hakkında daha fazla bilgi için belgelere bakın .

ikiz

Twint API, herhangi bir geliştirici hesabı kimlik bilgisi gerektirmez, tweet'leri herhangi bir yetkilendirme anahtarı olmadan kolayca kazıyabilirsiniz. Ayrıca twint'in tweet sayısı, zaman çerçevesi, kazıma limitleri vb. gibi herhangi bir kısıtlaması yoktur. Twint size sorunsuz bir veri kazıma ve kullanımı kolay bir API sağlar.

Kullanıcı adını kullanan bir kişinin takipçi listesini twint API'den yazdırabiliriz.

t_obj = twint.Config() t_obj.Username = " sundarpichai " twint.run.Followers(t_obj)

Yukarıdaki kod parçasında twint.Config() twint API'sini yapılandırır ve işlerin başlamasını sağlar. Ve çalışmamız için bu referansı kullanabileceğimiz bir nesne atadıktan sonra “t_obj.Username” girdiğimiz kullanıcı adını atar. Ve twint.run.Followers, bu kullanıcı adının tüm takipçilerini arar.

Ayrıca kazınmış verileri, tweepy API'ye benzer bir veri çerçevesine kaydedebiliriz.

Parçacıktaki her şey önceki parçayla hemen hemen aynıdır, yalnızca kazınmış verileri bir veri çerçevesine dönüştüren ekstra bir sözdizimi "twint.storage.panda.User_df" satırı vardır. Sonuç veri çerçevesi, verilen kullanıcı adının takipçilerinin bir listesinden oluşur.

Artık belirli bir kullanıcı adının takipçi verilerini kazımayı gördüğümüze göre, belirli bir hesabın tweet'lerini kazıma kodunu inceleyelim.

Yukarıdaki snippet'te, belirli bir kişinin tweet'lerini aramak için yapılandırılmış nesneyi yapıyoruz, “t_obj.Limit” sözdizimini kullanarak kazıma yaparken tweet'lerin sınırını da ayarlayabiliriz. Aramayı çalıştırdıktan sonra, tüm tweet'lerin bir listesini oluşturur ve ihtiyacımıza göre yerel bir değişkene atayabiliriz.

Belirli bir hesabın kazıma bilgilerinin snippet'lerini gördükten sonra, belirli bir anahtar kelimeyi içeren tweet'lerin nasıl kazınacağıyla ilgili hızlı bir sorunuz olabilir. Sorun değil twint'in bunun için bir çözümü var.

Yukarıdaki snippet, satır1'de tek bir farkla, belirli bir hesaptan tweet'leri sıyırmak için kullanılan snippet ile aynıdır. Ayrıca, rahatlığımıza göre bir veri çerçevesine de dönüştürebiliriz.

twint API hakkında daha fazla bilgi için depolarına ve belgelerine bakın .

Çözüm

Verileri kazımanın önemini anladık. Twitter verilerini kazımak için iki API ve özelliklerini inceledik. Kazınmış verileri gerekli dosya biçimimize dönüştürmek için birkaç yöntem gördük. Artık bu API'lerin farkında olduğunuza göre, veri bilimi projeleriniz için verileri kazımaya başlayın!

upGrad olarak size yardımcı olmaktan mutluluk duyarız ve ayrıca python öğrenerek sahip olabileceğiniz fırsatlar hakkında sizi bilgilendirmek isteriz. Python, en popüler ve gelişmekte olan teknolojilerden ikisi olan Makine Öğrenimi ve Veri Bilimi için yaygın olarak kullanılmaktadır. Python öğrenmek ve ayrıca bu beceriler hakkında bilgi sahibi olmak, alanınızda başarılı olmanızı ve daha iyi kariyer fırsatları elde etmenizi sağlayacaktır.

Bu alanda başarılı olmanız için gereken tüm becerileri size sağlamak için endüstri uzmanları ve en iyi akademik enstitülerle birlikte geliştirilmiş birçok kursumuz var. Python'daki bilginizi kullanmanıza ve kariyer beklentilerinizi artırmanıza yardımcı olabilecek kurslardan bazıları:

Veri Bilimi:

upGrad'ın IIIT-B ile geliştirilen Çevrimiçi Veri Bilimi Programlarına göz atın, bu alana girmek ve bilgi birikiminizle endüstrilerde iz bırakmak için tam teşekküllü bir veri bilimi dersidir.

Masters of Science in Data Science : Liverpool John Moores Üniversitesi ve IIIT-B ile koordineli olarak geliştirilen, dünyanın en iyi üniversitelerinden birinden Veri Bilimi alanında yüksek lisans derecesi almıştır.

Makine öğrenme:

Makine Öğrenimi ve Yapay Zekada İleri Düzey Sertifikasyon : Hindistan'ın en iyi eğitim kurumlarından biri olan IIT madras, bireylerin bu kursla Makine Öğrenimi hakkında tam bilgi sahibi olmaları için ileri Düzey bir Makine Öğrenimi kursu yapmak üzere upGrad ile ortaklık kurdu.

Makine Öğrenimi ve Yapay Zekada Bilim Ustaları : Liverpool John Moores Üniversitesi ve IIIT-B, bireylerin teknolojiyi ayrıntılı olarak öğrenmeleri ve bu teknolojide resmi bir derece almaları için başarılı bir temel oluşturmak için tam bilim yüksek lisans dereceleri sağlamak için upGrad ile birlikte ortaklık kurdu. Bu alanda yol.

Makine Öğrenimi ve Yapay Zekada PG Diploması : IIIT-B ve upGrad, bireylerin Makine Öğrenimi ve Yapay Zeka üzerine 12 aylık bir kurs yapma ve bu kursla bu teknolojiye girme şansı bulmalarına yardımcı olmak için bir araya geldi.