Mengikis Data Twitter Dengan Python [Dengan 2 API]

pengantar

Platform media sosial seperti Twitter adalah salah satu repositori hebat untuk mengumpulkan kumpulan data. Bekerja pada proyek ilmu data baru membutuhkan cukup banyak data, mengumpulkan dataset bukanlah tugas yang mudah.

Dan Twitter menyediakan genre data yang beragam karena merupakan kumpulan tweet dari orang-orang dengan pola pikir dan sentimen berbeda. Jenis set data tanpa bias ini merupakan prasyarat yang sangat dibutuhkan untuk melatih model pembelajaran mesin baru.

Mari kita mulai!

Kami akan membahas 2 API untuk pengikisan data Twitter.

1. tweepy
2. kembar

tweepy

Sebelum kita mulai menelusuri kode python untuk menggores data menggunakan Tweepy API, ada satu hal yang perlu Anda ketahui bahwa kami memerlukan kredensial akun pengembang Twitter dan itu adalah hal yang mudah jika Anda sudah memilikinya.

Untuk orang-orang yang tidak memiliki akun pengembang, Anda dapat mengajukan permohonan di sini . Dan sebelum mengajukan akun pengembang, Anda harus memiliki akun Twitter. Mengajukan permohonan akun pengembang adalah proses yang mudah dan aplikasi mengajukan beberapa pertanyaan dasar seperti alasan permohonan, dll. Dan persetujuan akun pengembang umumnya memakan waktu 2-3 hari.

Setelah Anda menerima persetujuan untuk akun pengembang, catat kunci API konsumen Anda, token akses, dan rahasia token akses dari bagian “kunci dan token”.

Juga, ada hal yang perlu diperhatikan bahwa ada beberapa batasan untuk tweepy seperti Anda hanya dapat mengikis tweet yang tidak lebih dari seminggu. Dan batas pengikisan, hingga 18.000 tweet dalam jangka waktu 15 menit.

Bagus, sekarang kita memiliki kunci dan token dari akun pengembang, mari kita otorisasi mereka.

Sekarang kami telah diotorisasi dengan kredensial kami, Mari mengikis tweet dari akun tertentu. Untuk saat ini, mari kita coret tweet Pak Sundar Pichai.

Dalam cuplikan di atas, line1 membuat objek yang dapat diubah dengan semua tweet dan ditetapkan ke variabel "tweets_obj". Setelah kita selesai membuat objek yang dapat diubah, mari kita ulangi dan ekstrak semua data.

Kami mengekstrak hanya beberapa atribut seperti "created_at", "id", "text" dan menambahkannya ke setiap entri dalam array 2D. Dimana setiap entri memiliki semua data dari setiap tweet yang kita coret. Sekarang kita memiliki array 2D dengan atribut sebagai setiap entri, kita dapat mengubahnya menjadi bingkai data dengan menggunakan sintaks “pd.DataFrame()”.

Alasan untuk mengonversi array ke bingkai data adalah lebih fleksibel, ketersediaan metode yang telah ditentukan sebelumnya, dan akses yang mudah membuatnya menonjol dari semua struktur data untuk proyek ilmu data.

Demikian pula, mari kita menelusuri kode untuk menggores data yang memiliki kueri teks tertentu.

Pada cuplikan di atas, semuanya sama dengan cuplikan sebelumnya. Akhirnya, kami membuat bingkai data dengan semua tweet yang berisi kueri teks "vokal untuk lokal".

Jika Anda mencari pengikisan data yang lebih spesifik atau khusus seperti memasukkan lebih banyak atribut seperti jumlah retweet, jumlah favorit, dll. Kami dapat menyesuaikan sintaks kami dan mengekstrak atribut lain yang disediakan oleh tweepy. Untuk bacaan lebih lanjut tentang atribut lain yang ditawarkan oleh tweepy lihat dokumentasi .

kembar

Twint API tidak memerlukan kredensial akun pengembang apa pun, Anda dapat mengikis tweet dengan mudah tanpa kunci otorisasi apa pun. Selain itu, twint tidak memiliki batasan seperti jumlah tweet, kerangka waktu, batas pengikisan, dll. Twint memberi Anda pengikisan data yang mulus dan API yang mudah digunakan.

Kami dapat mencetak daftar pengikut seseorang menggunakan nama pengguna dari API twint.

Dalam cuplikan di atas twint.Config() mengonfigurasi twint API dan memulai semuanya. Dan setelah menetapkan objek, kita dapat menggunakan referensi itu untuk pekerjaan kita, “t_obj.Username” memberikan nama pengguna yang telah kita masukkan. Dan twint.run.Followers melakukan pencarian semua pengikut dari nama pengguna tersebut.

Kami juga dapat menyimpan data yang tergores ke dalam bingkai data yang mirip dengan tweepy API.

Semua yang ada di snippet hampir sama dengan snippet sebelumnya, hanya dengan tambahan baris sintaks “twint.storage.panda.User_df” yang mengubah data yang tergores menjadi bingkai data. Kerangka data hasil terdiri dari daftar pengikut nama pengguna yang diberikan.

Sekarang kita telah melihat menggores data pengikut dari nama pengguna tertentu, mari kita menelusuri kode untuk menggores tweet dari akun tertentu.

Dalam cuplikan di atas, kita membuat objek yang dikonfigurasi untuk mencari tweet orang tertentu, kita juga dapat mengatur batas tweet saat menggores menggunakan sintaks “t_obj.Limit”. Dan setelah menjalankan pencarian, itu membuat daftar semua tweet dan kita dapat menetapkannya ke variabel lokal sesuai kebutuhan kita.

Setelah melihat cuplikan scraping info dari akun tertentu, Anda mungkin memiliki pertanyaan singkat yaitu bagaimana cara scraping tweet yang mengandung kata kunci tertentu?. Bukan masalah twint punya solusi untuk ini.

Cuplikan di atas sama dengan cuplikan untuk menggores tweet dari akun tertentu, dengan satu perbedaan pada baris1. Kami juga dapat mengonversinya menjadi bingkai data sesuai kenyamanan kami.

Untuk bacaan lebih lanjut tentang twint API, lihat repositori dan dokumentasinya .

Kesimpulan

Kami telah memahami pentingnya menggores data. Berjalan melalui dua API dan fitur mereka untuk menggores data Twitter. Lihat beberapa metode untuk mengubah data yang tergores ke dalam format file yang kami butuhkan. Sekarang setelah Anda mengetahui API ini, mulailah menggores data untuk proyek ilmu data Anda!

Kami di upGrad dengan senang hati membantu Anda dan juga ingin memberi tahu Anda tentang peluang yang dapat Anda peroleh dengan mempelajari python. Python telah digunakan secara luas untuk Pembelajaran Mesin dan Ilmu Data, dua teknologi paling populer dan sedang berkembang. Mempelajari Python dan juga memiliki pengetahuan tentang keterampilan ini akan membuat Anda unggul di bidang Anda dan mendapatkan peluang karir yang lebih baik.

Kami memiliki banyak kursus yang dikembangkan bersama dengan pakar industri dan lembaga akademis terkemuka untuk memberi Anda semua keterampilan yang diperlukan untuk unggul dalam bidang ini. Beberapa kursus yang dapat membantu Anda memanfaatkan pengetahuan Anda tentang python dan meningkatkan prospek karir Anda:

Ilmu Data:

Lihat Program Ilmu Data Online upGrad yang dikembangkan dengan IIIT-B, ini adalah kursus ilmu data lengkap untuk masuk ke bidang ini dan membuat tanda di industri dengan pengetahuan Anda.

Master of Science in Data Science : Dikembangkan dalam koordinasi dengan Liverpool John Moores University dan IIIT-B, mendapat gelar master di Data Science dari salah satu universitas top dunia.

Pembelajaran mesin:

Sertifikasi Tingkat Lanjut dalam Pembelajaran Mesin dan AI : Madras IIT, salah satu lembaga pendidikan terbaik di India, telah bermitra dengan upGrad untuk membuat kursus lanjutan tentang Pembelajaran Mesin bagi individu untuk memiliki pengetahuan lengkap tentang Pembelajaran Mesin dengan kursus ini.

Master of Science dalam Machine Learning dan AI : Liverpool John Moores University dan IIIT-B telah bekerja sama dengan upGrad untuk menyediakan gelar master sains lengkap bagi individu untuk mempelajari teknologi secara rinci dan mendapatkan gelar formal dalam teknologi ini untuk membuka jalan yang sukses jalan di bidang ini.

Diploma PG dalam Pembelajaran Mesin dan AI : IIIT-B dan upGrad berkumpul untuk membantu individu mendapatkan kesempatan untuk melakukan kursus selama 12 bulan tentang Pembelajaran Mesin dan AI dan memiliki kesempatan untuk memasuki teknologi ini dengan kursus ini.