Apa itu P-Hacking & Bagaimana Menghindarinya di 2022?

Analisis Statistik adalah bagian penting dari Ilmu Data dan analisis. Salah satu konsep terpenting dalam statistik adalah Pengujian Hipotesis dan Nilai-P. Menafsirkan Nilai-P bisa jadi rumit dan Anda mungkin salah melakukannya. Waspadalah terhadap P-Hacking!

Pada akhir tutorial ini Anda akan memiliki pengetahuan di bawah ini:

• Nilai-P
• Cara menolak/menerima hipotesis
• Apa itu P-Hacking dan bagaimana cara menghindarinya
• Apa itu Kekuatan Statistik

Mari selami!

Apa itu Nilai-P?

Nilai-P mengevaluasi seberapa baik data sampel mendukung bahwa hipotesis nol itu benar. Ini mengukur seberapa benar data sampel Anda dengan hipotesis nol.

Saat melakukan pengujian Statistik, nilai ambang batas atau alfa perlu ditetapkan sebelum memulai pengujian. Nilai umum untuk itu adalah 0,05, yang dapat dianggap sebagai probabilitas. Nilai-P didefinisikan sebagai probabilitas mendapatkan hasil yang langka seperti alfa atau bahkan lebih jarang.

Oleh karena itu, jika nilai P kami kurang dari alfa itu, itu berarti uji statistik kami tidak terjadi secara kebetulan dan memang signifikan. Jadi, jika Nilai-P kita datang, katakanlah, 0,04, kita katakan kita menolak Hipotesis Null.

Nilai P yang rendah menunjukkan bahwa sampel Anda memberikan cukup bukti bahwa Anda dapat menolak hipotesis nol untuk seluruh populasi. Jika Anda mendapatkan P-Value kurang dari 0,05 dalam kasus kami, maka Anda dapat dengan aman mengatakan bahwa hipotesis nol dapat ditolak. Dengan kata lain, sampel yang Anda ambil dari populasi tidak terjadi secara kebetulan dan eksperimen memang memiliki pengaruh yang signifikan.

Jadi apa yang bisa salah?

Seperti yang kita katakan bahwa mendapatkan nilai P apa pun yang kurang dari alfa memberi kita kebebasan untuk menolak Hipotesis Null dengan aman, kita mungkin membuat kesalahan jika eksperimen kita sendiri tidak menunjukkan gambaran yang benar! Dengan kata lain, itu mungkin positif palsu.

Apa itu P-Hacking?

Kami mengatakan bahwa kami melakukan P-Hacked ketika kami salah mengeksploitasi analisis statistik dan secara salah menyimpulkan bahwa kami dapat menolak hipotesis nol. Mari kita pahami ini secara detail.

# Hack 1

Pertimbangkan kami memiliki 5 jenis Vaksin kandidat CoronaVirus yang kami perlu periksa mana yang memiliki dampak aktual pada waktu pemulihan pasien. Jadi katakanlah kita melakukan Uji Hipotesis untuk semua 5 jenis vaksin satu per satu. Kami menetapkan alfa sebagai 0,05. Dan karenanya jika P-Value untuk vaksin apapun datang kurang dari itu, kita katakan kita bisa menolak Hipotesis Null.. Atau bisakah kita?

Contoh 1

Katakanlah, Vaksin A memberikan Nilai-P 0,2, Vaksin B memberi 0,058, Vaksin C memberi 0,4, Vaksin D memberi 0,02, Vaksin E memberi 0,07.

Sekarang, dengan hasil di atas, cara yang naif untuk menyimpulkan bahwa Vaksin D adalah yang secara signifikan mengurangi waktu pemulihan dan dapat digunakan sebagai Vaksin CoronaVirus. Tapi bisakah kita benar-benar mengatakan itu dulu? No Jika kita melakukannya, kita mungkin P-Hacking. Karena ini bisa menjadi positif palsu.

Contoh 2

Oke, mari kita ambil cara lain. Anggap saja kami memiliki Vaksin X dan kami pasti tahu bahwa Vaksin ini tidak berguna dan tidak berpengaruh pada waktu pemulihan. Masih kami melakukan 10 uji hipotesis dengan sampel acak yang berbeda setiap kali dengan P-Value 0,05. Katakanlah kita mendapatkan nilai-P berikut dalam 10 pengujian kita: 0.8, 0.7, 0.78, 0.65, 0.03 , 0.1, 0.4, 0.09, 0.6, 0.75. Sekarang jika kita harus mempertimbangkan pengujian di atas, pengujian dengan Nilai P yang sangat rendah sebesar 0,03 akan membuat kita menolak Hipotesis Null, tetapi kenyataannya tidak.

Jadi apa yang kita lihat dari contoh di atas? Intinya, ketika kami mengatakan bahwa alfa = 0,05 kami menetapkan interval kepercayaan 95%. Dan itu berarti 5% dari pengujian masih akan menghasilkan kesalahan seperti di atas.

Beberapa Masalah Pengujian

Salah satu cara untuk mengatasi ini adalah dengan meningkatkan jumlah tes. Jadi lebih banyak tes, lebih mudah Anda dapat mengatakan bahwa jumlah maksimum tes menghasilkan penolakan Null. Tetapi juga, lebih banyak tes akan berarti bahwa akan ada lebih banyak positif palsu (5% dari total tes dalam kasus kami). 5 dari 100, 50 dari 1000 atau 500 dari 10.000! Ini juga disebut Masalah Pengujian Berganda .

Tingkat Penemuan Palsu

Salah satu cara untuk mengatasi masalah di atas adalah dengan menyesuaikan semua P-Value dengan menggunakan mekanisme yang disebut False Discovery Rate (FDR). FDR adalah penyesuaian matematis dari P-Values ​​yang meningkatkannya dengan beberapa nilai dan pada akhirnya, P-Values ​​yang salah turun, mungkin akan disesuaikan dengan nilai yang lebih tinggi dari 0,05.

Pelajari : 8 Keterampilan Penting untuk Ilmuwan Data

# Retas 2

Sekarang pertimbangkan kasus dari contoh di mana Vaksin B memberikan nilai-P 0,058. Tidakkah Anda tergoda untuk menambahkan lebih banyak data dan menguji ulang untuk melihat apakah P-Value berkurang? Katakanlah, Anda menambahkan beberapa titik data lagi, dan nilai P untuk Vaksin B menjadi 0,048. Apakah ini sah? Tidak, Anda akan kembali menjadi P-Hacking. Kami tidak dapat mengubah atau menambahkan data agar sesuai dengan pengujian kami nanti dan ukuran sampel yang tepat perlu diputuskan sebelum melakukan pengujian dengan melakukan Analisis Daya .

Analisis Daya memberi tahu kita ukuran sampel yang tepat yang kita butuhkan untuk memiliki peluang maksimum untuk menolak hipotesis nol dengan benar dan tidak tertipu.

# Hack 3

Satu lagi kesalahan yang tidak boleh Anda lakukan adalah mengubah alfa setelah Anda melakukan eksperimen. Jadi begitu Anda melihat P-Value 0,058, Anda berpikir bagaimana jika alpha saya 0,06?

Tetapi Anda tidak dapat mengubahnya setelah eksperimen dimulai.

Wajib Dibaca : Bagaimana Menjadi Data Scientist?

Sebelum kamu pergi

Pengujian Hipotesis dan Nilai-P adalah subjek yang rumit dan perlu dipahami dengan cermat sebelum melakukan pemotongan. Daya Statistik dan Analisis Daya adalah bagian penting dari ini yang perlu diingat sebelum memulai tes.

Jika Anda penasaran untuk belajar tentang ilmu data, lihat Diploma PG IIIT-B & upGrad dalam Ilmu Data yang dibuat untuk para profesional yang bekerja dan menawarkan 10+ studi kasus & proyek, lokakarya praktis, bimbingan dengan pakar industri, 1- on-1 dengan mentor industri, 400+ jam pembelajaran dan bantuan pekerjaan dengan perusahaan-perusahaan top.