Regularisasi dalam Pembelajaran Mesin: Bagaimana Menghindari Overfitting?

Pembelajaran mesin melibatkan melengkapi komputer untuk melakukan tugas-tugas tertentu tanpa instruksi eksplisit. Jadi, sistem diprogram untuk belajar dan meningkatkan dari pengalaman secara otomatis. Ilmuwan data biasanya menggunakan regularisasi dalam pembelajaran mesin untuk menyesuaikan model mereka dalam proses pelatihan. Mari kita memahami konsep ini secara rinci.

Regularisasi Dodges Overfitting

Regularisasi dalam pembelajaran mesin memungkinkan Anda menghindari model pelatihan yang berlebihan. Overfitting terjadi saat model Anda menangkap data arbitrer dalam set data pelatihan Anda. Titik data tersebut yang tidak memiliki properti data Anda membuat model Anda 'berisik'. Kebisingan ini mungkin membuat model Anda lebih fleksibel, tetapi dapat menimbulkan tantangan akurasi rendah.

Pertimbangkan sebuah kelas yang terdiri dari 10 siswa dengan jumlah anak perempuan dan laki-laki yang sama. Nilai keseluruhan kelas dalam ujian tahunan adalah 70. Nilai rata-rata siswa perempuan adalah 60, dan siswa laki-laki adalah 80. Berdasarkan nilai masa lalu ini, kami ingin memprediksi nilai masa depan siswa. Prediksi dapat dibuat dengan cara berikut:

• Di Bawah Fit: Seluruh kelas akan mendapat skor 70
• Optimum Fit: Ini bisa menjadi model sederhana yang memprediksi skor anak perempuan sebagai 60 dan anak laki-laki sebagai 80 (sama seperti terakhir kali)
• Over Fit: Model ini mungkin menggunakan atribut yang tidak berhubungan, katakanlah nomor roll, untuk memprediksi bahwa siswa akan mendapat nilai yang sama persis seperti tahun lalu.

Regularisasi adalah bentuk regresi yang menyesuaikan fungsi kesalahan dengan menambahkan istilah penalti lain. Suku tambahan ini menjaga agar koefisien tidak mengambil nilai ekstrim, sehingga menyeimbangkan fungsi yang sangat berfluktuasi.

Setiap pakar pembelajaran mesin akan berusaha keras untuk membuat model mereka akurat dan bebas kesalahan. Dan kunci untuk mencapai tujuan ini terletak pada penguasaan trade-off antara bias dan varians. Baca terus untuk mendapatkan gambaran yang jelas tentang apa artinya ini.

Menyeimbangkan Bias dan Varians

Kesalahan pengujian yang diharapkan dapat diminimalkan dengan menemukan metode yang menyelesaikan keseimbangan 'bias-varians' yang tepat. Dengan kata lain, metode pembelajaran statistik pilihan Anda harus mengoptimalkan model dengan secara bersamaan mewujudkan varians rendah dan bias rendah. Sebuah model dengan varians tinggi overfitted, dan hasil bias tinggi dalam model underfitted.

Validasi silang menawarkan cara lain untuk menghindari overfitting. Ini memeriksa apakah model Anda mengambil pola yang benar dari kumpulan data, dan memperkirakan kesalahan pada kumpulan pengujian Anda. Jadi, metode ini pada dasarnya memvalidasi stabilitas model Anda. Selain itu, ia memutuskan parameter yang paling sesuai untuk model khusus Anda.

Meningkatkan Interpretabilitas Model

Tujuannya tidak hanya untuk mendapatkan kesalahan nol untuk set pelatihan tetapi juga untuk memprediksi nilai target yang benar dari set data pengujian. Jadi, kami memerlukan fungsi 'disetel' yang mengurangi kerumitan proses ini.

Menjelaskan regulasi R dalam Machine Learning

Regularisasi adalah bentuk regresi terkendala yang bekerja dengan mengecilkan estimasi koefisien menuju nol. Dengan cara ini, membatasi kapasitas model untuk belajar dari kebisingan.

Mari kita lihat persamaan regresi linier ini:

Y= 0+β1X1+β2X2+…..+pXp

Di sini, menunjukkan estimasi koefisien untuk berbagai prediktor yang diwakili oleh (X). Dan Y adalah relasi yang dipelajari.

Karena fungsi ini sendiri mungkin mengalami kesalahan, kami akan menambahkan fungsi kesalahan untuk mengatur perkiraan yang dipelajari. Kami ingin meminimalkan kesalahan dalam kasus ini sehingga kami dapat menyebutnya sebagai fungsi kerugian juga. Seperti inilah fungsi kerugian atau Residual Sum of Squares (RSS) ini:

Oleh karena itu, ilmuwan data menggunakan regularisasi untuk menyesuaikan fungsi prediksi. Teknik regularisasi juga dikenal sebagai metode penyusutan atau peluruhan berat. Mari kita memahami beberapa dari mereka secara rinci.

Regularisasi Ridge

Dalam Regresi Ridge, fungsi kerugian dimodifikasi dengan kuantitas penyusutan yang sesuai dengan penjumlahan nilai kuadrat dari . Dan nilai menentukan berapa banyak model akan dihukum.

Estimasi koefisien dalam Regresi Ridge disebut norma L2. Teknik regularisasi ini akan membantu Anda ketika variabel independen dalam data Anda sangat berkorelasi.

Regularisasi Lasso

Dalam teknik Lasso, penalti yang sama dengan jumlah nilai absolut (modulus ) ditambahkan ke fungsi kesalahan. Selanjutnya dikalikan dengan parameter yang mengontrol kekuatan penalti. Hanya koefisien tinggi yang dihukum dalam metode ini.

Estimasi koefisien yang dihasilkan oleh Lasso disebut sebagai norma L1. Metode ini sangat bermanfaat ketika ada sejumlah kecil pengamatan dengan sejumlah besar fitur.

Untuk menyederhanakan pendekatan di atas, pertimbangkan konstanta, s, yang ada untuk setiap nilai . Sekarang, dalam regularisasi L2, kita memecahkan persamaan di mana jumlah kuadrat dari koefisien kurang dari atau sama dengan s. Sedangkan pada regularisasi L1, penjumlahan modulus koefisien harus lebih kecil atau sama dengan s.

Baca: Pembelajaran Mesin vs Jaringan Neural

Kedua metode yang disebutkan di atas berusaha untuk memastikan bahwa model regresi tidak mengkonsumsi atribut yang tidak perlu. Untuk alasan ini, Regresi Ridge dan Lasso juga dikenal sebagai fungsi kendala.

RSS dan Prediktor Fungsi Kendala

Dengan bantuan penjelasan sebelumnya, fungsi kerugian (RSS) untuk Regresi Ridge dan Lasso dapat diberikan oleh 1² + β2² s dan |β1| + |β2| s, masing-masing. 1² + 2² s akan membentuk lingkaran, dan RSS akan menjadi yang terkecil untuk semua titik yang ada di dalamnya. Adapun fungsi Lasso, RSS akan menjadi yang terendah untuk semua titik yang terletak di dalam berlian yang diberikan oleh |β1| + |β2| s.

Regresi Ridge mengecilkan estimasi koefisien untuk variabel prediktor yang paling tidak penting tetapi tidak menghilangkannya. Oleh karena itu, model akhir dapat berisi semua prediktor karena estimasi bukan nol. Di sisi lain, Lasso dapat memaksa beberapa koefisien menjadi tepat nol, terutama ketika besar.

Baca: Pustaka Python untuk Pembelajaran Mesin

Bagaimana Regularisasi Mencapai Keseimbangan

Ada beberapa varians yang terkait dengan model kuadrat terkecil standar. Teknik regularisasi mengurangi varians model tanpa meningkatkan bias kuadratnya secara signifikan. Dan nilai parameter penyetelan, , mengatur keseimbangan ini tanpa menghilangkan sifat kritis data. Hukuman tidak berpengaruh ketika nilai adalah nol, yang merupakan kasus regresi kuadrat terkecil biasa.

Varians hanya turun ketika nilai naik. Tapi ini hanya terjadi sampai titik tertentu, setelah itu bias mulai meningkat. Oleh karena itu, memilih nilai faktor susut ini adalah salah satu langkah paling kritis dalam regularisasi.

Kesimpulan

Dalam artikel ini, kami mempelajari tentang regularisasi dalam pembelajaran mesin dan kelebihannya serta mengeksplorasi metode seperti regresi ridge dan laso. Akhirnya, kami memahami bagaimana teknik regularisasi membantu meningkatkan akurasi model regresi. Jika Anda baru memulai regularisasi, sumber daya ini akan memperjelas dasar-dasar Anda dan mendorong Anda untuk mengambil langkah pertama itu!

Jika Anda tertarik untuk mempelajari lebih lanjut tentang pembelajaran mesin, lihat PG Diploma IIIT-B & upGrad dalam Pembelajaran Mesin & AI yang dirancang untuk para profesional yang bekerja dan menawarkan 450+ jam pelatihan ketat, 30+ studi kasus & tugas, IIIT- B Status alumni, 5+ proyek batu penjuru praktis & bantuan pekerjaan dengan perusahaan-perusahaan top.