6 Jenis Model Regresi dalam Machine Learning Yang Harus Anda Ketahui

pengantar

Regresi linier dan regresi logistik adalah dua jenis teknik analisis regresi yang digunakan untuk menyelesaikan masalah regresi menggunakan pembelajaran mesin. Mereka adalah teknik regresi yang paling menonjol. Namun, ada banyak jenis teknik analisis regresi dalam pembelajaran mesin, dan penggunaannya bervariasi sesuai dengan sifat data yang terlibat.

Artikel ini akan menjelaskan berbagai jenis regresi dalam pembelajaran mesin, dan dalam kondisi apa masing-masing dapat digunakan. Jika Anda baru mengenal pembelajaran mesin, artikel ini pasti akan membantu Anda memahami konsep pemodelan regresi.

Apa itu Analisis Regresi?

Analisis regresi adalah teknik pemodelan prediktif yang menganalisis hubungan antara target atau variabel dependen dan variabel independen dalam suatu dataset. Berbagai jenis teknik analisis regresi digunakan ketika target dan variabel independen menunjukkan hubungan linier atau non-linier antara satu sama lain, dan variabel target mengandung nilai kontinu. Teknik regresi digunakan terutama untuk menentukan kekuatan prediktor, tren ramalan, deret waktu, dan dalam hal hubungan sebab & akibat.

Analisis regresi adalah teknik utama untuk memecahkan masalah regresi dalam pembelajaran mesin menggunakan pemodelan data. Ini melibatkan penentuan garis yang paling cocok, yang merupakan garis yang melewati semua titik data sedemikian rupa sehingga jarak garis dari setiap titik data diminimalkan.

Jenis Teknik Analisis Regresi

Ada banyak jenis teknik analisis regresi , dan penggunaan masing-masing metode tergantung pada jumlah faktor. Faktor-faktor tersebut meliputi jenis variabel sasaran, bentuk garis regresi, dan jumlah variabel bebas.

Di bawah ini adalah teknik regresi yang berbeda:

1. Regresi linier
2. Regresi logistik
3. Regresi punggungan
4. Regresi Lasso
5. Regresi Polinomial
6. Regresi Linier Bayesian

Berbagai jenis regresi dalam teknik pembelajaran mesin dijelaskan di bawah ini secara rinci:

1. Regresi Linier

Regresi linier adalah salah satu jenis regresi paling dasar dalam pembelajaran mesin . Model regresi linier terdiri dari variabel prediktor dan variabel dependen yang saling berhubungan secara linier. Dalam hal data melibatkan lebih dari satu variabel bebas, maka regresi linier disebut model regresi linier berganda.

Persamaan yang diberikan di bawah ini digunakan untuk menunjukkan model regresi linier:

y=mx+c+e

di mana m adalah kemiringan garis, c adalah intersep, dan e mewakili kesalahan dalam model.

Sumber

Garis yang paling cocok ditentukan dengan memvariasikan nilai m dan c. Kesalahan prediktor adalah perbedaan antara nilai yang diamati dan nilai yang diprediksi. Nilai m dan c dipilih sedemikian rupa sehingga memberikan kesalahan prediktor minimum. Penting untuk dicatat bahwa model regresi linier sederhana rentan terhadap outlier. Oleh karena itu, tidak boleh digunakan dalam kasus data ukuran besar.

2. Regresi Logistik

Regresi logistik adalah salah satu jenis teknik analisis regresi, yang digunakan ketika variabel dependen bersifat diskrit. Contoh: 0 atau 1, benar atau salah, dll. Ini berarti variabel target hanya dapat memiliki dua nilai, dan kurva sigmoid menunjukkan hubungan antara variabel target dan variabel independen.

Fungsi Logit digunakan dalam Regresi Logistik untuk mengukur hubungan antara variabel target dan variabel independen. Di bawah ini adalah persamaan yang menunjukkan regresi logistik.

logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3….+bkXk

di mana p adalah peluang kemunculan fitur.

Sumber

Untuk memilih regresi logistik, sebagai teknik analisis regresi, perlu diperhatikan, ukuran datanya besar dengan kemunculan nilai yang hampir sama pada variabel sasaran. Juga, tidak boleh ada multikolinearitas, yang berarti bahwa tidak boleh ada korelasi antara variabel independen dalam dataset.

3. Regresi Punggungan

Sumber

Ini adalah salah satu jenis regresi dalam pembelajaran mesin yang biasanya digunakan ketika ada korelasi yang tinggi antara variabel independen. Ini karena, dalam kasus data multikolinier, estimasi kuadrat terkecil memberikan nilai yang tidak bias. Tetapi, jika kolinearitasnya sangat tinggi, mungkin ada beberapa nilai bias. Oleh karena itu, matriks bias diperkenalkan dalam persamaan Regresi Ridge. Ini adalah metode regresi yang kuat di mana model kurang rentan terhadap overfitting.

Di bawah ini adalah persamaan yang digunakan untuk menunjukkan Regresi Ridge, di mana pengenalan (lambda) memecahkan masalah multikolinearitas:

= (X^{T}X + *I)^{-1}X^{T}y

Lihat: 5 Aplikasi Terobosan Pembelajaran Mesin

4. Regresi Lasso

Regresi Lasso merupakan salah satu jenis regresi pada machine learning yang melakukan regularisasi beserta seleksi fitur. Ini melarang ukuran absolut dari koefisien regresi. Akibatnya, nilai koefisien semakin mendekati nol, yang tidak terjadi pada kasus Regresi Ridge.

Karena itu, pemilihan fitur digunakan dalam Regresi Lasso, yang memungkinkan pemilihan sekumpulan fitur dari kumpulan data untuk membangun model. Dalam kasus Regresi Lasso, hanya fitur yang diperlukan yang digunakan, dan yang lainnya dibuat nol. Ini membantu dalam menghindari overfitting dalam model. Jika variabel independen sangat kolinear, maka regresi Lasso hanya mengambil satu variabel dan membuat variabel lain menyusut hingga nol.

Sumber

Di bawah ini adalah persamaan yang mewakili metode Regresi Lasso:

N^{-1}Σ^{N}_{i=1}f(x_{i}, y_{I}, , )

5. Regresi Polinomial

Regresi Polinomial adalah salah satu jenis teknik analisis regresi dalam pembelajaran mesin, yang sama dengan Regresi Linier Berganda dengan sedikit modifikasi. Dalam Regresi Polinomial, hubungan antara variabel bebas dan variabel terikat, yaitu X dan Y, dilambangkan dengan derajat ke-n.

Ini adalah model linier sebagai penduga. Metode Least Mean Squared juga digunakan dalam Regresi Polinomial. Garis yang paling sesuai dalam Regresi Polinomial yang melewati semua titik data bukanlah garis lurus, melainkan garis lengkung, yang bergantung pada pangkat X atau nilai n.

Sumber

Saat mencoba mengurangi Mean Squared Error seminimal mungkin dan untuk mendapatkan garis yang paling sesuai, model dapat rentan terhadap overfitting. Disarankan untuk menganalisis kurva menjelang akhir karena Polinomial yang lebih tinggi dapat memberikan hasil yang aneh pada ekstrapolasi.

Persamaan di bawah ini mewakili Regresi Polinomial:

l = 0+ 0x1+

Baca: Ide Proyek Pembelajaran Mesin

6. Regresi Linier Bayesian

Regresi Bayesian merupakan salah satu jenis regresi pada machine learning yang menggunakan teorema Bayes untuk mengetahui nilai koefisien regresi. Dalam metode regresi ini, distribusi posterior fitur ditentukan alih-alih menemukan kuadrat terkecil. Regresi Linier Bayesian seperti Regresi Linier dan Regresi Punggungan tetapi lebih stabil daripada Regresi Linier sederhana.

Sumber

Pelajari Kursus AI & ML secara online dari Universitas top dunia – Magister, Program Pascasarjana Eksekutif, dan Program Sertifikat Tingkat Lanjut di ML & AI untuk mempercepat karier Anda.

Kesimpulan

Selain metode regresi di atas, masih banyak jenis regresi lain dalam machine learning , antara lain Elastic Net Regression, JackKnife Regression, Stepwise Regression, dan Ecological Regression.

Berbagai jenis teknik analisis regresi ini dapat digunakan untuk membangun model tergantung pada jenis data yang tersedia atau yang memberikan akurasi maksimum. Anda dapat mempelajari teknik-teknik ini lebih lanjut atau dapat mengikuti kursus pembelajaran terawasi di situs web kami .

Jika Anda tertarik untuk mempelajari lebih lanjut tentang pembelajaran mesin, lihat Program PG Eksekutif IIIT-B & upGrad dalam Pembelajaran Mesin & AI yang dirancang untuk para profesional yang bekerja dan menawarkan 450+ jam pelatihan ketat, 30+ studi kasus & tugas, IIIT -B Status Alumni, 5+ proyek batu penjuru praktis & bantuan pekerjaan dengan perusahaan-perusahaan top.