Makine Öğreniminde Düzenlileştirme: Fazla Takmaktan Nasıl Kaçınılır?

Makine öğrenimi, açık talimatlar olmadan belirli görevleri gerçekleştirmek için bilgisayarları donatmayı içerir. Bu nedenle sistemler, deneyimlerden otomatik olarak öğrenecek ve gelişecek şekilde programlanmıştır. Veri bilimcileri , eğitim sürecinde modellerini ayarlamak için genellikle makine öğreniminde düzenlileştirmeyi kullanır. Bu kavramı ayrıntılı olarak anlayalım.

Normalleştirme Aşırı Takmayı Önler

Makine öğrenimindeki düzenlileştirme , eğitim modelinize gereğinden fazla uyum sağlamaktan kaçınmanıza olanak tanır. Modeliniz, eğitim veri kümenizdeki rastgele verileri yakaladığında aşırı uyum gerçekleşir. Verilerinizin özelliklerini taşımayan bu tür veri noktaları, modelinizi 'gürültülü' hale getirir. Bu gürültü, modelinizi daha esnek hale getirebilir, ancak düşük doğrulukta zorluklar doğurabilir.

Eşit sayıda kız ve erkek öğrenciden oluşan 10 kişilik bir sınıf düşünün. Yıllık sınavda genel sınıf notu 70'dir. Kız öğrencilerin ortalama puanı 60, erkek öğrencilerin ortalama puanı 80'dir. Bu geçmiş puanlara dayanarak öğrencilerin gelecekteki puanlarını tahmin etmek istiyoruz. Tahminler aşağıdaki şekillerde yapılabilir:

• Uygun Altında: Tüm sınıf 70 puan alacak
• Optimum Uyum: Bu, kızların 60 ve erkeklerin 80 puanını (geçen seferkiyle aynı) tahmin eden basit bir model olabilir.
• Aşırı Sığdırma: Bu model, öğrencilerin geçen yılla tam olarak aynı notları alacağını tahmin etmek için ilgisiz bir nitelik, örneğin rulo numarası kullanabilir.

Düzenlileştirme, başka bir ceza terimi ekleyerek hata işlevini ayarlayan bir gerileme biçimidir. Bu ek terim, katsayıların uç değerler almasını engeller, böylece aşırı dalgalanan fonksiyonu dengeler.

Herhangi bir makine öğrenimi uzmanı, modellerini doğru ve hatasız hale getirmek için çaba gösterecektir. Ve bu hedefe ulaşmanın anahtarı, önyargı ve varyans arasındaki değiş tokuşta ustalaşmakta yatar. Bunun ne anlama geldiğini net bir şekilde görmek için okumaya devam edin.

Önyargı ve Varyansı Dengeleme

Beklenen test hatası, doğru 'önyargı-varyans' dengesini sağlayan bir yöntem bularak en aza indirilebilir. Başka bir deyişle, seçtiğiniz istatistiksel öğrenme yöntemi, düşük varyans ve düşük yanlılığı aynı anda gerçekleştirerek modeli optimize etmelidir. Varyansı yüksek olan bir model gereğinden fazla uydurulur ve yüksek sapma, eksik uydurulan bir modelle sonuçlanır.

Çapraz doğrulama, fazla takmayı önlemenin başka bir yolunu sunar. Modelinizin veri kümesinden doğru kalıpları alıp almadığını kontrol eder ve test kümeniz üzerinden hatayı tahmin eder. Dolayısıyla, bu yöntem temel olarak modelinizin kararlılığını doğrular. Ayrıca, belirli modeliniz için en uygun parametrelere karar verir.

Modelin Yorumlanabilirliğini Artırma

Amaç sadece eğitim seti için sıfır hata elde etmek değil, aynı zamanda test veri setinden doğru hedef değerleri tahmin etmektir. Bu nedenle, bu sürecin karmaşıklığını azaltan bir 'ayarlı' işleve ihtiyacımız var.

Makine Öğreniminde Düzenlileştirmenin Açıklanması

Düzenlileştirme, katsayı tahminlerini sıfıra doğru küçülterek çalışan bir kısıtlı regresyon biçimidir. Bu şekilde modellerin gürültüden öğrenme kapasitesini sınırlar.

Bu lineer regresyon denklemine bakalım:

Y= β0+β1X1+β2X2+…..+βpXp

Burada β, (X) ile temsil edilen farklı tahmin ediciler için katsayı tahminlerini gösterir. Y ise öğrenilen bağıntıdır.

Bu fonksiyonun kendisi hatalarla karşılaşabileceğinden, öğrenilen tahminleri düzenlemek için bir hata fonksiyonu ekleyeceğiz. Bu durumda hatayı en aza indirmek istiyoruz, böylece buna kayıp fonksiyonu da diyebiliriz. Bu kayıp işlevi veya Artık Kareler Toplamı (RSS) şöyle görünür:

Bu nedenle, veri bilimcileri tahmin işlevini ayarlamak için düzenlileştirmeyi kullanır. Düzenlileştirme teknikleri, büzülme yöntemleri veya ağırlık azalması olarak da bilinir. Bazılarını ayrıntılı olarak anlayalım.

Sırt Düzeni

Ridge Regresyonda, kayıp fonksiyonu, β'nın kare değerlerinin toplamına karşılık gelen bir büzülme miktarı ile değiştirilir. Ve λ değeri, modelin ne kadar ceza alacağına karar verir.

Ridge Regresyondaki katsayı tahminlerine L2 normu denir. Bu düzenleme tekniği, verilerinizdeki bağımsız değişkenler yüksek oranda ilişkili olduğunda imdadınıza yetişecektir.

Kement Düzenleme

Kement tekniğinde, hata fonksiyonuna β'nın mutlak değerlerinin (β'nın modülü) toplamına eşit bir ceza eklenir. Ayrıca cezanın gücünü kontrol eden λ parametresi ile çarpılır. Bu yöntemde sadece yüksek katsayılar cezalandırılır.

Lasso tarafından üretilen katsayı tahminlerine L1 normu denir. Bu yöntem, özellikle çok sayıda özelliğe sahip az sayıda gözlem olduğunda faydalıdır.

Yukarıdaki yaklaşımları basitleştirmek için, her λ değeri için var olan bir s sabiti düşünün. Şimdi, L2 düzenlemesinde, katsayıların karelerinin toplamının s'den küçük veya ona eşit olduğu bir denklemi çözüyoruz. L1 düzenlemesinde ise, katsayıların modülünün toplamı s'den küçük veya ona eşit olmalıdır.

Okuyun: Yapay Sinir Ağları ve Makine Öğrenimi

Yukarıda bahsedilen her iki yöntem de, regresyon modelinin gereksiz öznitelikleri tüketmemesini sağlamaya çalışır. Bu nedenle Ridge Regresyon ve Kement, kısıt fonksiyonları olarak da bilinir.

RSS ve Kısıtlama Fonksiyonlarının Öngörücüleri

Daha önceki açıklamaların yardımıyla, Ridge Regresyon ve Kement için kayıp fonksiyonları (RSS) β1² + β2² ≤ s ve |β1| ile verilebilir. + |β2| sırasıyla ≤ s. β1² + β2² ≤ s bir daire oluşturacak ve RSS, içindeki tüm noktalar için en küçük olacaktır. Kement işlevine gelince, RSS, |β1| tarafından verilen elmasın içindeki tüm noktalar için en düşük olacaktır. + |β2| ≤ s.

Ridge Regresyon, en az temel tahmin değişkenleri için katsayı tahminlerini küçültür, ancak bunları ortadan kaldırmaz. Bu nedenle, nihai model, sıfır olmayan tahminler nedeniyle tüm tahmin edicileri içerebilir. Öte yandan, Kement, özellikle λ büyük olduğunda, bazı katsayıları tam olarak sıfır olmaya zorlayabilir.

Okuyun: Makine Öğrenimi için Python Kitaplıkları

Düzenlemeler Dengeyi Nasıl Sağlar?

Standart bir en küçük kareler modeliyle ilişkili bazı farklılıklar vardır. Düzenlileştirme teknikleri, modelin varyansını, kare sapmasını önemli ölçüde artırmadan azaltır. Ve ayar parametresinin değeri, λ, verilerin kritik özelliklerini ortadan kaldırmadan bu dengeyi düzenler. Sıradan bir en küçük kareler regresyonu durumunda, λ değeri sıfır olduğunda cezanın hiçbir etkisi yoktur.

Varyans sadece λ değeri arttıkça azalır. Ancak bu sadece belirli bir noktaya kadar olur, bundan sonra önyargı yükselmeye başlayabilir. Bu nedenle, bu büzülme faktörünün değerinin seçilmesi, düzenlileştirmedeki en kritik adımlardan biridir.

Çözüm

Bu yazıda, makine öğreniminde düzenlileştirmeyi ve avantajlarını öğrendik ve ridge regresyon ve kement gibi yöntemleri araştırdık. Son olarak, düzenlileştirme tekniklerinin regresyon modellerinin doğruluğunu artırmaya nasıl yardımcı olduğunu anladık. Düzenlemeye yeni başlıyorsanız, bu kaynaklar temellerinizi netleştirecek ve sizi ilk adımı atmaya teşvik edecek!

Makine öğrenimi hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 450+ saat zorlu eğitim, 30'dan fazla vaka çalışması ve ödev, IIIT- sunan IIIT-B & upGrad'ın Makine Öğrenimi ve Yapay Zeka alanında PG Diplomasına göz atın. B Mezun statüsü, 5'ten fazla pratik uygulamalı bitirme projesi ve en iyi firmalarla iş yardımı.