Temel Matematik Denklemini RNN Kullanarak Çözme [Kodlama Örneği ile]

Hayat sana RNN veriyorsa, bir hesap makinesi yap

Tekrarlayan Sinir Ağı, düğümler arasındaki bağlantıların sıralı yönlendirilmiş bir grafik oluşturduğu klasik bir yapay sinir ağlarından biridir. RNN'ler, değişken uzunluktaki dizileri işlemek için dahili durum bellekleri nedeniyle konuşma tanıma, el yazısı tanıma vb. uygulamalarla ünlüdür.

RNN'ler ayrıca iki tipte sınıflandırılır. Birincisi, sinir ağı, bir düğümün ağda görünür bir döngü olmaksızın ileride bir veya daha fazla düğüme bağlanabileceği, yönlendirilmiş bir döngüsel olmayan grafik biçiminde olan sonlu bir dürtüdür. Bir diğeri, sinir ağı, ileri beslemeli bir sinir ağına açılamayan, yönlendirilmiş bir döngüsel grafik biçiminde olan sonsuz bir dürtüdür.

Ne yapacağız?

Aritmetik bir ifadenin çıktısını tahmin eden bir model oluşturalım. Örneğin, '11+88' girdisi verirsem, model dizideki bir sonraki kelimeyi '99' olarak tahmin etmelidir. Bir RNN sıralı verilerle ilgilendiğinden, giriş ve çıkış bir karakter dizisidir.

Şimdi modelin mimarisini tasarlamak, veri kümesi toplamayla karşılaştırıldığında basit bir görev gibi görünüyor. Veri açlığı AI modelleri, kabul edilebilir doğruluk için makul miktarda veri gerektirdiğinden, veri oluşturmak veya veri kümesi toplamak yorucu bir iştir.

Dolayısıyla bu model 6 temel adımda uygulanabilir:

1. veri oluşturma
2. Model oluşturma
3. Verileri vektörleştirme ve vektörsüzleştirme
4. Veri seti yapmak
5. Modeli eğitmek
6. Modelin test edilmesi

Modeli uygulamaya geçmeden önce, gerekli tüm kitaplıkları içe aktaralım.

1. Veri Oluşturma

Temel bir aritmetik denklemi yazmak için ihtiyacımız olan tüm karakterleri içeren bir karakter dizisi tanımlayalım. Böylece, dize 0-9 arasındaki tüm karakterlerden ve /, *, +, -, .(ondalık) gibi tüm aritmetik operatörlerden oluşur.

Sayısal verileri doğrudan modelimize besleyemiyoruz, verileri tensör şeklinde iletmemiz gerekiyor. Verideki dizgiyi bir sıcak kodlanmış vektöre dönüştürmek bize optimize edilmiş bir model performansı verecektir. Tek-sıcak kodlanmış bir vektör, char dizgimizin uzunluğuyla aynı uzunluğa sahip bir dizidir, her bir-sıcak vektör, sadece her dizgede mevcut olan ilgili karakter dizininde olanlara sahiptir.

Örneğin, karakter dizgimizin '0123456789' olduğunu varsayalım ve '12' gibi bir dizgeyi kodlamak istersek, tek-sıcak vektör [[0,1,0,0,0,0,0] olur. ,0,0], [0,0,1,0,0,0,0,0,0,0] ]. Bunu yapmak için, bir dizini anahtar olarak ve karakterleri değerler olarak ve diğerini de tam tersi olan iki sözlük oluşturmamız gerekir.

Şimdi bu denklemin sonucuyla birlikte rastgele bir aritmetik denklem döndüren bir fonksiyon yazalım.

Ayrıca Okuyun: İlginç Sinir Ağı Proje Fikirleri

2. Bir Model Oluşturma

Model bir kodlayıcıya ve bir kod çözücüye sahip olacaktır. Kodlayıcı, giriş şekli (None,num_chars) ve 128 gizli birim şeklinde basit bir RNN modelidir, gizli birimleri 32,64,128, vb. olarak seçmemizin nedeni, güç olarak gizli birimlere sahip CPU veya GPU'nun daha iyi performansıdır. 2.

Kodlayıcımız tamamen bağlı bir ağ olacak ve bunların çıktısı ağa geri beslenecek, bir RNN böyle çalışır. Bir RNN katmanı varsayılan olarak 'tanh' aktivasyonunu kullanır, kodlayıcıya en uygun olduğu için değişmeyeceğiz. Bu katmanın çıktısı tek bir vektör olacak ve tüm çıktının tek bir vektörünü elde etmek için parametre olarak gerekli sayıda tekrarlaVector() katmanını kullanacağız.

Şimdi çıktı vektörü verilen girdinin özüne sahip olacak ve bu vektör kod çözücüye beslenecek.

Kod çözücü basit bir RNN katmanından oluşur ve bu, 'return_dizilerini' True olarak işaretleyeceğimiz öngörülen diziyi döndürmek için RNN katmanına ihtiyacımız olduğundan çıktı dizisini oluşturacaktır. 'return_sequences'i True olarak atayarak, RNN katmanı her zaman adımı için (çoktan çoğa RNN) tahmin edilen diziyi döndürür.

Bu RNN katmanının çıktısı, 'num_chars' gizli birim sayısına sahip bir Yoğun katmana beslenir ve her karakterin olasılığına ihtiyacımız olduğu için softmax aktivasyonunu kullanacağız. Yoğun bir katmanı dağıtmadan önce, her zaman adımının çıktısı için Yoğun katmanı dağıtmamız gerektiğinden, bu katmanı bir TimeDistributed katmanında kısaltmamız gerekir.

Modelin mimarisi yukarıda gösterildiği gibi olacaktır.

Okumalısınız: Sinir Ağı Eğitimi

3. Verileri Vektörleştirme ve Vektörelleştirme

Verileri vektörleştirme ve vektörden arındırma işlevlerini tanımlayalım.

Aritmetik ifadeyi ve sonucu birlikte vektörleştirme işlevi burada.

def vectorize (arith, res): x = np.zeros((max_time_steps, num_chars)) y = np.zeros((max_time_steps, num_chars)) x_remaining = max_time_steps – uzun ( arith ) y_remaining = max_time_steps – uzunluk (res) i için , numaralandırmada (arith): x[x_remaining + i, karakter_to_index[c]] = 1 i aralığında ( x_remaining ): x[i, karakter_to_index[ ' 0 ' ]] = 1 i için , c numaralandırmada (res): y[y_kalan + i, karakter_to_index[c]] = 1 i aralığında ( y_remaining ): y[i, karakter_to_index[ ' 0 ' ]] = 1 dönüş x, y

Benzer şekilde, dizgeyi vektörden arındırma işlevi de burada. Aldığımız çıktı bir olasılık vektörü olduğundan, en yüksek olasılığa sahip karakteri seçmek için np.argmax()'ı kullanacağız. Şimdi index_to_character sözlüğü, o dizindeki karakteri geri izlemek için kullanılır.

Şimdi 'devectorize' işleviyle ilgili kısıtlamamız, sondaki karakterleri sıfırlarla dolduracak. Örneğin, giriş vektörü ('1-20', '-19') ise vektörü kaldırılmış çıkış ('01-20', '00-19') olacaktır. Bu ekstra yastıklı sıfırlarla ilgilenmemiz gerekiyor. Dizeyi soymak için bir fonksiyon yazalım.

4. Veri Seti Oluşturma

Artık veri üretmek için bir fonksiyon tanımlamamız bittiğine göre, bu fonksiyonu kullanalım ve bu tür birçok (aritmetik ifade, sonuç) çifti olan bir veri seti yapalım.

5. Modelin Eğitimi

Veri açlığı modelimizi eğitmek için adil bir sayı olan 50.000 örneklik bir veri seti oluşturalım, bu verinin %25'ini doğrulama için kullanacağız. Ayrıca, doğruluk 8 dönem boyunca değişmeden kalırsa, akıllı eğitim kesintisi için bir geri arama oluşturalım. Bu, sabır parametresini 8 olarak ayarlayarak başarılabilir.

6. Modeli Test Etme

Şimdi 30 boyutlu bir veri seti oluşturarak modelimizi test edelim.

Çıktı aşağıdaki gibi olacaktır

Burada doğruluğun biraz zayıf olduğunu görebiliriz, yine de gizli birim sayısı, doğrulama bölünmesi, dönem sayısı vb. gibi birkaç hiperparametreyi değiştirerek optimize edebiliriz.

Çözüm

Bir RNN'nin temel iş akışını anladık, RNN'lerin sıralı veriler için en uygun olduğunu anladık, rastgele aritmetik denklemlerden oluşan bir veri kümesi oluşturduk, temel bir aritmetik ifadenin çıktısını tahmin etmek için sıralı bir model geliştirdik, bu modeli veri kümesiyle eğittik. yarattık ve sonunda bu modeli, modelin daha önce hiç görmediği küçük bir veri seti ile test ettik.

RNN, makine öğrenimi hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 450+ saatlik zorlu eğitim, 30'dan fazla vaka çalışması ve ödev sunan IIIT-B & upGrad'ın Makine Öğrenimi ve Yapay Zeka PG Diplomasına göz atın. IIIT-B Mezun statüsü, 5+ pratik uygulamalı bitirme projesi ve en iyi firmalarla iş yardımı.