Menyelesaikan Persamaan Matematika Dasar Menggunakan RNN [Dengan Contoh Coding]

Jika hidup memberi Anda RNN, buatlah kalkulator

Jaringan Syaraf Tiruan Berulang adalah salah satu jaringan syaraf tiruan klasik, di mana hubungan antar node membentuk graf berarah sekuensial. RNN terkenal dengan aplikasi seperti pengenalan suara, pengenalan tulisan tangan, dll karena memori keadaan internalnya untuk memproses urutan panjang variabel.

RNN selanjutnya diklasifikasikan menjadi dua jenis. Yang pertama adalah impuls hingga yang jaringan sarafnya berupa grafik asiklik berarah di mana satu node dapat dihubungkan dengan satu atau lebih node yang berada di depan tanpa terlihat siklus dalam jaringan. Yang lain adalah impuls tak terbatas yang jaringan sarafnya dalam bentuk grafik siklik terarah yang tidak dapat dibuka menjadi jaringan saraf umpan-maju.

Apa yang akan kita lakukan?

Mari kita buat model yang memprediksi output dari ekspresi aritmatika. Misalnya, jika saya memberikan input '11+88', maka model harus memprediksi kata berikutnya dalam urutan sebagai '99'. Input dan output adalah urutan karakter karena RNN berhubungan dengan data sekuensial.

Sekarang merancang arsitektur model tampak seperti tugas sederhana jika dibandingkan dengan pengumpulan dataset. Menghasilkan data atau mengumpulkan kumpulan data adalah tugas yang berat karena model AI kelaparan data memerlukan cukup banyak data untuk akurasi yang dapat diterima.

Jadi model ini dapat diimplementasikan dalam 6 langkah dasar:

1. Menghasilkan data
2. Membangun model
3. Vektorisasi dan De-vektorisasi data
4. Membuat kumpulan data
5. Melatih model
6. Menguji model

Sebelum kita masuk ke dalam mengimplementasikan model, mari kita impor semua library yang diperlukan.

1. Menghasilkan Data

Mari kita definisikan string char yang berisi semua karakter yang kita butuhkan untuk menulis persamaan aritmatika dasar. Jadi, string terdiri dari semua karakter dari 0-9 dan semua operator aritmatika seperti /, *, +, -, .(desimal).

Kami tidak dapat secara langsung memasukkan data numerik ke dalam model kami, kami harus meneruskan data dalam bentuk tensor. Mengonversi string dalam data menjadi vektor enkode satu-panas akan memberi kita kinerja model yang dioptimalkan. Vektor satu-panas yang disandikan adalah larik dengan panjang yang sama dengan panjang string karakter kami, setiap vektor satu-panas hanya memiliki satu di indeks masing-masing karakter yang ada di setiap string.

Sebagai contoh, katakanlah string karakter kita adalah '0123456789', dan jika kita ingin mengkodekan string seperti '12' maka vektor one-hot adalah [ [0,1,0,0,0,0,0,0 ,0,0], [0,0,1,0,0,0,0,0,0,0] ]. Untuk melakukan itu kita perlu membuat dua kamus dengan satu indeks sebagai kunci dan karakter sebagai nilai dan yang lainnya sebagai sebaliknya.

Sekarang mari kita tulis fungsi yang mengembalikan persamaan aritmatika acak beserta hasil persamaan tersebut.

Baca Juga: Ide Proyek Neural Network yang Menarik

2. Membangun Model

Model akan memiliki encoder dan decoder. Encoder adalah model RNN sederhana dengan bentuk input sebagai (None,num_chars) dan 128 unit tersembunyi, alasan mengapa kami memilih unit tersembunyi sebagai 32.64.128, dll adalah karena kinerja CPU atau GPU yang lebih baik dengan unit tersembunyi sebagai kekuatan 2.

Encoder kami akan menjadi jaringan yang sepenuhnya terhubung dan outputnya akan diumpankan kembali ke jaringan, begitulah cara kerja RNN. Lapisan RNN menggunakan aktivasi 'tanh' secara default, kami tidak akan mengubahnya karena paling sesuai dengan encoder. Output dari layer ini akan menjadi satu vektor dan untuk mendapatkan satu vektor dari keseluruhan output kita akan menggunakan layer RepeatVector() dengan jumlah waktu yang diperlukan sebagai parameter.

Sekarang vektor keluaran akan memiliki esensi dari masukan yang diberikan, dan vektor ini akan dimasukkan ke dalam dekoder.

Dekoder terdiri dari lapisan RNN sederhana dan ini akan menghasilkan urutan output karena kita membutuhkan lapisan RNN untuk mengembalikan urutan yang diprediksi, kita akan menandai 'return_sequences' sebagai True. Dengan menetapkan 'return_sequences' sebagai True, lapisan RNN akan mengembalikan urutan yang diprediksi untuk setiap langkah waktu (banyak ke banyak RNN).

Output dari layer RNN ini dimasukkan ke dalam layer Dense dengan 'num_chars' jumlah unit tersembunyi dan kita akan menggunakan aktivasi softmax karena kita membutuhkan probabilitas setiap karakter. Sebelum kita men-deploy layer Dense, kita perlu meringkas layer ini menjadi layer TimeDistributed karena kita perlu men-deploy layer Dense untuk output dari setiap langkah waktu.

Arsitektur model akan seperti yang ditunjukkan di atas

Harus Dibaca: Tutorial Jaringan Saraf

3. Membuat Vektor dan De-vektorisasi Data

Mari kita definisikan fungsi untuk membuat vektorisasi dan de-vektorisasi data.

Berikut adalah fungsi untuk membuat vektor ekspresi aritmatika dan hasilnya bersama-sama.

def vectorize (arith, res): x = np.zeros((max_time_steps, num_chars)) y = np.zeros((max_time_steps, num_chars)) x_remaining = max_time_steps – len (arith) y_remaining = max_time_steps – len (res) untuk i, c dalam enumerate (arith): x[x_remaining + i, character_to_index[c]] = 1 untuk i dalam jangkauan (x_remaining): x[i, character_to_index[ ' 0 ' ]] = 1 untuk i, c dalam enumerate (res): y[y_remaining + i, character_to_index[c]] = 1 untuk i dalam jangkauan (y_remaining): y[i, character_to_index[ ' 0 ' ]] = 1 kembali x, y

Demikian pula, inilah fungsi untuk de-vektorisasi string. Karena output yang kami terima adalah vektor probabilitas, kami akan menggunakan np.argmax() untuk memilih karakter dengan probabilitas tertinggi. Sekarang kamus index_to_character digunakan untuk melacak kembali karakter pada indeks itu.

Sekarang batasan yang kita miliki dengan fungsi 'devectorize' adalah, itu akan mengisi karakter tambahan dengan nol. Misalnya, jika vektor input adalah ('1-20', '-19') maka output yang di-vektorkan adalah ('01-20', '00-19'). Kita perlu menjaga nol ekstra empuk ini. Mari kita menulis fungsi untuk melepaskan string.

4. Membuat Kumpulan Data

Sekarang setelah kita selesai mendefinisikan fungsi untuk menghasilkan data, mari gunakan fungsi itu dan buat kumpulan data dengan banyak pasangan (ekspresi aritmatika, hasil) seperti itu.

5. Melatih Model

Mari buat kumpulan data 50.000 sampel yang merupakan jumlah yang wajar untuk melatih model kelaparan data kita, kita akan menggunakan 25% dari data ini untuk validasi. Juga, mari buat panggilan balik untuk interupsi pelatihan cerdas jika akurasi tetap tidak berubah selama 8 epoch. Ini dapat dicapai dengan mengatur parameter kesabaran ke 8.

6. Menguji Model

Sekarang mari kita uji model kita dengan membuat kumpulan data berukuran 30.

Outputnya akan seperti berikut

Kita dapat melihat akurasinya sedikit buruk di sini, bagaimanapun kita dapat mengoptimalkannya dengan mengutak-atik beberapa hyperparameter seperti jumlah unit tersembunyi, pemisahan validasi, jumlah epoch, dll.

Kesimpulan

Kami telah memahami alur kerja dasar RNN, memahami bahwa RNN paling cocok untuk data sekuensial, menghasilkan kumpulan data persamaan aritmatika acak, mengembangkan model sekuensial untuk memprediksi output dari ekspresi aritmatika dasar, melatih model tersebut dengan kumpulan data yang kami telah membuat, dan akhirnya menguji model itu dengan kumpulan data kecil yang belum pernah dilihat model sebelumnya.

Jika Anda tertarik untuk mempelajari lebih lanjut tentang RNN, pembelajaran mesin, lihat PG Diploma IIIT-B & upGrad dalam Pembelajaran Mesin & AI yang dirancang untuk para profesional yang bekerja dan menawarkan 450+ jam pelatihan ketat, 30+ studi kasus & tugas, Status Alumni IIIT-B, 5+ proyek batu penjuru praktis & bantuan pekerjaan dengan perusahaan-perusahaan top.