Résoudre une équation mathématique de base à l'aide de RNN [avec exemple de codage]

Si la vie vous donne RNN, fabriquez une calculatrice

Un réseau de neurones récurrent fait partie d'un réseau de neurones artificiel classique, où les connexions entre les nœuds forment un graphe orienté séquentiel. Les RNN sont réputés pour des applications telles que la reconnaissance vocale, la reconnaissance de l'écriture manuscrite, etc. en raison de leur mémoire d'état interne pour le traitement de séquences de longueur variable.

Les RNN sont en outre classés en deux types. Le premier est une impulsion finie dont le réseau de neurones se présente sous la forme d'un graphe acyclique orienté où un nœud peut être connecté à un ou plusieurs nœuds qui sont en avance sans cycle visible dans le réseau. Un autre est une impulsion infinie dont le réseau de neurones se présente sous la forme d'un graphe cyclique orienté qui ne peut pas être déroulé dans un réseau de neurones à réaction.

Qu'allons-nous faire?

Construisons un modèle qui prédit la sortie d'une expression arithmétique. Par exemple, si je donne une entrée '11+88', alors le modèle devrait prédire le mot suivant dans la séquence comme '99'. L'entrée et la sortie sont une séquence de caractères puisqu'un RNN traite des données séquentielles.

Désormais, la conception de l'architecture du modèle ressemble à une tâche simple par rapport à la collecte d'ensembles de données. La génération de données ou la collecte d'un ensemble de données est une tâche ardue, car les modèles d'IA gourmands en données nécessitent une bonne quantité de données pour une précision acceptable.

Ainsi, ce modèle peut être mis en œuvre en 6 étapes de base :

1. Génération de données
2. Construire un modèle
3. Vectorisation et dé-vectorisation des données
4. Faire un jeu de données
5. Former le modèle
6. Tester le modèle

Avant de plonger dans l'implémentation du modèle, importons simplement toutes les bibliothèques requises.

1. Génération de données

Définissons une chaîne de caractères contenant tous les caractères dont nous avons besoin pour écrire une équation arithmétique de base. Ainsi, la chaîne se compose de tous les caractères de 0 à 9 et de tous les opérateurs arithmétiques tels que /, *, +, -, .(décimal).

Nous ne pouvons pas alimenter directement les données numériques dans notre modèle, nous devons transmettre les données sous forme de tenseurs. La conversion de la chaîne dans les données en un vecteur codé one-hot nous donnera une performance optimisée du modèle. Un vecteur codé one-hot est un tableau avec une longueur identique à la longueur de notre chaîne de caractères, chaque vecteur one-hot n'en a qu'à l'index respectif du caractère présent dans chaque chaîne.

Par exemple, disons que notre chaîne de caractères est '0123456789', et si nous voulons encoder une chaîne comme '12' alors le vecteur chaud serait [ [0,1,0,0,0,0,0,0 ,0,0], [0,0,1,0,0,0,0,0,0,0] ]. Pour ce faire, nous devons créer deux dictionnaires avec un index comme clés et des caractères comme valeurs et l'autre comme vice-versa.

Écrivons maintenant une fonction qui renvoie une équation arithmétique aléatoire avec le résultat de cette équation.

Lisez aussi: Idées intéressantes de projets de réseau de neurones

2. Construire un modèle

Le modèle aura un encodeur et un décodeur. L'encodeur est un modèle RNN simple avec une forme d'entrée comme (None, num_chars) et 128 unités cachées, la raison pour laquelle nous choisissons des unités cachées comme 32,64,128, etc. est due aux meilleures performances du CPU ou du GPU avec des unités cachées comme puissances de 2.

Notre encodeur sera un réseau entièrement connecté et la sortie de ceux-ci sera réinjectée dans le réseau, c'est ainsi que fonctionne un RNN. Une couche RNN utilise l'activation 'tanh' par défaut, nous n'allons pas changer car elle correspond le mieux à l'encodeur. La sortie de cette couche sera un seul vecteur et pour atteindre un seul vecteur de toute la sortie, nous utiliserons la couche RepeatVector() avec le nombre de fois requis comme paramètre.

Maintenant, le vecteur de sortie aura l'essence de l'entrée donnée, et ce vecteur sera introduit dans le décodeur.

Le décodeur est composé d'une simple couche RNN et cela générera la séquence de sortie puisque nous avons besoin de la couche RNN pour renvoyer la séquence prédite, nous allons marquer les 'return_sequences' comme True. En attribuant la valeur 'return_sequences' à True, la couche RNN renverra la séquence prédite pour chaque pas de temps (plusieurs à plusieurs RNN).

La sortie de cette couche RNN est introduite dans une couche Dense avec un nombre d'unités cachées 'num_chars' et nous utiliserons l'activation softmax car nous avons besoin de la probabilité de chaque caractère. Avant de déployer une couche Dense, nous devons abréger cette couche en une couche TimeDistributed car nous devons déployer la couche Dense pour la sortie de chaque pas de temps.

L'architecture du modèle sera comme indiqué ci-dessus

Doit lire: Tutoriel sur le réseau de neurones

3. Vectorisation et dé-vectorisation des données

Définissons les fonctions de vectorisation et de dé-vectorisation des données.

Voici la fonction pour vectoriser l'expression arithmétique et le résultat ensemble.

def vectoriser (arith, res): x = np.zeros((max_time_steps, num_chars)) y = np.zeros((max_time_steps, num_chars)) x_remaining = max_time_steps – len (arith) y_remaining = max_time_steps – len (res) pour i, c dans énumérer (arith): x[x_remaining + i, caractère_vers_index[c]] = 1 pour je dans la plage (x_remaining): x[i, caractère_vers_index[ ' 0 ' ]] = 1 pour i, c dans énumérer (res): y[y_remaining + i, character_to_index[c]] = 1 pour je dans la plage (y_remaining): y[je, caractère_vers_index[ ' 0 ' ]] = 1 retourner x, y

De même, voici la fonction de dé-vectorisation de la chaîne. Étant donné que la sortie que nous recevons est un vecteur de probabilités, nous utiliserons np.argmax() pour choisir le caractère avec la probabilité la plus élevée. Maintenant, le dictionnaire index_to_character est utilisé pour retracer le caractère à cet index.

Maintenant, la contrainte que nous avons avec la fonction 'devectorize' est qu'elle va remplir les caractères de fin avec des zéros. Par exemple, si le vecteur d'entrée est ('1-20', '-19') alors la sortie dé-vectorisée sera ('01-20', '00-19'). Nous devons prendre soin de ces zéros rembourrés supplémentaires. Écrivons une fonction pour supprimer la chaîne.

4. Créer un jeu de données

Maintenant que nous avons fini de définir une fonction pour générer les données, utilisons cette fonction et créons un ensemble de données avec de nombreuses paires (expression arithmétique, résultat).

5. Formation du modèle

Créons un ensemble de données de 50 000 échantillons, ce qui est un nombre suffisant pour former notre modèle de soif de données, nous utiliserons 25 % de ces données pour la validation. Créons également un rappel pour une interruption d'entraînement intelligente si la précision reste inchangée pendant 8 époques. Ceci peut être réalisé en réglant le paramètre de patience sur 8.

6. Test du modèle

Testons maintenant notre modèle en créant un jeu de données de taille 30.

La sortie sera la suivante

Nous pouvons voir que la précision est un peu médiocre ici, de toute façon nous pouvons l'optimiser en ajustant quelques hyperparamètres comme le nombre d'unités cachées, la division de validation, le nombre d'époques, etc.

Conclusion

Nous avons compris le flux de travail de base d'un RNN, compris que les RNN sont les mieux adaptés aux données séquentielles, généré un ensemble de données d'équations arithmétiques aléatoires, développé un modèle séquentiel pour prédire la sortie d'une expression arithmétique de base, entraîné ce modèle avec l'ensemble de données qui nous avons créé et finalement testé ce modèle avec un petit ensemble de données que le modèle n'a jamais vu auparavant.

Si vous souhaitez en savoir plus sur RNN, l'apprentissage automatique, consultez le diplôme PG d'IIIT-B & upGrad en apprentissage automatique et IA, conçu pour les professionnels en activité et offrant plus de 450 heures de formation rigoureuse, plus de 30 études de cas et missions, Statut d'ancien de l'IIIT-B, plus de 5 projets de synthèse pratiques et aide à l'emploi avec les meilleures entreprises.