Resolviendo Ecuaciones Matemáticas Básicas Usando RNN [Con Ejemplo de Codificación]

Si la vida te da RNN, haz una calculadora

Una red neuronal recurrente es una de las redes neuronales artificiales clásicas, donde las conexiones entre los nodos forman un gráfico dirigido secuencial. Los RNN son famosos por aplicaciones como reconocimiento de voz, reconocimiento de escritura a mano, etc. debido a su memoria de estado interna para procesar secuencias de longitud variable.

Los RNN se clasifican además en dos tipos. El primero es un impulso finito cuya red neuronal tiene la forma de un gráfico acíclico dirigido donde un nodo puede conectarse con uno o más nodos que están adelante sin un ciclo visible en la red. Otro es un impulso infinito cuya red neuronal tiene la forma de un gráfico cíclico dirigido que no se puede desenrollar en una red neuronal de avance.

¿Que vamos a hacer?

Construyamos un modelo que prediga el resultado de una expresión aritmética. Por ejemplo, si introduzco '11+88', entonces el modelo debería predecir la siguiente palabra en la secuencia como '99'. La entrada y la salida son una secuencia de caracteres ya que un RNN trata con datos secuenciales.

Ahora, diseñar la arquitectura del modelo parece una tarea sencilla en comparación con la recopilación de conjuntos de datos. La generación de datos o la recopilación de conjuntos de datos es una tarea extenuante porque los modelos de IA con avidez de datos requieren una buena cantidad de datos para lograr una precisión aceptable.

Así que este modelo se puede implementar en 6 pasos básicos:

1. Generando datos
2. Construyendo un modelo
3. Vectorizar y desvectorizar los datos
4. Hacer un conjunto de datos
5. Entrenando al modelo
6. Probando el modelo

Antes de sumergirnos en la implementación del modelo, importemos todas las bibliotecas necesarias.

1. Generación de datos

Definamos una cadena de caracteres que contenga todos los caracteres que necesitamos para escribir una ecuación aritmética básica. Entonces, la cadena consta de todos los caracteres del 0 al 9 y todos los operadores aritméticos como /, *, +, -, .(decimal).

No podemos introducir directamente los datos numéricos en nuestro modelo, necesitamos pasar los datos en forma de tensores. Convertir la cadena en los datos en un vector codificado one-hot nos dará un rendimiento de modelo optimizado. Un vector codificado one-hot es una matriz con una longitud igual a la longitud de nuestra cadena de caracteres, cada vector one-hot tiene unos solo en el índice respectivo de carácter presente en cada cadena.

Por ejemplo, digamos que nuestra cadena de caracteres es '0123456789', y si queremos codificar una cadena como '12', entonces el vector único sería [ [0,1,0,0,0,0,0,0 ,0,0], [0,0,1,0,0,0,0,0,0,0] ]. Para hacer eso, necesitamos crear dos diccionarios con un índice como claves y caracteres como valores y el otro como viceversa.

Ahora escribamos una función que devuelva una ecuación aritmética aleatoria junto con el resultado de esa ecuación.

Lea también: Ideas interesantes para proyectos de redes neuronales

2. Construcción de un modelo

El modelo tendrá un codificador y un decodificador. El codificador es un modelo RNN simple con forma de entrada como (Ninguno, num_chars) y 128 unidades ocultas, la razón por la que elegimos unidades ocultas como 32, 64, 128, etc. es por el mejor rendimiento de la CPU o GPU con unidades ocultas como potencias de 2.

Nuestro codificador será una red totalmente conectada y la salida de estos se retroalimentará a la red, así es como funciona un RNN. Una capa RNN usa la activación 'tanh' por defecto, no vamos a cambiar porque se ajusta mejor al codificador. La salida de esta capa será un solo vector y para lograr un solo vector de toda la salida usaremos la capa RepeatVector() con el número requerido de veces como parámetro.

Ahora el vector de salida tendrá la esencia de la entrada dada, y este vector se alimentará al decodificador.

El decodificador se compone de una capa RNN simple y esto generará la secuencia de salida, ya que necesitamos que la capa RNN devuelva la secuencia predicha, vamos a marcar las 'secuencias de retorno' como verdaderas. Al asignar 'return_sequences' como Verdadero, la capa RNN devolverá la secuencia predicha para cada paso de tiempo (muchos a muchos RNN).

La salida de esta capa RNN se alimenta a una capa densa con el número de unidades ocultas 'num_chars' y usaremos la activación softmax ya que necesitamos la probabilidad de cada carácter. Antes de implementar una capa densa, debemos reducir esta capa a una capa distribuida en el tiempo porque necesitamos implementar la capa densa para la salida de cada paso de tiempo.

La arquitectura del modelo será como se muestra arriba.

Debe leer: Tutorial de redes neuronales

3. Vectorizar y Desvectorizar los Datos

Definamos funciones para vectorizar y desvectorizar los datos.

Aquí está la función para vectorizar la expresión aritmética y el resultado juntos.

def vectorizar (arith, res): x = np.ceros((max_time_steps, num_chars)) y = np.ceros((max_time_steps, num_chars)) x_remaining = max_time_steps – len (arith) y_remaining = max_time_steps – len (res) para i, c en enumerar (arith): x[x_restante + i, carácter_a_índice[c]] = 1 para i en rango (x_remaining): x[i, carácter_a_índice[ ' 0 ' ]] = 1 para i, c en enumerar (res): y[y_restante + i, carácter_a_índice[c]] = 1 para i en el rango (y_remaining): y[i, carácter_a_índice[ ' 0 ' ]] = 1 devuelve x, y

Del mismo modo, aquí está la función para desvectorizar la cadena. Dado que la salida que recibimos es un vector de probabilidades, usaremos np.argmax() para elegir el carácter con la probabilidad más alta. Ahora el diccionario index_to_character se usa para rastrear el carácter en ese índice.

Ahora, la restricción que tenemos con la función 'desvectorizar' es que va a rellenar los caracteres finales con ceros. Por ejemplo, si el vector de entrada es ('1-20', '-19'), la salida desvectorizada será ('01-20', '00-19'). Tenemos que ocuparnos de estos ceros extra acolchados. Escribamos una función para quitar la cadena.

4. Hacer un conjunto de datos

Ahora que terminamos de definir una función para generar los datos, usemos esa función y hagamos un conjunto de datos con muchos de estos pares (expresión aritmética, resultado).

5. Entrenando al modelo

Vamos a crear un conjunto de datos de 50 000 muestras, que es un número justo para entrenar nuestro modelo de hambre de datos, usaremos el 25 % de estos datos para la validación. Además, creemos una devolución de llamada para la interrupción del entrenamiento inteligente si la precisión permanece sin cambios durante 8 épocas. Esto se puede lograr configurando el parámetro de paciencia en 8.

6. Prueba del modelo

Ahora probemos nuestro modelo creando un conjunto de datos del tamaño 30.

La salida será la siguiente

Podemos ver que la precisión es un poco pobre aquí, de todos modos podemos optimizarla modificando algunos hiperparámetros como el número de unidades ocultas, división de validación, número de épocas, etc.

Conclusión

Entendimos el flujo de trabajo básico de una RNN, entendimos que las RNN son más adecuadas para datos secuenciales, generamos un conjunto de datos de ecuaciones aritméticas aleatorias, desarrollamos un modelo secuencial para predecir el resultado de una expresión aritmética básica, entrenamos ese modelo con el conjunto de datos que hemos creado y finalmente probado ese modelo con un pequeño conjunto de datos que el modelo nunca antes había visto.

Si está interesado en obtener más información sobre RNN, aprendizaje automático, consulte el Diploma PG en aprendizaje automático e IA de IIIT-B y upGrad, que está diseñado para profesionales que trabajan y ofrece más de 450 horas de capacitación rigurosa, más de 30 estudios de casos y asignaciones, Estado de ex alumnos de IIIT-B, más de 5 proyectos prácticos finales y asistencia laboral con las mejores empresas.