Explicación del concepto de cadenas de Markov [con ejemplo]

Introducción

Las cadenas de Markov son bastante comunes, intuitivas y se han utilizado en múltiples dominios, como la automatización de la creación de contenido, la generación de texto, el modelado financiero, los sistemas de control de crucero, etc. La famosa marca Google utiliza la cadena de Markov en su algoritmo de clasificación de páginas para determinar el orden de búsqueda. .

Las cadenas de Markov son relativamente simples y no requieren ningún concepto matemático o conocimiento estadístico avanzado para su implementación. Si tiene una buena comprensión de las cadenas de Markov, será más fácil aprender técnicas de ciencia de datos y modelado probabilístico.

Este artículo le brindará una comprensión profunda de qué son las cadenas de Markov y cómo funcionan, con la ayuda de ejemplos.

¿Qué es una Cadena de Markov?

Una cadena de Markov es un modelo matemático que proporciona probabilidades o predicciones para el siguiente estado basándose únicamente en el estado del evento anterior. Las predicciones generadas por la cadena de Markov son tan buenas como las que se harían al observar la historia completa de ese escenario.

Es un modelo que experimenta la transición de un estado a otro basado en algunas condiciones de probabilidad. Una característica que define la cadena de Markov es que no importa cómo se alcance el estado actual, los estados futuros son fijos. El posible resultado del siguiente estado depende únicamente del estado actual y el tiempo entre los estados.

Leer: Cadena de Markov en Python Tutorial

Concepto de cadena de Markov con ejemplos

Suponga que desea predecir las condiciones climáticas para mañana. Pero ya sabe que solo puede haber dos estados posibles para el clima, es decir, nublado y soleado. ¿Cómo predecirás el clima del día siguiente usando las cadenas de Markov?

Bueno, comenzarás a observar el estado del tiempo actual y podría estar soleado o nublado. Supongamos que hace sol hoy. La condición climática siempre pasa por varias transiciones. Reunirás datos meteorológicos de los últimos años y calcularás que las probabilidades de tener un día nublado después de un día soleado son de 0,35.

También has observado que las posibilidades de tener un día soleado después de un día soleado son 0,65. Esta distribución te ayudará a predecir que el día siguiente también estará soleado. Así es como el estado del clima actual lo ayuda a predecir el estado futuro y puede aplicar la misma lógica para predecir las condiciones climáticas para los días venideros.

El ejemplo anterior ilustra la propiedad de Markov de que la cadena de Markov no tiene memoria. Las condiciones meteorológicas del día siguiente no dependen de los pasos que condujeron a las condiciones meteorológicas del día actual. La distribución de probabilidad se llega solo al experimentar la transición del día actual al día siguiente.

Otro ejemplo de la cadena de Markov son los hábitos alimenticios de una persona que come solo frutas, verduras o carne. Los hábitos alimentarios se rigen por las siguientes reglas:

• La persona come sólo una vez al día.
• Si una persona comió frutas hoy, mañana comerá verduras o carne con la misma probabilidad.
• Si comió verduras hoy, mañana comerá verduras con una probabilidad de 1/10, frutas con una probabilidad de 1/40 y carne con una probabilidad de 1/50.
• Si comió carne hoy, mañana comerá verduras con una probabilidad de 4/10, frutas con una probabilidad de 6/10. No volverá a comer carne mañana.

Puede modelar fácilmente sus hábitos alimenticios utilizando cadenas de Markov, ya que su elección para el día siguiente depende únicamente de lo que comió hoy, independientemente de lo que comió ayer o el día anterior.

Lea también: Introducción a las cadenas de Markov

Matriz de transición de la cadena de Markov

Hasta ahora, hemos visto cómo podemos predecir la probabilidad de pasar de un estado a otro. Pero, ¿qué hay de encontrar la distribución de probabilidad de las transiciones que ocurren en varios pasos? Puede averiguar la distribución de probabilidad de las transiciones en varios pasos utilizando la matriz de transición de la cadena de Markov.

La matriz de transición de la cadena de Markov no es más que la distribución de probabilidad de las transiciones de un estado a otro. Se llama matriz de transición porque muestra las transiciones entre diferentes estados posibles.

La probabilidad asociada con cada estado se denomina distribución de probabilidad de ese estado. Es la herramienta más importante que se utiliza en el análisis de la cadena de Markov. Por ejemplo, si hay un número N de estados posibles, entonces la matriz de transición (P) sería la siguiente

matriz P = N x N

Donde una entrada en una fila (I, J) representa la probabilidad de pasar del estado I al estado J. Cada fila de la matriz de transición P debe sumar 1.

Para representar una cadena de Markov, también necesitará un vector de estado inicial que describa el inicio en cada uno de los N estados posibles. Puede representar el vector de estado inicial (X) como

matriz X = N x 1

Suponga que desea averiguar la probabilidad de pasar del estado I al estado J en M pasos múltiples. Ha dado tres estados posibles, es decir, mercado alcista, mercado bajista y mercado estancado.

En el ejemplo anterior, la primera columna de la matriz de transición indica el estado del mercado alcista, la segunda del mercado bajista y la tercera indica el mercado estancado. Las filas también se corresponden de manera similar.

En la matriz de transición, la probabilidad de transición se calcula elevando P a la potencia del número de pasos (M). Para una transición de 3 pasos, puede determinar la probabilidad elevando P a 3.

Al multiplicar la matriz P3 anterior, puede calcular la distribución de probabilidad de la transición de un estado a otro.

Conclusión

Como ha entendido cómo funciona la cadena de Markov, puede implementarla fácilmente en cualquier enunciado del problema, ya sea para llegar a una solución o para automatizar. Las cadenas de Markov son muy potentes y proporcionan una base para otras técnicas de modelado más avanzadas.

La comprensión de la cadena de Markov puede llevarlo a obtener un conocimiento más profundo en varias técnicas, como el modelado breve y el muestreo.

Si tiene curiosidad por aprender sobre python, ciencia de datos, consulte el Diploma PG en ciencia de datos de IIIT-B y upGrad, creado para profesionales que trabajan y ofrece más de 10 estudios de casos y proyectos, talleres prácticos, tutoría con expertos de la industria, 1 a 1 con mentores de la industria, más de 400 horas de aprendizaje y asistencia laboral con las mejores empresas.