Concept de chaînes de Markov expliqué [avec exemple]

introduction

Les chaînes de Markov sont assez courantes, intuitives et ont été utilisées dans plusieurs domaines tels que l'automatisation de la création de contenu, la génération de texte, la modélisation financière, les systèmes de régulation de vitesse, etc. La célèbre marque Google utilise la chaîne de Markov dans son algorithme de classement de page pour déterminer l'ordre de recherche. .

Les chaînes de Markov sont relativement simples et ne nécessitent aucun concept mathématique ou connaissance statistique avancée pour leur mise en œuvre. Si vous avez une bonne compréhension des chaînes de Markov, il devient alors plus facile d'apprendre les techniques de modélisation probabiliste et de science des données.

Cet article vous donnera une compréhension approfondie de ce que sont les chaînes de Markov et de leur fonctionnement, à l'aide d'exemples.

Qu'est-ce qu'une chaîne de Markov ?

Une chaîne de Markov est un modèle mathématique qui fournit des probabilités ou des prédictions pour l'état suivant en se basant uniquement sur l'état de l'événement précédent. Les prédictions générées par la chaîne de Markov sont aussi bonnes qu'elles le seraient en observant toute l'histoire de ce scénario.

C'est un modèle qui passe d'un état à l'autre en fonction de certaines conditions de probabilité. Une caractéristique qui définit la chaîne de Markov est que, quelle que soit la manière dont l'état actuel est atteint, les états futurs sont fixes. Le résultat possible de l'état suivant dépend uniquement de l'état actuel et du temps entre les états.

Lire : Tutoriel sur la chaîne de Markov dans Python

Concept de chaîne de Markov avec exemples

Supposons que vous vouliez prédire les conditions météorologiques pour demain. Mais vous savez déjà qu'il ne peut y avoir que deux états possibles pour le temps, c'est-à-dire nuageux et ensoleillé. Comment allez-vous prédire le temps qu'il fera le lendemain en utilisant les chaînes de Markov ?

Eh bien, vous commencerez à observer l'état météorologique actuel et il pourrait être ensoleillé ou nuageux. Supposons qu'il fasse beau aujourd'hui. La condition climatique passe toujours par plusieurs transitions. Vous collecterez des données météorologiques au cours des dernières années et calculerez que les chances d'avoir une journée nuageuse après une journée ensoleillée sont de 0,35.

Vous avez également observé que les chances d'avoir une journée ensoleillée après une journée ensoleillée sont de 0,65. Cette distribution vous aidera à prédire que le lendemain sera également ensoleillé. C'est ainsi que l'état météorologique actuel vous aide à prédire l'état futur et vous pouvez appliquer la même logique pour prédire les conditions météorologiques pour les jours à venir.

L'exemple ci-dessus illustre la propriété de Markov selon laquelle la chaîne de Markov est sans mémoire. Les conditions météorologiques du jour suivant ne dépendent pas des étapes qui ont conduit aux conditions météorologiques du jour actuel. La distribution de probabilité n'est obtenue qu'en faisant l'expérience de la transition du jour en cours au jour suivant.

Un autre exemple de la chaîne de Markov est les habitudes alimentaires d'une personne qui ne mange que des fruits, des légumes ou de la viande. Les habitudes alimentaires sont régies par les règles suivantes :

• La personne ne mange qu'une fois par jour.
• Si une personne a mangé des fruits aujourd'hui, elle mangera demain des légumes ou de la viande avec une probabilité égale.
• S'il a mangé des légumes aujourd'hui, demain il mangera des légumes avec une probabilité de 1/10, des fruits avec une probabilité de 1/40 et de la viande avec une probabilité de 1/50.
• S'il a mangé de la viande aujourd'hui, demain il mangera des légumes avec une probabilité de 4/10, des fruits avec une probabilité de 6/10. Il ne mangera plus de viande demain.

Vous pouvez facilement modéliser ses habitudes alimentaires à l'aide de chaînes de Markov puisque son choix pour le lendemain dépend uniquement de ce qu'il a mangé aujourd'hui indépendamment de ce qu'il a mangé hier ou avant-hier.

Lisez aussi : Introduction aux chaînes de Markov

Matrice de transition de chaîne de Markov

Jusqu'à présent, nous avons vu comment prédire la probabilité de transition d'un état à un autre. Mais que diriez-vous de trouver la distribution de probabilité des transitions se produisant sur plusieurs étapes. Vous pouvez connaître la distribution de probabilité des transitions sur plusieurs étapes à l'aide de la matrice de transition de chaîne de Markov.

La matrice de transition de la chaîne de Markov n'est rien d'autre que la distribution de probabilité des transitions d'un état à un autre. On l'appelle une matrice de transition car elle affiche les transitions entre différents états possibles.

La probabilité associée à chaque état est appelée distribution de probabilité de cet état. C'est l'outil le plus important utilisé pour analyser la chaîne de Markov. Par exemple, s'il y a N nombre d'états possibles, alors la matrice de transition (P) serait la suivante

Matrice P = N x N

Où une entrée dans une ligne (I, J) représente la probabilité de transition de l'état I à l'état J. Chaque ligne de la matrice de transition P doit totaliser 1.

Pour représenter une chaîne de Markov, vous aurez également besoin d'un vecteur d'état initial qui décrit le démarrage à chacun des N états possibles. Vous pouvez représenter le vecteur d'état initial (X) comme

Matrice X = N x 1

Supposons que vous vouliez connaître la probabilité de transition de l'état I à l'état J sur M étapes multiples. Vous avez donné trois états possibles, à savoir le marché haussier, le marché baissier et le marché stagnant.

Dans l'exemple ci-dessus, la première colonne de la matrice de transition indique l'état du marché haussier, la deuxième le marché baissier et la troisième indique le marché stagnant. Les rangées correspondent également de la même manière.

Dans la matrice de transition, la probabilité de transition est calculée en élevant P à la puissance du nombre d'étapes (M). Pour une transition en 3 étapes, vous pouvez déterminer la probabilité en élevant P à 3.

En multipliant la matrice P3 ci-dessus, vous pouvez calculer la distribution de probabilité de transition d'un état à un autre.

Conclusion

Puisque vous avez compris le fonctionnement de la chaîne de Markov, vous pouvez facilement les implémenter dans n'importe quel énoncé de problème, soit pour trouver une solution, soit pour automatiser. Les chaînes de Markov sont très puissantes et fournissent une base pour d'autres techniques de modélisation plus avancées.

La compréhension de la chaîne de Markov peut vous amener à approfondir vos connaissances dans plusieurs techniques telles que la modélisation brève et l'échantillonnage.

Si vous êtes curieux d'en savoir plus sur python, la science des données, consultez le diplôme PG de IIIT-B & upGrad en science des données qui est créé pour les professionnels en activité et propose plus de 10 études de cas et projets, des ateliers pratiques, un mentorat avec des experts de l'industrie, 1-on-1 avec des mentors de l'industrie, plus de 400 heures d'apprentissage et d'aide à l'emploi avec les meilleures entreprises.