Introduction aux chaînes de Markov : prérequis, propriétés et applications

Avez-vous déjà pensé à la façon dont les météorologues experts font une prévision précise du temps ou à la façon dont Google classe différentes pages Web ? Comment ils font les applications python fascinantes dans le monde réel. Ces calculs sont complexes et impliquent plusieurs variables qui sont dynamiques et peuvent être résolues à l'aide d'estimations de probabilité.

Lorsque Google a introduit son algorithme PageRank, il a révolutionné l'industrie du Web. Et si vous connaissez cet algorithme, vous devez également savoir qu'il utilise des chaînes de Markov. Dans notre introduction aux chaînes de Markov, nous les examinerons brièvement et comprendrons ce qu'elles sont. Alors, commençons.

Conditions préalables

Il est essentiel de connaître quelques concepts avant de commencer à discuter des chaînes de Markov. Et la plupart d'entre eux sont issus de la théorie des probabilités. Non mathématiquement, vous pouvez définir la valeur d'une variable aléatoire comme le résultat d'un événement aléatoire. Ainsi, par exemple, si la variable était le résultat d'un lancer de dé, ce serait un nombre alors que si c'était le résultat d'un lancer de pièce, ce serait un booléen (0 ou 1). L'ensemble de ces résultats possibles peut être aussi bien continu que discret.

Nous pouvons donc dire qu'un processus stochastique est une collection de variables aléatoires qui définissent des indices. Cet ensemble représente différentes instances temporelles. Cet ensemble peut être composé de nombres réels (processus continu) ou de nombres naturels (processus discret).

Lire : Structures de données intégrées en Python

Introduction aux chaînes de Markov

Les chaînes de Markov tirent leur nom d'Andrey Markov, qui avait évoqué ce concept pour la première fois en 1906. Les chaînes de Markov font référence à des processus stochastiques qui contiennent des variables aléatoires, et ces variables passent d'un état à un autre selon des règles de probabilité et des hypothèses.

Quelles sont ces règles et hypothèses probabilistes, demandez-vous? Celles-ci sont appelées propriétés de Markov. En savoir plus sur Chaîne de Markov dans le didacticiel Python

Qu'est-ce que la propriété de Markov ?

Il existe de nombreux groupes de processus aléatoires, tels que les modèles autorégressifs et les processus gaussiens. La propriété de Markov facilite l'étude de ces processus aléatoires. Une propriété de Markov stipule que nous n'obtiendrions pas plus d'informations sur les résultats futurs d'un processus en augmentant nos connaissances sur son passé si nous connaissons sa valeur à un moment donné.

Une définition plus élaborée serait : la propriété de Markov dit que la probabilité d'un processus stochastique ne dépend que de son état et de son temps actuels, et qu'il est indépendant des autres états qu'il avait auparavant. C'est pourquoi c'est une propriété sans mémoire car elle ne dépend que de l'état actuel du processus.

Une chaîne de Markov homogène à temps discret est un processus de Marko qui a un espace et un temps d'état discrets. On peut dire qu'une chaîne de Markov est une suite discrète d'états, et qu'elle possède la propriété de Markov.

Voici la représentation mathématique d'une chaîne de Markov :

X = ( X n ) n N = ( X 0 , X 1 , X 2 , …)

Propriétés des chaînes de Markov

Examinons les caractéristiques fondamentales des chaînes de Markov pour mieux les comprendre. Nous n'approfondirons pas trop ce sujet car le but de cet article est de vous familiariser avec le concept général des chaînes de Markov.

Réductibilité

Les chaînes de Markov sont irréductibles. Cela signifie qu'ils n'ont aucune réductibilité s'ils peuvent atteindre n'importe quel état à partir d'un autre état. La chaîne n'a pas besoin d'atteindre un état à partir d'un autre en un seul pas de temps ; il peut le faire en plusieurs étapes de temps. Si nous pouvions représenter la chaîne avec un graphique, alors le graphique serait solidement connecté.

apériodique

Disons que la période d'un état est k. Si k = 1, alors cet état est apériodique lorsque tout type de retour à son état nécessite un certain multiple de k pas de temps. Lorsque tous les états d'une chaîne de Markov sont apériodiques, alors on peut dire que la chaîne de Markov est apériodique.

États transitoires et récurrents

Lorsque vous quittez un état et qu'il y a une probabilité que vous ne puissiez pas y revenir, nous disons que l'état est transitoire. Par contre, si on peut revenir à un état avec probabilité 1, après l'avoir quitté, on peut dire que la propriété est récurrente.

Il existe deux types d'états récurrents que nous pouvons avoir. Le premier est l'état récurrent positif qui a un temps de retour attendu fini, et le second est l'état récurrent nul qui a un temps de retour attendu infini. Le temps de retour attendu fait référence au temps de récurrence moyen lorsque nous quittons l'état.

Applications des chaînes de Markov

Les chaînes de Markov trouvent des applications dans de nombreux domaines. Voici leurs principales applications :

• L'algorithme PageRank de Google traite le Web comme un modèle de Markov. On peut dire que toutes les pages web sont des états, et les liens entre eux sont des transitions possédant des probabilités spécifiques. En d'autres termes, nous pouvons dire que peu importe ce que vous recherchez sur Google, il y a une probabilité finie que vous vous retrouviez sur une page Web particulière.
• Si vous utilisez Gmail, vous devez avoir remarqué leur fonctionnalité de remplissage automatique. Cette fonctionnalité prédit automatiquement vos phrases pour vous aider à rédiger des e-mails rapidement. Les chaînes de Markov aident considérablement dans ce secteur car elles peuvent fournir efficacement des prédictions de ce type.
• Avez-vous entendu parler de Reddit ? Il s'agit d'une plate-forme de médias sociaux importante remplie de sous-reddits (un nom pour les communautés dans Reddit) de sujets spécifiques. Reddit utilise des chaînes et des modèles de Markov pour simuler des sous-reddits pour une meilleure compréhension de ceux-ci.

En savoir plus : Évolution de la modélisation du langage dans la vie moderne

Dernières pensées

Il semble que nous ayons atteint la fin de notre introduction aux chaînes de Markov. Nous espérons que vous avez trouvé cet article utile. Si vous avez des questions ou des questions, n'hésitez pas à les partager avec nous via les commentaires. Nous aimerions recevoir de vos nouvelles.

Si vous souhaitez en savoir plus sur ce sujet, vous devriez vous diriger vers notre section cours. Vous y trouverez de nombreuses ressources précieuses.

Si vous êtes curieux d'en savoir plus sur la science des données, consultez le diplôme PG de IIIT-B & upGrad en science des données qui est créé pour les professionnels en activité et propose plus de 10 études de cas et projets, des ateliers pratiques, un mentorat avec des experts de l'industrie, 1- on-1 avec des mentors de l'industrie, plus de 400 heures d'apprentissage et d'aide à l'emploi avec les meilleures entreprises.