Введение в цепи Маркова: предпосылки, свойства и приложения

Вам когда-нибудь приходило в голову, как опытные метеорологи делают точные прогнозы погоды или как Google ранжирует различные веб-страницы? Как они делают увлекательные приложения на Python в реальном мире. Эти расчеты сложны и включают несколько переменных, которые являются динамическими и могут быть решены с использованием оценок вероятности.

Когда Google представил свой алгоритм PageRank, он произвел революцию в веб-индустрии. И если вы знакомы с этим алгоритмом, вы также должны знать, что он использует цепи Маркова. В нашем введении в цепи Маркова мы кратко рассмотрим их и поймем, что они из себя представляют. Итак, приступим.

Предпосылки

Важно знать несколько концепций, прежде чем мы начнем обсуждать цепи Маркова. И большинство из них из теории вероятностей. Не математически вы можете определить значение случайной переменной как результат случайного события. Так, например, если бы переменная была результатом броска игральной кости, это было бы число, а если бы она была результатом подбрасывания монеты, это было бы логическое значение (0 или 1). Набор этих возможных результатов может быть как непрерывным, так и дискретным.

Таким образом, мы можем сказать, что стохастический процесс — это набор случайных величин, которые задают индексы. Этот набор представляет разные экземпляры времени. Этот набор может состоять из действительных чисел (непрерывный процесс) или натуральных чисел (дискретный процесс).

Читайте: Встроенные структуры данных в Python

Введение в цепи Маркова

Цепи Маркова получили свое название от Андрея Маркова, который впервые предложил эту концепцию в 1906 году. Цепи Маркова относятся к случайным процессам, которые содержат случайные переменные, и эти переменные переходят из одного состояния в другое в соответствии с вероятностными правилами и предположениями.

Вы спросите, что это за вероятностные правила и предположения? Они называются марковскими свойствами. Узнать больше о Цепь Маркова в Python Tutorial

Что такое Марковское свойство?

Существует множество групп случайных процессов, таких как авторегрессионные модели и гауссовы процессы. Марковское свойство значительно упрощает изучение этих случайных процессов. Свойство Маркова утверждает, что мы не получим больше информации о будущих результатах процесса, увеличивая наши знания о его прошлом, если мы знаем его значение в определенное время.

Более подробное определение было бы таким: марковское свойство говорит о том, что вероятность случайного процесса зависит только от его текущего состояния и времени и не зависит от других состояний, которые он имел ранее. Вот почему это свойство без памяти, поскольку оно зависит только от текущего состояния процесса.

Однородная цепь Маркова с дискретным временем — это марковский процесс с дискретным пространством состояний и временем. Можно сказать, что цепь Маркова представляет собой дискретную серию состояний и обладает марковским свойством.

Вот математическое представление цепи Маркова:

Икс знак равно ( Икс п ) п N = ( Икс 0 , Икс 1 , Икс 2 , …)

Свойства цепей Маркова

Давайте рассмотрим основные особенности цепей Маркова, чтобы лучше их понять. Мы не будем слишком углубляться в эту тему, поскольку цель этой статьи — познакомить вас с общей концепцией цепей Маркова.

Сводимость

Цепи Маркова неприводимы. Это означает, что они не имеют сводимости, если они могут достичь любого состояния из другого состояния. Цепочке не нужно переходить из одного состояния в другое всего за один временной шаг; это можно сделать за несколько временных шагов. Если бы мы могли представить цепочку в виде графа, то граф был бы прочно связан.

Апериодический

Допустим, период состояния равен k. Если k = 1, то это состояние является апериодическим, когда любой возврат в его состояние требует некоторого количества k шагов по времени. Если все состояния цепи Маркова апериодичны, то можно сказать, что цепь Маркова апериодична.

Переходные и повторяющиеся состояния

Когда вы выходите из состояния и есть вероятность, что вы не сможете вернуться в него, мы говорим, что состояние преходяще. С другой стороны, если мы можем вернуться в состояние с вероятностью 1 после того, как мы его покинули, мы можем сказать, что это свойство является рекуррентным.

Мы можем иметь два типа повторяющихся состояний. Первое — это положительное рекуррентное состояние с конечным ожидаемым временем возврата, а второе — нулевое рекуррентное состояние с бесконечным ожидаемым временем возврата. Ожидаемое время возврата относится к среднему времени повторения, когда мы покидаем состояние.

Приложения цепей Маркова

Цепи Маркова находят применение во многих областях. Вот их известные приложения:

• Алгоритм Google PageRank рассматривает Интернет как марковскую модель. Можно сказать, что все веб-страницы — это состояния, а связи между ними — это переходы, обладающие определенными вероятностями. Другими словами, мы можем сказать, что независимо от того, что вы ищете в Google, существует конечная вероятность того, что вы окажетесь на определенной веб-странице.
• Если вы используете Gmail, вы, должно быть, заметили их функцию автозаполнения. Эта функция автоматически предсказывает ваши предложения, чтобы помочь вам быстрее писать электронные письма. Цепи Маркова значительно помогают в этом секторе, поскольку они могут эффективно обеспечивать предсказания такого рода.
• Вы слышали о Reddit? Это важная платформа для социальных сетей, заполненная сабреддитами (название сообществ в Reddit) по определенным темам. Reddit использует цепи и модели Маркова для моделирования субреддитов для лучшего понимания того же самого.

Узнайте больше: Эволюция языкового моделирования в современной жизни

Последние мысли

Похоже, мы подошли к концу нашего знакомства с цепями Маркова. Мы надеемся, что вы нашли эту статью полезной. Если у вас есть какие-либо вопросы или вопросы, не стесняйтесь поделиться ими с нами через комментарии. Мы хотели бы услышать от вас.

Если вы хотите узнать больше об этой теме, вы должны перейти в раздел наших курсов. Там вы найдете множество ценных ресурсов.

Если вам интересно узнать о науке о данных, ознакомьтесь с дипломом IIIT-B & upGrad PG в области науки о данных, который создан для работающих профессионалов и предлагает более 10 тематических исследований и проектов, практические семинары, наставничество с отраслевыми экспертами, 1- on-1 с отраслевыми наставниками, более 400 часов обучения и помощи в трудоустройстве в ведущих фирмах.