Полная версия

Главная arrow Информатика arrow Имитационное моделирование

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Марковские случайные процессы

Случайный процесс, протекающий в системе, называется марковским случайным процессом (или «процессом без последействия»), если он обладает следующим свойством: для каждого момента времени ?0 вероятность любого состояния системы в будущем (при t > t0) зависит только от ее состояния в настоящем (при t = t0) и не зависит от того, когда и каким образом система пришла в это состояние [5].

Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы можно перечислить (перенумеровать), а система переходит из одного состояния в другое мгновенно (скачком).

Случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, фиксированные моменты времени. Эти моменты принято называть «шагами» или «этапами» процесса.

Случайный процесс называется процессом с непрерывным временем, если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент времени.

Условимся обозначать как событие, состоящее в том, что после к шагов система S находится в состоянии S(. При любом к события

образуют полную группу и несовместны.

Процесс, происходящий в системе, можно представить как последовательность (цепочку) событий. Если для каждого шага вероятность перехода из любого состояния St в любое состояние Sj не зависит от того, когда и как система пришла в состояние S(, то такая последовательность событий называется марковской цепью.

Вероятности переходов (переходные вероятности) можно записать как условные вероятности:

Легко видеть, что вероятности состояний системы после к-го шага

если вероятности переходов от шага к шагу не меняются (цепь Маркова однородна).

Рассмотрим теперь непрерывную цепь Маркова.

Назовем плотностью вероятности перехода Ху предел отношения вероятности Ру (At) перехода системы за время At из состояния S; в состояние Sj к длине промежутка At. Тогда при малом At вероятность перехода Py(At) с точностью до бесконечно малых высших порядков равна

Предположим, что нам известны плотности вероятностей переходов для всех пар состояний системы, граф переходов которой показан на рис. 2.9.

Рис. 2.9

Поставим задачу: найти одну из вероятностей состояний, например р} (t). Придадим t малое приращение At и найдем вероятность того, что в момент t + At система будет находиться в состоянии

Могут представиться две возможности:

  • 1) в момент t система уже была в состоянии Sl5 а за время At не вышла из этого состояния; это происходит с вероятностью (t) (1 -A.12At);
  • 2) в момент t система была в состоянии S3, а за время At перешла из него в состояние Вероятность совмещений этих событий p3(t)X31At.

Применяя правило сложения вероятностей, получим

Раскроем скобки в правой части, перенесем р:(0 в левую и разделим обе части неравенства на At; получим

Устремляя At к нулю и переходя к пределу, видим, что левая часть есть не что иное, как производная функции (t):

Рассмотрим второе состояние S2 и найдем p2(t + At) — вероятность того, что в момент (t + At) система S будет находиться в состоянии S2. Это событие может произойти следующими способами:

  • 1) в момент t система уже была в состоянии S2, а за время At не перешла из него ни в S3, ни в S4;
  • 2) в момент t система была в состоянии S1} а за время At перешла из него в S2;
  • 3) в момент t система была в состоянии S4, а за время At перешла из него в S2.

Вероятность первого варианта:

Прибавляя сюда вероятности второго и третьего вариантов, получим

Перенося p2(t) в левую часть, деля на At и переходя к пределу, получим дифференциальное уравнение для p2(t):

Рассуждая аналогично, получим

Эта система дифференциальных уравнений называется уравнениями Колмогорова. Интегрирование этих уравнений даст искомые вероятности состояний как функции времени. Начальные условия должны быть заданы: если в момент t = О система находилась в состоянии Sl5 то надо принять начальные условия рг = 1, р2 = р3 = р4 = 0.

Оказывается, что все уравнения построены по определенному правилу: в левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием; если стрелка направлена из состояния, соответствующий член имеет знак «минус»; если в состояниезнак «плюс»; Каждый член уравнения равен плотности вероятности перехода, соответствующей данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

Это правило составления дифференциальных уравнений для вероятностей переходов является общим и справедливо для любой непрерывной марковской цепи.

 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>