Logo GenDocs.ru

Поиск по сайту:  

Загрузка...

Лекции - Теория марковских случайных процессов - файл 1.doc


Лекции - Теория марковских случайных процессов
скачать (296.5 kb.)

Доступные файлы (1):

1.doc297kb.18.11.2011 20:00скачать

содержание
Загрузка...

1.doc

Реклама MarketGid:
Загрузка...

Теория марковских случайных процессов




1. Понятие случайного процесса.


Случайным процессом называется множество или семейство случайных величин, значения которых индексируются временным параметром. Например, число студентов в аудитории, атмосферное давление или температура в этой аудитории как функции времени являются случайными процессами.

Случайные процессы находят широкое применение при изучении сложных стохастических систем как адекватные математические модели процесса функционирования таких систем.

Основными понятиями для случайных процессов являются понятия состояния процесса и перехода его из одного состояния в другое.

Значения переменных, которые описывают случайный процесс, в данный момент времени называются состоянием случайного процесса. Случайный процесс совершает переход из одного состояния в другое, если значения переменных, задающих одно состояние, изменяются на значения, которые определяют другое состояние.

Число возможных состояний (пространство состояний) случайного процесса может быть конечным или бесконечным. Если число возможных состояний конечно или счетно (всем возможным состояниям могут быть присвоены порядковые номера), то случайный процесс называется процессом с дискретными состояниями. Например, число покупателей в магазине, число клиентов в банке в течение дня описываются случайными процессами с дискретными состояниями.

Если переменные, описывающие случайный процесс, могут принимать любые значения из конечного или бесконечного непрерывного интервала, а, значит, число состояний несчетно, то случайный процесс называется процессом с непрерывными состояниями. Например, температура воздуха в течение суток является случайным процессом с непрерывными состояниями.

Для случайных процессов с дискретными состояниями характерны скачкообразные переходы из одного состояния в другое, тогда, как в процессах с непрерывными состояниями переходы являются плавными. Далее будем рассматривать только процессы с дискретными состояниями, которых часто называют цепями.

Обозначим через g(t) случайный процесс с дискретными состояниями, а возможные значения g(t), т.е. возможные состояния цепи, - через символы E0, E1, E2, … . Иногда для обозначения дискретных состояний используют числа 0, 1, 2,... из натурального ряда.

Случайный процесс g(t) называется процессом с дискретным временем, если переходы процесса из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени t0, t1, t2, …. Если переход процесса из состояния в состояние возможен в любой, заранее неизвестный момент времени, то случайный процесс называется процессом с непрерывным временем. В первом случае, очевидно, что интервалы времени между переходами являются детерминированными, а во втором - случайными величинами.

Процесс с дискретным временем имеет место либо, когда структура системы, которая описывается этим процессом, такова, что ее состояния могут изменяться только в заранее определенные моменты времени, либо когда предполагается, что для описания процесса (системы) достаточно знать состояния в определенные моменты времени. Тогда эти моменты можно пронумеровать и говорить о состоянии Ei в момент времени ti.

Случайные процессы с дискретными состояниями могут изображаться в виде графа переходов (или состояний), в котором вершины соответствуют состояниям, а ориентированные дуги - переходам из одного состояния в другое. Если из состояния Ei возможен переход только в одно состояние Ej, то этот факт на графе переходов отражается дугой, направленной из вершины Ei в вершину Ej (рис.1,а). Переходы из одного состояния в несколько других состояний и из нескольких состояний в одно состояние отражается на графе переходов, как показано на рис.1,б и 1,в.
а) б) в)













Ei Ej Ei Ek Ek Ei





Em Em

Рис.1. Фрагменты графа переходов.

^

2. Понятие марковского случайного процесса.



Особое место среди случайных процессов занимают так называемые марковские случайные процессы, впервые описанные А.А. Марковым в 1907г. Случайный процесс называется марковским, если вероятность любого его состояния в будущем зависит только от состояния в настоящем и не зависит от того, каким образом и когда процесс пришел в текущее состояние. Аналитически сказанное может быть записано в виде:

P
(1)
r
{g(tn+1)=En+1|g(t0)=E0, g(t1)=E1, …, g(tn)=En}=

=Pr{g(tn+1)=En+1|g(tn)=En},

где t1<t2< … <tn<tn+1, а En - текущее состояние. Иными словами, в марковских случайных процессах влияние (воздействие) всей предыстории процесса на его будущее полностью сосредоточено в текущем состоянии процесса. Это свойство называется свойством отсутствия последействия или применительно к случайным процессам марковским свойством.

Свойство отсутствия последействия накладывает существенные ограничения на распределение времени пребывания марковского процесса в том или ином состоянии. Так, в случае цепи Маркова с непрерывным временем время пребывания в данном состоянии должно быть распределено по экспоненциальному, а в случае дискретной цепи Маркова - по геометрическому, законам распределения, которые являются единственными, соответственно, непрерывным и дискретным распределениями без последействия. Только при таких ограничениях на времена пребывания процесса в состояниях гарантировано выполнение марковского свойства.

Р
(2)
ассмотрим марковский случайный процесс g(t) с конечным числом состояний E0, E1, …, En. Обозначим через Pi(t) вероятность того, что случайный процесс в момент времени t находится в состоянии Ei:

Pi = Pr{g{t} = Ei}, i = 0,n.

Очевидно, что в любой момент времени t процесс находится в одном из n+1 возможных состояний, т.е. события g{t}=Ei, i = 0,n заключающиеся в том, что в момент времени t процесс находится в состояниях E0, E1 ,…, En, образуют полную группу несовместных событий. Отсюда следует, что в любой момент времени t выполняется условие:


(3)
1,

которое называется нормировочным.

Совокупность вероятностей Pi(t), i=0,n, может быть представлена вектором, называемым вектором состояний, с числом компонент, равным числу возможных состояний процесса:

P(t)={P0(t), P1(t), …, Pn(t)}.

Главная задача изучения марковских случайных процессов заключается в определении вероятностей Pi(t), i = 0,n, нахождения процесса в любой момент времени t в том или ином состоянии, что дает полную информацию о случайном процессе. Для решения данной задачи необходимо:

  1. указать в каком состоянии находится процесс в начальный момент времени;

  2. описать переходы между состояниями.

Состояние процесса в начальный момент времени t=0 задается вектором начальных вероятностей

P(0)={P0(0), P1(0), …, Pn(0)}.

Описание переходов между состояниями зависит от того, каким (с дискретным или с непрерывным временем) является изучаемый марковский случайный процесс. Этот вопрос будет рассматриваться в следующих параграфах.

Очень часто при изучении марковских случайных процессов достаточно определить не вероятности P0(t), P1(t),, Pn(t) в любой момент времени t, а их предельные значения (если они существуют) при .

Если при вероятности Pi(t), i=0,n, стремятся к предельным значениям Pi , i=0,n, не зависящим от распределения начальных вероятностей Pi(0), i=0,n, то говорят, что случайный процесс обладает эргодическим свойством. Таким образом, для процессов, обладающих эргодическим свойством, существуют пределы

, i=0,n.

Предельные вероятности Pi, i=0,n, часто называют вероятностями состояний равновесия или стационарными вероятностями.

^

3. Марковские процессы с дискретным временем.



Как было определено ранее, для случайных процессов с дискретным временем изменения состояний возможны только в определенные моменты времени, и эти моменты обозначим через t0, t1, t2, … . В случае дискретной цепи Маркова для описания переходов между состояниями используются вероятности переходов, определяемые как

p
(4)
ij(tk)=Pr{g(tk+1)=Ej|g(tk)=Ei}, i,j=0,n.

Вероятность перехода (за один шаг) pij(tk) задет вероятность того, что случайный процесс на следующем (k+1)-ом шаге перехода (в момент времени tk+1) окажется в состоянии Ej при условии, что на текущем k-ом шаге (в момент времени tk) он находится в состоянии Ei.

Если вероятности переходов pij(tk) не зависят от момента времени tk, т.е. pij(tk)=pij, то цепь Маркова называется однородной, в противном случае - неоднородной. Далее будем рассматривать только однородные цепи Маркова.

Вероятности переходов pij, i,j=0,n, обычно задаются в виде квадратной матрицы T размерности (n+1)(n+1):



э
(5)
лементы которой удовлетворяются условиям:

, i=0,n;


(6)
, i,j=0,n.

Условие (5) означает, что в любой момент времени t0, t1, t2, … процесс обязательно (с вероятностью 1) перейдет из состояния Ei в какое-либо другое состояние E0, E1,, En, причем не исключается возможность перехода в то же самое состояние.

Матрица, удовлетворяющая условиям (5) и (6), называется стохастической. Поскольку элементами стохастической матрицы Т являются вероятности переходов pij, то эта матрица называется матрицей вероятностей переходов.

Наряду с вероятностями переходов pij за один шаг, определим вероятности переходов за m шагов в виде

, m=1, 2, …

Здесь задет вероятность того, что через m переходов случайный процесс окажется в состоянии Ej при условии, что на текущем шаге он находится в состоянии Ei. В силу однородности марковской цепи вероятности , i,j=0,n, не зависят от текущего времени tk.

Используя марковское свойство, легко вывести следующую формулу для вычисления вероятностей :


(7)
, m=2, 3, …

Это равенство означает, что для попадания из состояния Ei в состояние Ej за m шагов необходимо сначала попасть из состояния Ei в некоторое состояние Ek за m-1 шагов, а затем за один шаг перейти из Ek в Ej. Вероятность этих двух независимых событий (они независимы в силу марковского свойства) равна произведению вероятностей каждого из них, и, если просуммировать эти произведения по всем возможным промежуточным состояниям Ek, то получится вероятность .

Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния, т.е. для каждой пары состояний Ei и Ej существует целое число m0 такое, что . Состояние Ei называется поглощающим, если процесс достигнув это состояние, не покидает его. Очевидно, для поглощающего состояния pii=1. Состояние Ei называется невозвратным, если случайный процесс после какого-то числа переходов непременно покидает его.

Вернемся к вопросу определения вероятностей состояний Pi(tk), i=0,n, предполагая, что начальные вероятности Pi(t0), i=0,n, при t0=0 известны.

Используя доводы, аналогичные тем, что были приведены для обоснования равенства (7), легко определить, что искомые вероятности после первого шага, т.е. на момент времени t1

, i=0,n.

Вероятности состояний после второго шага на момент времени t2 определяются аналогично:

, i=0,n.

В общем случае после k-го шага на момент времени tk, k=1, 2,..., вероятности состояний будут равны


(8)
, i=0,n.

В
(9)
векторной форме равенства (8) имеют вид:

P(tk)=P(tk-1)T.

Если случайный процесс обладает эргодическим свойством, т.е. существуют пределы , i=0,n, то соответствующие предельные значения вероятностей состояний Pi, i=0,n, для стационарного режима определяются из решения системы уравнений:

, i=0,n

и
(10)
ли в векторном виде

P=PT

с
(11)

.
нормировочным условием





В системе (10) уравнения являются линейно зависимыми и любое из них можно исключить из нее, а недостающее при этом (для однозначного определения n+1 неизвестных) уравнение составляет условие (11).

Сформулируем теперь правило составления уравнений для стационарных вероятностей состояний марковского процесса с дискретным временем по графу переходов. Для каждого состояния уравнение составляется следующим образом. В левой части уравнения записывается стационарная вероятность рассматриваемого состояния. Правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние. Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга. Сформулированное правило позволяет чисто механически записывать уравнения для стационарных вероятностей состояний непосредственно по графу переходов.

Пример. Рассмотрим систему, которая состоит из двух устройств y1 и y2, каждое из которых может находиться в одном из двух состояний: не работает (обозначим это состояние через 0) и работает (состояние 1). В определенные моменты времени может включиться или выключиться только одно устройство. Пусть процесс функционирования такой системы описывается процессом с дискретным временем. Выделим возможные состояния процесса (системы):


Ei




yi

E0

E1

E2

E3












y1

0

0

1

1

y2

0

1

0

1


Предположим, что известны вероятности переходов, представленные в виде матрицы


и начальные вероятности P0(0)=0,7, P1(0)=P2(0)=P3(0)=0,1. Граф переходов для этого процесса имеет вид, показанный на рис. 2.



Рис. 2. Граф переходов.
Определим вероятности состояний на различные моменты времени. Согласно формуле (8) вероятности состояний на момент времени t1:

P0 (t1) =P0 (0) p00 + P1 (0) p10 +P2 (0) p20 + P3 (0) p30 =0.1;

P1 (t1) =P0 (0) p01 + P1 (0) p11 +P2 (0) p21 + P3 (0) p31 =0.18;

P2 (t1) =P0 (0) p02 + P1 (0) p12 +P2 (0) p22 + P3 (0) p32 =0.62;

P3 (t1) =P0 (0) p03+ P1 (0) p13 +P2 (0) p23 + P3 (0) p33 =0.1;

на момент времени t2:

P0 (t2) = P0 (t1) p00 + P1 (t1) p10 + P2 (t1) p20 + P3 (t1) p30 =0.4;

P1 (t2) = P0 (t1) p01 + P1 (t1) p11 + P2 (t1) p21 + P3 (t1) p31 =0.06;

P2 (t2) = P0 (t1) p02 + P1 (t1) p12 + P2 (t1) p22 + P3 (t1) p32 =0.14;

P3 (t2) = P0 (t1) p03 + P1 (t1) p13 + P2 (t1) p23 + P3 (t1) p33 =0.4;

и т.д.

Предполагая, что рассматриваемый случайный процесс обладает эргодическим свойством, что соответствует действительности, определим вероятности состояний для стационарного режима. Искомые вероятности P0, P1, P2, P3 могут быть найдены, согласно равенствам (10) и (11), из системы уравнений:

P0 = 0.5P1 +0.5P2

P1 = 0.2P0 +0.4P3

P2 = 0.8P0 +0.6P3

P3 = 0.5P1 +0.5P2

P0 +P1+P2 +P3 =1.

Легко проверить, что такую же систему мы получим, если воспользуемся приведенным выше правилом составления уравнений для стационарных вероятностей по графу переходов.

Решив систему уравнений, получим: P0 =0.25; P1 =0.15; P2 =0.35; P3 =0.25.

В заключении вернемся к вопросу о свойстве отсутствия последействия для марковских цепей с дискретным временем и докажем, что время пребывания в данном состоянии имеет геометрическое распределение.

Предположим, что процесс только что перешел в состояние Ei. Он останется в этом состоянии на следующем шаге с вероятностью pii и с вероятностью 1-pii уйдет из этого состояния. Если процесс действительно останется в этом состоянии, то вероятность того, что на следующем, втором, шаге он останется в данном состоянии, по-прежнему равна pii, а вероятность того, что процесс перейдет в другое состояние, останется равной 1-pii. И так далее. Более того, благодаря марковскому свойству тот факт, что процесс пребывал в данном состоянии известное число шагов, никак не сказывается на вероятности остаться на следующем шаге в этом же состоянии или перейти в некоторое другое состояние. Так как эти события независимы, то вероятность того, что процесс находился в состоянии Ei точно m шагов и затем сразу перешел в другое состояние, равна (1-pii), что и задает геометрическое распределение.

^

4. Марковские процессы с непрерывным временем.



Для марковских процессов с непрерывным временем, когда переходы из одного состояния в другое возможны в любой момент времени, вероятность перехода из состояния Ei в состояние Ej точно в момент времени t не может быть задана, поскольку такая вероятность равна нулю. Вместо этого можно определить вероятность соответствующего перехода на интервале времени (t, t+t), определяемая как

pij (t, t +t)=Pr {g (t+t)=Ej | g (t)=Ei}, i, j=0,n.

При этом , i, j=0,n.

В случае марковской цепи с непрерывным временем для описания переходов используются не вероятности переходов, а интенсивности переходов. Интенсивность перехода из состояния Ei в состояние Ej в момент времени t, обозначаемая через qij(t), определяется следующим образом:

qij(t)=, ij; (12)

qii(t)=. (13)

Эти пределы имеют следующую интерпретацию. Если в момент времени t процесс находится в состоянии Ei, то вероятность перехода в течение промежутка времени (t,t+t) в произвольное (отличное от Ei) состояние задается величиной -qii(t) t+o(t)1. Таким образом, величину -qii(t) можно интерпретировать как интенсивность, с которой процесс уходит из состояния Ei. Аналогично, вероятность перехода процесса в течение времени (t, t+t) из состояния Ei в состояние Ej задается величиной +qij(t)t+o(t) и величину qij(t) можно интерпретировать как интенсивность, с которой процесс переходит из состояния Ei в состояние Ej, при условии, что Ei - текущее состояние процесса. Так как всегда (t,t+t)=1, то из равенств (12) и (13) следует, что


(14)
(t)=0, i=0,n.

Если вероятности переходов pij(t,t+t), а, значит, и интенсивности переходов qij(t), не зависят от времени t (pij(t,t+t)pij(t) и qij(t) qij), т.е. от того, в какой момент начинается промежуток t, то марковский процесс называется однородным, в противном случае - неоднородным.

Далее, рассматривая марковские случайные процессы с непрерывным временем, будем считать их однородными.

Интенсивности переходов qij, i,j=0,n, можно задать в виде квадратной матрицы Q размерности (n+1)(n+1):



называемая матрицей интенсивностей переходов. Элементы матрицы переходов Q удовлетворяют условию (14) (сумма элементов строки равна нулю), и такая матрица называется дифференциальной.

Рассмотрим теперь задачу определения вероятностей (2) марковского случайного процесса с непрерывным временем.

Вероятность того, что марковский процесс в момент времени t+t окажется в состоянии Ei, определяется как

P
(15)
i(t+t) = (t)pji(t), i=0,n.

Действительно, марковский процесс в момент времени t+t окажется в состоянии Ei, если он в момент времени t находится в состоянии Ej (с вероятностью Pj(t)) и за промежуток времени t перейдет с вероятностью pji(t) из состояния Ej в состояние Ei. Суммируя произведения вероятностей этих двух независимых событий по всем возможным состояниям процесса в момент времени t, получим равенство (15).

Если вычесть Pi(t) от обоих сторон равенства (15), а затем разделить на t и определить соответствующие пределы при t0, то получим:

, i=0,n

или в векторном виде: (16)

Решая данную систему дифференциальных уравнений при заданном распределении P(0)={P0(0), P1(0), ..., Pn(0)} начальных вероятностей с учетом нормировочного условия (3), можно определить вероятности Pi(t), i=0,n, состояний марковского случайного процесса в любой момент времени.

В случае эргодичности марковского случайного процесса существуют предельные (при t) вероятности состояний Pi, i=0,n, и они не зависят от начальных условий и временного параметра. Тогда производные dPi(t)/dt=0, i=0,n, и система дифференциальных уравнений (16) для стационарного режима превращается в систему линейных алгебраических уравнений:

, i=0,n

или в векторном виде (17)

PQ=0.

Система (17) совместно с нормировочным условием дает единственное решение для стационарных вероятностей Pi, i=0,n.

Систему уравнений для вероятностей состояний равновесия марковского процесса с непрерывным временем можно составить непосредственно по графу переходов, используя принцип равенства потоков вероятностей, который состоит в следующем: в состоянии равновесия марковского процесса поток вероятностей в любое состояние равен потоку вероятностей из этого состояния. При этом под потоком вероятностей, например, в данное состояние, понимается сумма произведений интенсивностей переходов в это состояние на вероятности тех состояний, откуда происходят эти переходы. Принцип равенства применим не только к потоку вероятностей для отдельных состояний, но и к потоку через любую замкнутую границу.

Пример. Определим вероятности состояний равновесия марковского случайного процесса с четырьмя возможными состояниями E0, E1, E2, E3 и матрицей интенсивностей переходов



Г
λ

λ
раф переходов для этого процесса приведен на рис. 3. В диаграмму переходов не включены петли, ведущие из состояния Ei, i=0,3, обратно в это же состояние, так как, согласно (14), члены на главной диагонали матрицы Q не содержат никакой новой информации: они равны сумме элементов соответствующей строки, взятой со знаком минус.


λ







P0

P1

P2

P3




μ

μ

μ

Рис. 3. Граф переходов примера.

Система (17) вместе с нормировочным условием для этого примера имеет вид:

-P0+P1=0

P0-(+)P1+P2=0

-(+)P2+P3=0

P1+P2-P3=0

P0+P1+P2+P3=1

Первые четыре уравнения полученной системы являются линейно зависимыми, и любое из них можно исключить из системы, а остальные три уравнения и нормировочное условие определяют единственное решение для вероятностей состояний равновесия. Если = 2 и = 1, то P0=1/19, P1=2/19, P2=4/19 и P3=12/19.

Применение принципа равенства потоков вероятностей к отдельным состояниям дает такую же систему уравнений. Так, например, для состояния E3 P1+P2=P3, что соответствует четвертому уравнению приведенной выше системы.

^

5. Процессы размножения и гибели.



Процессы размножения и гибели являются частным случаем марковских случайных процессов, которые тем не менее находят весьма широкое применение при исследовании дискретных систем со стохастическим характером функционирования. Процесс размножения и гибели представляет собой марковский случайный процесс, в котором переходы из состояния Ei допустимы только в соседние состояния Ei-1, Ei и Ei+1. Процесс размножения и гибели является адекватной моделью для описания изменений, происходящих в объеме биологических популяций. Следуя этой модели, говорят, что процесс находится в состоянии Ei, если объем популяции равен i членам. При это переход из состояния Ei в состояние Ei+1 соответствует рождению, а переход из Ei в Ei-1 - гибели, предполагая, что объем популяции может изменяться не более чем на единицу; это означает, что для процессов размножения и гибели не допускаются многократные одновременные рождения и/или гибели.

Дискретные процессы размножения и гибели менее интересны, чем непрерывные, поэтому в дальнейшем они подробно не рассматриваются и основное внимание уделяется непрерывным процессам. Однако следует отметить, что для дискретных процессов проходят почти параллельные выкладки. Переход процесса размножения и гибели из состояния Ei обратно в состояние Ei представляет непосредственный интерес только для дискретных цепей Маркова; в непрерывном случае интенсивность, с которой процесс возвращается в текущее состояние, равна бесконечности, и эта бесконечность была исключена согласно определению (13).

В случае процесса размножения и гибели с дискретным временем вероятности переходов между состояниями




Здесь di - вероятность того, что на следующем шаге (в терминах биологической популяции) произойдет одна гибель, уменьшающая объем популяции до i-1 при условии, что на данном шаге объем популяции равен i. Аналогично, bi - вероятность рождения на следующем шаге, приводящего к увеличению объема популяции до i+1; 1-di-bi представляет собой вероятность того, что ни одно из этих событий не произойдет и на следующем шаге объем популяции не изменится. Допускаются только эти три возможности. Ясно, что d0=0, так как гибель не может наступить, если некому погибать.

Однако в противовес интуиции допускается, что b0>0, что соответствует возможности рождения, когда в популяции нет ни одного члена. Хотя это можно расценивать как спонтанное рождение или божественное творение, но в теории дискретных систем такая модель представляет собой вполне осмысленное допущение. А именно, модель такова: популяция представляет собой поток требований, находящихся в системе, гибель означает уход требования из системы, а рождение соответствует поступлению в систему нового требования. Ясно, что в такой модели вполне возможно поступление нового требования (рождение) в свободную систему. Матрица вероятностей переходов для общего процесса размножения и гибели имеет следующий вид:

Т=
Если цепь Маркова является конечной, то последняя строка матрицы записывается в виде [0 0… 0dn1-dn]; это соответствует тому, что не допускаются никакие размножения после того, как популяция достигает максимального объема n.

Матрица ^ T содержит нулевые члены только на главной и двух ближайших к ней диагоналях. Из-за такого частного вида матрицы T естественно ожидать, что анализ процесса размножения и гибели не должен вызывать трудностей.

Далее будем рассматривать только непрерывные процессы размножения и гибели, в которых переходы из состояния Ei возможны только в соседние состояния Ei-1 (гибель) и Ei+1 (рождение). Обозначим через i интенсивность размножения; она описывает скорость, с которой происходит размножение в популяции объема i. Аналогично, через i обозначим интенсивность гибели, задающую скорость с которой происходит гибель в популяции объема i. Заметим, что введенные интенсивности размножения и гибели не зависят от времени, а зависят только от состояния Ei, следовательно, получаем непрерывную однородную цепь Маркова типа размножения и гибели. Эти специальные обозначения введены потому, что они непосредственно приводят к обозначениям, принятым в теории дискретных систем. В зависимости от ранее введенных обозначений имеем:

i= qi,i+1 и i= qi,i-1.

Требование о допустимости переходов только в ближайшие соседние состояния означает, что исходя из (14), qii=-(i+ i). Таким образом, матрица интенсивностей переходов общего однородного процесса размножения и гибели принимает вид

Q
.
=
Заметим, что за исключением главной и соседних с ней снизу и сверху диагоналей все элементы матрицы равны нулю. Соответствующий граф интенсивностей переходов представлен на рис. 4.

Более точное определение непрерывного процесса размножения и гибели состоит в следующем: некоторый процесс представляет собой процесс размножения и гибели, если он является однородной цепью Маркова с множеством состояний {E0, E1, E2, …}, если рождение и гибель являются независимыми событиями (это вытекает непосредственно из марковского свойства) и если выполняют следующие условия:

  1. Pr [точно 1 рождение в промежутке времени (t,t+Δt)| объем популяции равен i]= ;

  2. Pr [точно 1 гибель в промежутке времени (t,t+Δt)| объем популяции равен i]= ;

  3. Pr [точно 0 рождений в промежутке времени (t,t+Δt)| объем популяции равен i]= ;

  4. Pr [точно 0 гибелей в промежутке времени (t,t+Δt)| объем популяции равен i]= .

Согласно этим предположениям кратные рождения, кратные гибели и одновременные рождения и гибели в течение малого промежутка времени (t, t+Δt) запрещены в том смысле, что вероятность таких кратких событий имеет порядок оt).

Вероятность того, что непрерывный процесс размножения и гибели в момент времени t находится в состоянии Ei (объем популяции равен i) определяется напрямую из (16) в виде


(18)


Для решения полученной системы дифференциальных уравнений в нестационарном случае, когда вероятности Pi(t), i=0,1,2,…, зависят от времени, необходимо задать распределение начальных вероятностей Pi(0), i=0,1,2,…, при t=0. Кроме того, должно удовлетворяться нормировочное условие.




Рис.4. Граф интенсивностей переходов для процесса размножения и гибели.
Рассмотрим теперь простейший процесс чистого размножения, который определяется как процесс, для которого i = 0 при всех i. Кроме того, для еще большего упрощения задачи предположим, что i= для всех i=0,1,2,... . Подставляя эти значения в уравнения (18) получим


(19)


Для простоты предположим также, что процесс начинается в нулевой момент при нуле членов, то есть:


(20)


Отсюда для P0(t) получаем решение

P0(t)=e-t.

Подставляя это решение в уравнение (19) при i = 1, приходим к уравнению

.

Решение этого дифференциального уравнения, очевидно, имеет вид

P1(t)= te-t.

Далее по индукции в качестве решения уравнения (19) находим

.

Это знакомое нам распределение Пуассона. Таким образом, процесс чистого размножения с постоянной интенсивностью приводит к последовательности рождений, образующей пуассоновский процесс.

Наибольший интерес в практическом плане представляют вероятности состояний процесса размножения и гибели в установившемся режиме. Предполагая, что процесс обладает эргодическим свойством, т.е. существуют пределы перейдем к определению предельных вероятностей Pi.

Уравнения для определения вероятностей стационарного режима можно получить непосредственно из (18), учитывая, что dPi(t)/dt = 0 при :


(21)


Полученная система уравнений решается с учетом нормировочного условия


(22)


Систему уравнений (21) для установившегося режима процесса размножения и гибели можно составить непосредственно по графу интенсивностей переходов на рис.4, применяя принцип равенства потоков вероятностей к отдельным состоянием процесса. Например, если рассмотреть состояние Ei в установившемся режиме, то:

интенсивность потока вероятностей в и

интенсивность потока вероятностей из .

В состоянии равновесия эти два потока должны быть равны, и поэтому непосредственно получаем



Но это как раз и есть первое равенство в системе (21). Аналогично можно получить и второе равенство системы. Те же самые рассуждения о сохранении потока, которые были приведены ранее, могут быть применены к потоку вероятностей через любую замкнутую границу. Например, вместо того, чтобы выделять каждое состояние и составлять для него уравнение, можно выбрать последовательность контуров, первый из которых охватывает состояние E0, второй - состояние E0 и E1, и т.д., включая каждый раз в новую границу очередное состояние. Тогда для i-го контура (окружающего состояния E0, E1, ..., Ei-1) условие сохранения потока вероятностей можно записать в следующем простом виде:


(23)
.

Полученная система уравнений эквивалентна выведенной ранее. Для составления последней системы уравнений нужно провести вертикальную линию, разделяющую соседние состояния, и приравнять потоки через образовавшуюся границу.

Решение системы (23) можно найти методом математической индукции.

При i=1 имеем:



при i=2:



при i=3:

и т.д.

Вид полученных равенств показывает, что общее решение системы уравнений (23) имеет вид



или, учитывая, что, по определению, произведение по пустому множеству равно единице



Таким образом, все вероятности Pi для установившегося режима выражаются через единственную неизвестную константу P0. Равенство (22) дает дополнительное условие, позволяющее определить P0. Тогда, суммируя по всем i, для P0 получим:



Обратимся к вопросу о существовании стационарных вероятностей Pi. Для того, чтобы полученные выражения задавали вероятности, обычно накладывается требование, чтобы P0 > 0. Это, очевидно, налагает ограничение на коэффициенты размножения и гибели в соответствующих уравнениях. По существу требуется, чтобы система иногда опустошалась; это условие стабильности представляется весьма резонным, если обратиться к примерам реальной жизни. Определим следующие две суммы:



Все состояния Ei рассматриваемого процесса размножения и гибели будут эргодическими тогда и только тогда, когда S1 < и S2 = . Только эргодический случай приводит к установившимся вероятностям Pi, i = 0, 1, 2, …, и именно этот случай представляет интерес. Заметим, что условия эргодичности выполняются только тогда, когда, начиная с некоторого i, все члены последовательности {} ограничены единицей, т.е. тогда, когда существует некоторое i0 (и некоторое С<1) такое, что для всех ii0 выполняется неравенство:

1 Символ o(t) ("o" малое от t) означает произвольную функцию, которая при t0, стремится к нулю быстрее, чем t, т.е. .








Скачать файл (296.5 kb.)

Поиск по сайту:  

© gendocs.ru
При копировании укажите ссылку.
обратиться к администрации