Дискретный марковский процесс с непрерывным временем

из "Вероятностное моделирование в финансово-экономической области "

В данном параграфе обсуждаются основные понятия дискретного марковского процесса с непрерывным временем. Определяются вероятности состояний системы, в которой протекает такой процесс, и плотности вероятностей переходов системы из состояния в состояние. Для вычисления вероятностей состояний выводится система дифференциальных уравнений Колмогорова. [c.49]
Помимо случайных процессов с дискретным временем на практике достаточно часто встречаются случайные процессы с непрерывным временем, при которых система может менять свои состояния в любой случайный момент времени (см. Определение 2.2). [c.49]
Пусть Sj. sn — всевозможные состояния системы 5. [c.49]
Определение 4.1. Вероятность p, t)=p(Sj(t)), i=l,. ... п, t 0 события .( ), состоящего в том, что система 5 в момент времени t находится в состоянии st, называется вероятностью z -го состояния системы в момент времени. [c.50]
Вероятность состояния pt(t) является, таким образом, вероятностной функцией времени t 0. [c.50]
Марковский дискретный процесс с непрерывным временем считается изученным, если найдены все вероятности состояний pt(t), i=l,. .., п. [c.50]
Из определения 4.2 плотностей вероятности перехода A (t) видно, что они в общем случае зависят от времени t, неотрицательны и в отличие от вероятностей могут быть больше 1, но ..( )=0, i=l. п. [c.52]
Определение 4.3. Если при любых is /, i,j=, . п, плотности вероятностей переходов не зависят от времени t, и тогда вместо AJ(t) будем писать просто Л.., то марковский процесс с непрерывным временем называется однородным. Если же хотя бы при одной паре значений is / плотность вероятности перехода Л. изменяется с течением времени t, процесс называется неоднородным. [c.52]
Рассмотрим далее однородный дискретный марковский процесс с непрерывным временем. [c.52]
Определение 4.4. Граф состояний марковского однородного процесса с непрерывным временем, у стрелок которого указаны плотности вероятностей переходов Л., называется размеченным. [c.52]
Пример 4.1. На рис. 4.2 изображен размеченный граф состояний системы, в которой протекает процесс с непрерывным временем. [c.52]
Отсутствие на графе стрелок из одних состояний в другие означает, что плотности вероятностей соответствующих переходов равны нулю. Например, Л21=0. [c.52]
Зная плотности вероятностей перехода i,j=i, —, п, можно составить систему дифференциальных уравнений относительно вероятностей состояний pff), HI,. .., я, а именно справедлива следующая теорема. [c.53]
Доказательство Придадим моменту времени t малое приращение Д 0 и рассмотрим событие Sft+kt), состоящее в том, что в момент t+ Д система S будет находиться в состоянии s(. Это событие может произойти при появлении одного из следующих двух событий А( ,Д ) или B.(t, t). [c.53]
Событие At(t, Д ) состоит в том, что в момент t система S уже была в состоянии sf а за время Д не вышла из этого состояния, т.е. не перешла ни в какое другое состояние s ,. 7=1,. .., я,. 7 1. [c.53]
Так как искомые функции pt(t) — функции одной переменной, а именно времени t, то каждое уравнение системы (4.4) является обыкновенным дифференциальным уравнением. [c.56]
Поскольку неизвестные функции pff) и их производные входят в уравнение (4.4) только в первой степени, то каждое уравнение системы (4.4) называют линейным. [c.56]
Так как наивысший порядок производных и искомых функций p.(t) — первый, то уравнения системы (4.4) являются дифференциальными уравнениями первого порядка. [c.56]

Вернуться к основной статье