Основные понятия марковских процессов

из "Математические методы моделирования экономических систем Изд2 "

Функция X(f) называется случайной, если ее значение при любом аргументе t является случайной величиной. [c.41]
Случайная функция ДО, аргументом которой является время, называется случайным процессом. [c.41]
Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи с помощью марковских процессов можно описать (точно или приближенно) поведение достаточно сложных систем. [c.42]
Определение. Случайный процесс, протекающий в какой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством для любого момента времени /0 вероятность любого состояния системы в будущем (при / /0) зависит только от ее состояния в настоящем (при t — t0) и не зависит от того, когда и каким образом система S пришла в это состояние. [c.42]
Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(f) и параметра /. [c.42]
В данной работе будут рассматриваться только марковские процессы с дискретными состояниями S , S ,. .., Sn. [c.42]
Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 2.1), где кружками обозначены состояния Si, S2,. .. системы S, а стрелками — возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают петлей , т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным). Пример графа состояний системы S представлен на рис.2.1. [c.42]

Вернуться к основной статье