Марковські процеси відновлення — це клас випадкових процесів у теорії ймовірності та статистиці, які узагальнюють клас марковських стрибкоподібних процесів. Інші класи випадкових процесів, такі як ланцюги Маркова та процеси Пуассона, є частинними випадками процесів марковського відновлення, які в свою чергу є окремими частинними випадками серед більш загального класу процесів відновлення.
Означення
Нехай випадкові величини приймають значення у просторі станів , а виадкові величини є невід'ємними та не спадають за . Розглянемо послідовність , де представляє випадкові моменти стрибків, а представляє стани, що відповідають цим стрибкам (див. малюнок). Визначимо послідовність моментів очікування між стрибками . Для того щоб послідовність називалася процесом марковського відновлення, має виконуватися така умова. Для усіх , , :
Зв'язок з іншими випадковими процесами
Нехай та визначені як раніше. Визначимо новий процес для . Тоді процес називається напівмарковським процесом. Такий процес задовольняє марковську властивість лише в конкретні моменти стрибків, звідки походить і назва напівмарковський. Напівмарковський процес (визначений в пункті 1.), у якого усі моменти очікування мають експоненційний розподіл називається ланцюгом Маркова з неперервним часом. Іншими словами, якщо 1) моменти очікування експоненційно розподілені та 2) якщо час очікування в стані та наступний стан незалежні, то процес є ланцюгом Маркова з неперервним часом. Для усіх :
Послідовність у процесі марковського відновлення є ланцюгом Маркова із дискретним часом. Іншими словами, якщо часові змінні вилучити з властивості марковського процесу відновлення, отримаємо ланцюг Маркова з дискретним часом. Для усіх
Якщо послідовність складається з незалежних та однаково розподілених випадкових величин та якщо їх розподіл не залежить від стану , то процес є процесом відновлення. Формально
Дивіться також
Марковський процес Теорія відновлення
Список літератури