Головна |
позначимо через ймовірність того, що в результаті n кроків (випробувань) система перейде зі стану в стан . наприклад, - Ймовірність переходу за 10 кроків з третього стану в шосте. Відзначимо, що при n = 1 ця ймовірність зводиться просто до перехідної ймовірності .
Виникає питання, як, знаючи перехідні ймовірності , Знайти ймовірності переходу стану в стан за n кроків. З цією метою вводиться в розгляд проміжне (між и ) Стан r. Іншими словами, вважають, що з початкового стану за m кроків система перейде в проміжний стан r з імовірністю , Після чого за що залишилися n - m кроків з проміжного стану r вона перейде в кінцевий стан з ймовірністю . Використовуючи формулу повної ймовірності, можна показати, що справедлива формула
Цю формулу називають рівністю Маркова.
Знаючи все перехідні ймовірності , Тобто знаючи матрицю переходу зі стану в стан за один крок, можна знайти ймовірності переходу з стан в стан за два кроки, а значить, і саму матрицю переходу , Далі - по відомій матриці - знайти і т.д.
Дійсно, вважаючи в рівність Маркова n = 2, m = 1 отримаємо
або . У матричному вигляді це можна записати як .
Вважаючи n = 3, m = 2, отримаємо . У загальному випадку справедливо співвідношення .
приклад. Нехай матриця переходу дорівнює
Потрібно знайти матрицю переходу .
Помноживши матрицю саму на себе, отримаємо .
Для практичних застосувань надзвичайно важливим є питання про розрахунок ймовірності знаходження системи в тому чи іншому стані в конкретний момент часу. Вирішення цього питання вимагає знання початкових умов, тобто ймовірностей знаходження системи в певних станах в початковий момент часу. Початковим розподілом ймовірностей марківського ланцюга називається розподіл ймовірностей станів на початку процесу .
тут через позначена вірогідність знаходження системи в стані в початковий момент часу. В окремому випадку, якщо початковий стан системи в точності відомо (наприклад ), То початкова ймовірність , А всі інші дорівнюють нулю.
Якщо для однорідного ланцюга Маркова задані початковий розподіл ймовірностей і матриця переходу, то ймовірності станів системи на n-му кроці обчислюються за рекуррентной формулою
.
Для ілюстрації наведемо простий приклад. Розглянемо процес функціонування деякої системи (наприклад, приладу). Нехай прилад протягом однієї доби може перебувати в одному з двох станів - справному ( ) І несправному ( ). В результаті масових спостережень за роботою приладу складена наступна матриця переходу ,
де - Ймовірність того, що прилад залишиться в справному стані;
- Ймовірність переходу приладу з справного в несправний стан;
- Ймовірність переходу приладу з несправного в справний стан;
- Ймовірність того, що прилад залишиться в стані "несправний".
Нехай вектор початкових ймовірностей станів приладу заданий співвідношенням
, Тобто (В початковий момент прилад був несправний). Потрібно визначити ймовірності стану приладу через три доби.
Рішення: Використовуючи матрицю переходу, визначимо ймовірності станів після першого кроку (після першої доби):
.
Ймовірностістанів після другого кроку (другої доби) рівні
Нарешті, ймовірностістанів після третього кроку (третьої доби) рівні
.
Таким чином, ймовірність того, що прилад буде знаходитися в справному стані дорівнює 0,819, і того, що в несправному - відповідно 0,181.
Перехідні ймовірності. Матриця переходу. | Поняття про системи масового обслуговування
B. Поняття про регресійного аналізу | Вибіркові рівняння регресії. | лінійна регресія | Приклад. | Множинна лінійна регресія | Логарифмічна модель. | Статечна модель. | Показова модель. | Лекція 17. Поняття про ланцюгах Маркова та системах масового обслуговування | Однорідні ланцюги Маркова |