Stare accesibilă

Definiție

Fie un lanț Markov omogen cu timp discret. Se spune că o stare este accesibilă dintr-o stare dacă există astfel încât $\{X_{n}\}_{n\in \mathbb {N} }$ $j$ $i$ $n=n(i,j)$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

Ei scriu . $i\rightarrow j$

State comunicante

State si sunt numite comunicante daca si . Scriem: . $i$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i săgeata la stânga la dreapta j$
Proprietatea de comunicare generează o relație de echivalență pe spațiul de stare . Clasele de echivalență generate sunt numite clase indecomponabile . Dacă un lanț Markov este de așa natură încât stările sale formează o singură clasă necompozabilă, atunci se numește indecomposabil .
Stările aparținând aceleiași clase indecompuse sunt fie toate recurente , fie toate nerecurente. Astfel, o clasă indecompunabilă în ansamblu este fie recurentă, fie nerecurentă. În cele din urmă, un lanț Markov ireductibil este fie complet recurent, fie complet ireversibil.

Exemple

Fie un lanț Markov cu trei stări , iar matricea sa de probabilitate de tranziție are forma $\{X_{n}\}_{n\geq 0)$ $\{1,2,3\)$

P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).

Stările acestui lanț formează două clase indecompuse: și . În special , dar și . $\{1,2\}$ $\{3\}$ $1\leftrightarrow 2$ $1\nu \rightarrow 3$ $3\nu \rightarrow 1$

Lanțul Markov definit de matricea probabilităților de tranziție

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)

necompusa.

Clasificarea stărilor și lanțurile Markov
Stat	aperiodic returnabil realizabil irevocabil nesemnificativ zero periodic pozitiv comunicând semnificativ
Lanţ	aperiodic returnabil irevocabil necompusa zero periodic pozitiv descompunebil ergodic