Stare de revenire

Starea de întoarcere este starea lanțului Markov vizitată de acesta de un număr infinit de ori.

Definiție

Să fie dat un lanț Markov omogen cu timp discret . Lăsa $\{X_{n}\}_{n\geq 0)$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\nu =i,\,k=1,\ldots,n-1 \mid X_{0}=i)

este probabilitatea de a părăsi statul și de a reveni la el exact în trepte. Apoi $i$ $n$

f_{ii}=\sum \limits _{n=1}^{\infty}f_{ii}^{(n))

este probabilitatea, după ce a părăsit starea , de a reveni la ea (pentru un timp finit sau infinit). $i$

O stare se numește recurentă (recurente) dacă . În caz contrar, starea se numește irevocabilă (tranzitorie) . $i$ $f_{ii}=1$

Criteriul de returnare

O stare este returnabilă dacă și numai dacă oricare dintre următoarele condiții este adevărată: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , unde . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

În consecință, statul este irevocabil dacă și numai dacă este îndeplinită oricare dintre următoarele condiții: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Ora de întoarcere

Presupunem că aproape peste tot și definiți o variabilă aleatoare , egală cu timpul primei reveniri la stare , i.e. $X_{0}=i$ $T_{i}$ $i$

T_{i}=\inf\{n\geq 1\mid X_{n}=i\)

Atunci are o distribuție discretă dată de funcția de probabilitate $T_{i}$

\mathbb {P} (T_{i}=n)=f_{ii}^{(n))

Starea de revenire se numește pozitivă dacă $i$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty

si zero daca

\mathbb {E} [T_{i}]=\infty

Recurența unei clase necompunebile

Dacă statele și sunt raportate și sunt reciproce, atunci și starea este reciprocă. $i$ $j$ $i$ $j$
Mai mult, dacă starea este pozitivă, atunci și starea este pozitivă. $i$ $j$

Astfel recurența și pozitivitatea sunt proprietăți ale clasei indecompuse . Dacă lanțul Markov este indecompos, atunci se vorbește despre recurența și pozitivitatea sa.

Clasificarea stărilor și lanțurile Markov
Stat	aperiodic returnabil realizabil irevocabil nesemnificativ zero periodic pozitiv comunicând semnificativ
Lanţ	aperiodic returnabil irevocabil necompusa zero periodic pozitiv descompunebil ergodic