Un proces Markov este un proces aleatoriu a cărui evoluție după orice valoare dată a parametrului de timp nu depinde de evoluția care l-a precedat, cu condiția ca valoarea procesului în acest moment să fie fixă („viitorul” procesului nu depinde pe „trecut” cu un „prezent” cunoscut; o altă interpretare ( Wentzel ): „Viitorul” procesului depinde de „trecut” doar prin „prezent”).
Procesul Markov este un model autoregresiv de ordinul întâi AR(1): .
Un lanț Markov este un caz special al unui proces Markov, când spațiul stărilor sale este discret (adică nu mai mult decât numărabil) [1] .
Proprietatea care definește un proces Markov este de obicei numită proprietate Markov; a fost formulat pentru prima dată de A. A. Markov , care în lucrările din 1907 a inițiat studiul secvențelor de studii dependente și a sumelor variabilelor aleatoare asociate acestora. Această linie de cercetare este cunoscută sub numele de teoria lanțurilor Markov .
Cu toate acestea, deja în opera lui L. Bachelier se poate vedea o încercare de a trata mișcarea browniană ca un proces Markov, o încercare care a primit justificare după cercetările lui Wiener din 1923 .
Bazele teoriei generale a proceselor Markov cu timp continuu au fost puse de Kolmogorov .
Fie un spațiu de probabilitate cu filtrare după o mulțime ( parțial ordonată ) ; și să fie un spațiu măsurabil . Un proces aleator definit pe un spațiu de probabilitate filtrat este considerat a satisface proprietatea Markov dacă pentru fiecare și
Un proces Markov este un proces aleatoriu care satisface proprietatea Markov cu filtrare naturală .
Dacă este o mulțime discretă și , definiția poate fi reformulată:
.Luați în considerare un exemplu simplu de proces stocastic Markov. Un punct se deplasează aleatoriu de-a lungul axei x. La momentul t = 0, punctul este la origine și rămâne acolo timp de o secundă. O secundă mai târziu, se aruncă o monedă - dacă stema a căzut, atunci punctul X se mișcă cu o unitate de lungime la dreapta, dacă cozi - la stânga. O secundă mai târziu, moneda este aruncată din nou și se face aceeași mișcare aleatorie și așa mai departe. Procesul de schimbare a poziției unui punct („ rătăcire ”) este un proces aleatoriu cu timp discret ( t = 0, 1, 2, …) și un set numărabil de stări. Un astfel de proces aleatoriu este Markovian, deoarece următoarea stare a punctului depinde numai de starea prezentă (actuală) și nu depinde de stările trecute (nu contează în ce direcție și pentru ce timp punctul a ajuns la coordonatele curente).
Dyakonova E. E. Procese de ramificare într-un mediu aleator Markov //Diskret. Mat., 26:3 (2014), 10–29