Legea numerelor mari

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 29 ianuarie 2022; verificările necesită 3 modificări .

Legea numerelor mari ( LNA ) în teoria probabilității este un principiu care descrie rezultatul efectuării aceluiași experiment de mai multe ori. Conform legii, valoarea medie a unui eșantion finit dintr-o distribuție fixă este apropiată de așteptările matematice ale acestei distribuții.

Legea numerelor mari este importantă deoarece garantează stabilitatea pentru mediile unor evenimente aleatoare pe o serie suficient de lungă de experimente.

Este important să ne amintim că legea se aplică numai atunci când sunt luate în considerare un număr mare de procese.

Exemple

De exemplu, luați în considerare o aruncare a unui zar cu șase fețe, pe care unul dintre numerele 1, 2, 3, 4, 5 sau 6 poate cădea cu probabilitate egală. Prin urmare, așteptarea unei aruncări este

{\frac {1+2+3+4+5+6}{6}}=3{,}5.

Conform legii numerelor mari, cu un număr mare de aruncări, valoarea lor medie este probabil să fie aproape de 3,5, în timp ce precizia va crește pe măsură ce numărul de aruncări crește.

Din legea numerelor mari rezultă că probabilitatea empirică de succes într-o serie de încercări Bernoulli converge către probabilitatea teoretică. Pentru o variabilă aleatorie Bernoulli, media este probabilitatea teoretică de succes, iar media acestor variabile (dacă sunt independente și distribuite egal) este frecvența relativă. $n$

De exemplu, aruncarea monedei potrivite este un test Bernoulli. Cu o singură aruncare, probabilitatea teoretică de a obține capete este de . Prin urmare, conform legii numerelor mari, proporția de „vulturi” cu un număr mare de încercări „ar trebui să fie” de aproximativ . În special, ponderea „capetelor” după aruncări converge către , la . $1/2$ $1/2$ $n$ $1/2$ $n\la\infty$

Deși proporția de capete (și cozi) tinde spre , este aproape sigur că valoarea absolută a diferenței dintre numărul de capete și cozi va deveni mare pe măsură ce numărul de aruncări crește la nesfârșit. Adică, odată cu creșterea numărului de aruncări, probabilitatea ca modulul diferenței să fie mic ajunge la zero, iar raportul dintre modulul diferenței și numărul total de aruncări tinde aproape sigur la zero: $1/2$

|n_{\text{o}}-n_{\text{p}}|\nu \la 0,\quad {\frac {|n_{\text{o}} -n_{\text{p }}|}{n}}\la 0.

Istorie

Matematicianul italian Gerolamo Cardano (1501-1576) a fost un jucător pasionat. Un „produs secundar” al dragostei sale pentru zaruri a fost cartea Despre jocurile de noroc ( italiană: De Ludo alea , 1563), care conținea o formulare a legii numerelor mari. În ea, Cardano a afirmat că acuratețea statisticilor empirice tinde să se îmbunătățească odată cu numărul de încercări.

În 1713, Jacob Bernoulli a conturat regulile de calcul al probabilității pentru evenimente complexe și a dat prima versiune a „legii numerelor mari”, explicând de ce frecvența unui eveniment într-o serie de teste nu se schimbă aleatoriu, ci într-un anumit sens. tinde spre valoarea sa limită teoretică (adică probabilitatea).

De remarcat, de asemenea, lucrarea lui S. D. Poisson (1781-1840), care a dovedit o formă mai generală a legii numerelor mari decât cea a lui Jacob Bernoulli .

P. L. Cebyshev a obținut o formulare generală a legii numerelor mari: dacă așteptările matematice ale unei serii de variabile aleatoare și pătratele acestor așteptări matematice sunt limitate în agregat, atunci media aritmetică a acestor mărimi converge în probabilitate către media aritmetică. pentru așteptările lor matematice.

A. A. Markov a demonstrat o variantă a legii numerelor mari pentru unele tipuri comune de mărimi dependente.

În secolul al XX-lea, cercetările despre Cebyshev și Markov au fost continuate de A. Ya. Khinchin și A. N. Kolmogorov . Ei au arătat că, dacă variabilele aleatoare nu sunt doar independente, ci și distribuite în mod egal, atunci existența așteptărilor lor matematice este o condiție necesară și suficientă pentru aplicabilitatea legii numerelor mari.

Opțiuni

Să considerăm o succesiune de variabile aleatoare integrabile Lebesgue care sunt independente în agregat și au aceleași distribuții și, prin urmare, aceleași așteptări matematice . $X_{1},X_{2},\dots$ $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu$

Se notează prin media aritmetică a variabilelor aleatoare considerate: ${\overline {X}}_{n}$

{\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n}).

Converge către așteptările matematice :

{\overline {X}}_{n}\to \mu

n\la \infty .

Independența în agregatul variabilelor aleatoare poate fi înlocuită cu independența perechilor în ambele versiuni ale legii [1] .

Două versiuni diferite ale legii numerelor mari sunt descrise mai jos. Ele sunt numite legea puternică a numerelor mari și legea slabă a numerelor mari . Diferența dintre forma puternică și cea slabă este legată de alegerea metodei de convergență.

Legea slabă

Legea slabă a numerelor mari ( teorema lui Bernoulli , formulată de J. Bernoulli , publicată în 1713 [2] ) afirmă că media eșantionului converge în probabilitate către așteptarea matematică [3] :

{\overline {X}}_{n}\xrightarrow {P} \mu

n\la \infty .

Adică se execută $\forall \varepsilon >0$

\lim _{n\to \infty }P{\big (}|{\overline {X}}_{n}-\mu |>\varepsilon {\big )}=0.

Interpretând acest rezultat, aflăm că legea slabă spune că pentru orice limite specificate diferite de zero, indiferent cât de mici sunt acestea, având în vedere un eșantion suficient de mare, probabilitatea ca media eșantionului să fie aproape de medie este foarte mare în cadrul acestor limite . limite.

După cum am menționat mai devreme, legea slabă este aplicabilă în cazul variabilelor aleatoare independente distribuite identic cu așteptări matematice . Cu toate acestea, poate fi aplicat și în alte cazuri. De exemplu, varianța poate fi diferită pentru fiecare variabilă aleatoare din eșantion, dar așteptarea matematică poate rămâne constantă. Dacă dispersiile sunt limitate, atunci se aplică și legea, așa cum a arătat Cebyshev încă din 1867. Dovada lui Cebyshev funcționează atâta timp cât varianța numărului mediu de primele valori nu tinde spre zero la [4] . $n$ $n\la\infty$

Legea întărită

Legea puternică a numerelor mari spune că în anumite condiții, cu o probabilitate de unu, există o convergență nelimitată a mediilor aritmetice ale unei secvențe de variabile aleatoare cu unele valori constante.

Fie o succesiune de variabile aleatoare și . $X_{1},X_{2},\dots$ ${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n})$

Se spune că o secvență satisface legea tare a numerelor mari dacă există o secvență astfel încât probabilitatea relației: , pentru este egală cu 1. $X_{1},X_{2},\dots$ $\mu _{n}$ ${\overline {X}}_{n}-\mu _{n}\la 0$ $n\la\infty$

O altă formulare, echivalentă cu cea anterioară, este următoarea: o succesiune satisface legea tare a numerelor mari dacă probabilitatea îndeplinirii simultane a tuturor inegalităților. $X_{1},X_{2},\dots$ $\forall \varepsilon >0$

|{\overline {X}}_{n}-\mu _{n}|\leqslant \varepsilon ,

|{\overline {X}}_{n+1}-\mu _{n+1}|\leqslant \varepsilon ,

\dots

tinde spre 1 la . $n\la\infty$

Astfel, aici este considerat comportamentul întregii secvențe de sume în ansamblu, în timp ce în legea obișnuită a numerelor mari vorbim doar despre sume individuale.

Dacă o secvență satisface legea tare a numerelor mari, atunci ea satisface și legea obișnuită a numerelor mari cu aceeași , adică , , pentru , . $X_{1},X_{2},\dots$ $\mu _{n}$ $P{\big (}|{\bar {X}}_{n}-\mu _{n}|\leqslant \varepsilon {\big )}\to 1$ $n\la\infty$ $\forall \varepsilon >0$

Este posibil ca inversul să nu fie adevărat. De exemplu, dacă variabilele aleatoare sunt independente și iau două valori cu o probabilitate fiecare, atunci legea obișnuită a numerelor mari este îndeplinită pentru ele cu , dar pentru niciuna nu este îndeplinită legea puternică a numerelor mari. $X_{1},X_{2},\dots$ $n\geqslant 16$ $\pm {\sqrt {n/\log \log \log n)}$ $1/2$ $\mu _{n}=0$ $\mu _{n}$

teorema lui Kolmogorov

În cazul termenilor independenți, cele mai cunoscute sunt condițiile de aplicabilitate a legii tare a numerelor mari, stabilită de A. N. Kolmogorov: suficient - pentru mărimi cu variații finite, și necesar și suficient - pentru mărimi distribuite identic (care constă în existenţa aşteptării matematice a mărimilor ). Teorema lui Kolmogorov pentru variabile aleatoare cu varianțe finite afirmă că din condiție $X_{i}$

$\sum \limits _{n=1}^{\infty }{\frac {D[X_{n}]}{n^{2)}}<\infty$

(unu)

urmează aplicabilitatea legii tare a numerelor mari cu la şirul . În ceea ce privește variațiile, condiția ( 1 ) se dovedește a fi cea mai bună, în sensul că pentru orice succesiune de numere pozitive cu o serie divergentă , se poate construi o secvență de variabile aleatoare independente c care nu îndeplinește legea puternică a numerelor mari. . [5] $X_{1},X_{2},\dots$ $A_{n}=\mathbb {E} ({\overline {X}}_{n})$ $b_n$ $\sum b_{n}/n^{2}$ $X_n$ $DX_{n}=b_{n}$

Diferențele dintre legea slabă și legea puternică

Legea slabă afirmă că pentru un anumit mare , este probabil ca media să fie aproape de . Astfel, poate apărea de nenumărate ori, deși în mod arbitrar rar. ( Nu neapărat valabil pentru toată lumea .) $n$ ${\overline {X}}_{n}$ $\mu$ $|{\overline {X}}_{n}-\mu |>\varepsilon$ $n$ $|{\overline {X}}_{n}-\mu |\neq 0$

Legea aplicată arată ceea ce aproape sigur nu se va întâmpla. Aceasta înseamnă că cu probabilitatea 1 avem că inegalitatea este valabilă pentru suficient de mare . [6] $|{\overline {X}}_{n}-\mu |>\varepsilon$ $\forall \varepsilon >0$ $|{\overline {X}}_{n}-\mu |<\varepsilon$ $n$

Mai jos sunt trei exemple de distribuții simetrice; în fiecare exemplu, aceste distribuții nu au o așteptare matematică, legea puternică a numerelor mari (convergența aproape peste tot) nu este valabilă, dar legea slabă este îndeplinită: media variabilelor aleatoare converge în probabilitate la o constantă, centrul de simetrie al distribuției lor. [7] [8] [9]

Fie o variabilă aleatoare distribuită exponențial cu parametrul 1. Variabila aleatoare nu are nicio așteptare matematică dată de integrala Lebesgue, dar folosind convergența condiționată și interpretarea integralei ca o integrală Dirichlet , care este o integrală Riemann improprie , putem spune: $X$ ${\frac {\sin(x)e^{x}}{x}}$ $\mathbb {E} \left({\frac {\sin(x)e^{x}}{x}}\right)=\int _{0}^{\infty }{\frac {\ sin(x)e^{x}}{x}}e^{-x}\,dx={\frac {\pi }{2}}.$
Fie o distribuție geometrică cu probabilitate . O variabilă aleatorie nu are o valoare așteptată în sensul obișnuit, deoarece o serie infinită nu este absolut convergentă , dar folosind convergența condiționată se poate spune: $X$ $0{,}5$ ${\frac {2^{x}(-1)^{x}}{x}}$ $\mathbb {E} \left({\frac {2^{x}(-1)^{x}}{x}}\right)=\sum _{1}^{\infty }{\ frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2).$
Dacă funcția de distribuție a variabilei aleatoare este egală cu $1-F(x)={\frac {e}{2x\ln(x))),\quad x\geqslant e,$ $F(x)={\frac {e}{-2x\ln(-x))),\quad x\leqslant -e,$ atunci nu are nicio așteptare matematică, dar legea slabă este satisfăcută. [10] [11]

Legea uniformă a numerelor mari

Fie o funcție care este definită și continuă în raport cu variabila . Atunci, pentru orice fix , secvența va fi o secvență de variabile aleatoare independente și distribuite identic, astfel încât media eșantionului a acestei secvențe să convergă în probabilitate la . $f(x,\theta )$ $\theta \în \Theta$ $\theta$ ${\displaystyle \{f(X_{1},\theta), f(X_{2},\theta),\dots \))$ $\mathbb {E} [f(X,\theta )]$

Legea uniformă a numerelor mari descrie condițiile în care convergența este uniformă în . $\theta$

Dacă: [12] [13]

$\Theta$ compact,
$f(x,\theta )$ este continuă pentru fiecare pentru aproape toți și o funcție măsurabilă a la fiecare , $\theta \în \Theta$ $X$ $X$ $\theta$
există o funcție dominantă astfel încât și pentru toți , $d(x)$ $\mathbb {E} [d(X)]<\infty$ $\|f(x,\theta )\|\leqslant d(x)$ $\theta \în \Theta$

apoi continuă în şi $\mathbb {E} [f(X,\theta )]$ $\theta$

\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta) -\mathbb {E} [f(X,\theta )]\right\|\xrightarrow {\text{n.  n.}} 0.

Legea Borel a numerelor mari

Legea numerelor mari a lui Borel, numită după Émile Borel , afirmă că, dacă un experiment este repetat de mai multe ori independent în aceleași condiții, atunci fracția de ori când are loc orice eveniment specificat este aproximativ egală cu probabilitatea ca evenimentul să se producă într-o anumită încercare; cu cât este mai mare numărul de repetări, cu atât este mai bună aproximarea. Mai precis, dacă denotă evenimentul în cauză - probabilitatea de apariție a acestuia și - numărul de ori care apare în primele încercări, atunci cu o probabilitate de 1 [14] $E$ $p$ $N_{n}(E)$ $E$ $n$

{\frac {N_{n}(E)}{n}}\la p,\quad n\la \infty .

Inegalitatea lui Cebyshev

Fie o variabilă aleatoare cu așteptări matematice finite și varianță finită nenulă . Apoi pentru orice număr real $X$ $\mu$ $\sigma ^{2}$ $k>0$

P{\big (}|X-\mu |\geqslant k\sigma {\big )}\leqslant {\frac {1}{k^{2)}}.

Dovada Legii Slabe

Considerăm o succesiune infinită de variabile aleatoare independente și distribuite identic cu o așteptare matematică finită . Ne interesează convergența în probabilitate $X_{1},X_{2},\dots$ $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu <\infty$

{\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n}).

Teorema

{\overline {X}}_{n}\xrightarrow {P} \mu

n\la \infty .

Dovada folosind inegalitatea lui Cebyshev, presupunând varianță finită

Asumarea unei variații finite este opțională. Varianta mare sau infinită încetinește convergența, dar LPA se menține oricum. $D(X_{1})=D(X_{2})=\ldots =\sigma ^{2}<\infty$

Această demonstrație folosește ipoteza variației finite (pentru toate ). Independența variabilelor aleatoare nu implică o corelație între ele, avem $\operatorname {D} (X_{i})=\sigma ^{2}$ $i$

\operatorname {D} ({\overline {X}}_{n})=\operatorname {D} {\big (}{\tfrac {1}{n}}(X_{1}+\ldots) +X_{n}){\big )}={\frac {1}{n^{2}}}\operatorname {D} (X_{1}+\ldots +X_{n})={\frac { n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.

Așteptările matematice ale unei secvențe este valoarea medie a mediei eșantionului: $\mu$

\mathbb {E} ({\overline {X}}_{n})=\mu .

Folosind inegalitatea Chebyshev pentru , obținem ${\overline {X}}_{n}$

\operatorname {P} {\big (}|{\overline {X}}_{n}-\mu |\geqslant \varepsilon {\big )}\leqslant {\frac {\sigma ^{2} }{n\varepsilon ^{2}}}.

Folosim această inegalitate pentru a obține următoarele:

\operatorname {P} {\big (}|{\overline {X}}_{n}-\mu |<\varepsilon {\big )}=1-\operatorname {P} {\big (} |{\overline {X}}_{n}-\mu |\geqslant \varepsilon {\big )}\geqslant 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}} .

Când expresia tinde spre 1. $n\la\infty$

Acum, prin definiția convergenței în probabilitate, obținem:

{\overline {X}}_{n}\xrightarrow {P} \mu

la .

n\la\infty

Dovada folosind convergența funcțiilor caracteristice

Prin teorema lui Taylor pentru funcții complexe , funcția caracteristică a oricărei variabile aleatoare cu o medie finită poate fi scrisă ca $X$ $\mu$

\varphi _{X}(t)=1+it\mu +o(t),\quad t\la 0.

Toate au aceeași funcție caracteristică, să o notăm ca . $X_{1},X_{2},\dots$ $\varphi _{X}$

Printre principalele proprietăți ale funcțiilor caracteristice, evidențiem două proprietăți:

\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}{\big (}{\tfrac {t}{n}}{\big )},

\varphi _{X+Y}(t)=\varphi _{X}(t)\,\varphi _{Y}(t),

unde și sunt independente. $X$ $Y$

Aceste reguli pot fi utilizate pentru a calcula funcția caracteristică în termeni de : ${\overline {X}}_{n}$ $\varphi _{X}$

\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({\frac {t}{n}}\right)\right ]^{n}=\left[1+i\mu {\frac {t}{n}}+o\left({\frac {t}{n}}\right)\right]^{n}\ la e^{it\mu }

n\la \infty .

Limita este o funcție caracteristică a unei constante și, prin urmare, prin teorema de continuitate a lui Lévy , converge în distribuție la : $e^{it\mu }$ $\mu$ ${\overline {X}}_{n}$ $\mu$

{\overline {X}}_{n}\xrightarrow {\mathcal {D}} \mu

n\la \infty .

Deoarece este o constantă, rezultă că convergența în distribuție către și convergența în probabilitate către sunt echivalente. De aceea $\mu$ $\mu$ $\mu$

{\overline {X}}_{n}\xrightarrow {\mathcal {P}} \mu

n\la \infty .

Aceasta arată că media eșantionului converge în probabilitate către derivata funcției caracteristice la origine, dacă aceasta există.

Vezi și

Note

↑ Etemadi, N. Z. (1981). „O dovadă elementară a legii puternice a numerelor mari”. Wahrscheinlichkeitstheorie verw Gebiete . 55 (1): 119-122. doi: 10.1007/BF01013465 .
↑ Paskhaver, 1974 , p. 34.
↑ Loève 1977, capitolul 1.4, p. paisprezece.
↑ Yuri Prohorov . „Legea numerelor mari” Arhivat 26 iulie 2018 la Wayback Machine . Enciclopedia de matematică .
↑ Yu. V. Prohorov. Un număr mare a consolidat legea . Biblioteca de matematică . Preluat la 28 martie 2018. Arhivat din original la 28 martie 2018. (nedefinit)
↑ Ross (2009).
↑ Lehmann, Erich L.; Romano, Joseph P. (30-03-2006). Legea slabă converge către constantă . ISBN 9780387276052 .
↑ Dguvl Hun Hong și Sung Ho Lee. „O NOTĂ PRIVIND LEGEA SLABĂ A NUMERELOR MARI PENTRU VARIABILELE ALEATORII SCHIMBABILE” . Arhivat la 1 iulie 2016 la Wayback Machine .
↑ „Legea slabă a numerelor mari: demonstrație folosind funcții caracteristice vs demonstrarea folosind VARIABILE de trunchiere” Arhivată 22 martie 2018 la Wayback Machine . Schimb de stivă de matematică.
↑ Mukherjee, Sayan. „Legea numerelor mari” . Arhivat pe 9 martie 2013 la Wayback Machine .
↑ J. Geyer, Charles. „Legea numerelor mari” Arhivat 13 iunie 2018 la Wayback Machine .
↑ Newey & McFadden 1994, Lema 2.4.
↑ Jennrich, Robert I. (1969). „Proprietăți asimptotice ale estimatorilor neliniari cu cele mai mici pătrate”. Analele statisticii matematice . 40 (2): 633-643. doi: 10.1214/aoms/1177697731 .
↑ Wen, L. O tehnică analitică pentru a demonstra legea puternică a numerelor mari a lui Borel . A.m. Matematică. Luna, 1991.

Literatură

Chistyakov V. P. Curs de teoria probabilității. — M .: Nauka, 1982.
Shiryaev A. N. Probabilitate. — M .: Nauka, 1989.
Paskhaver IS Legea numerelor mari și regularităților statistice. — M .: Statistică, 1974.
Teorema lui Bernoulli / V. I. Bityutskov // Marea Enciclopedie Rusă : [în 35 de volume] / cap. ed. Yu. S. Osipov . - M . : Marea Enciclopedie Rusă, 2004-2017.

Dicționare și enciclopedii	Mare catalană Mare norvegian Rusă mare Britannica (online)
În cataloagele bibliografice	BNF : 11978788d GND : 4157077-7 J9U : 987007558155705171 LCCN : sh85075318 SUDOC : 027830632