Bootstrap (statistici)

Bootstrap [1] ( engleză bootstrap ) în statistică este o metodă practică computerizată pentru studierea distribuției statisticilor distribuțiilor de probabilitate , bazată pe generarea multiplă de eșantioane prin metoda Monte Carlo pe baza eșantionului existent [2] . Vă permite să evaluați ușor și rapid o mare varietate de statistici ( intervale de încredere , varianță , corelație și așa mai departe) pentru modele complexe.

Conceptul a fost introdus în 1977 de Bradley Efron (prima publicație datează din 1979 [3] ). Esența metodei este de a construi o distribuție empirică pe baza eșantionului existent . Folosind această distribuție ca distribuție de probabilitate teoretică, este posibil să se genereze un număr aproape nelimitat de pseudo-eșantioane de dimensiune arbitrară, de exemplu, la fel ca și cea originală, folosind un generator de numere pseudoaleatoare. Pe un set de pseudoeșantioane, se pot evalua nu numai caracteristicile statistice analizate, ci și studiul distribuțiilor de probabilitate ale acestora. Astfel, de exemplu, este posibil să se estimeze varianța sau cuantilele oricărei statistici, indiferent de complexitatea acesteia. Această metodă este o metodă de statistică neparametrică .

Alături de metodele „jackknife” , validarea încrucișată și testarea permutării ( eng. test exact ) formează o clasă de metode de generare a reeșantionării ( eng. resampling ).

Etimologie

Cuvântul provine din expresia: „A se trage peste un gard de ghearele cuiva”. (literal - „să treci peste gard trăgând de curelele cizmelor tale” (vezi fotografia din dreapta). Pentru oamenii vorbitori de limbă rusă, povestea baronului Munchausen va fi mai aproape , care, trăgându-se de păr, s-a tras și calul său din mlaștină.

Anglicismul Bootstrap în sine este folosit în multe domenii ale cunoașterii, în care trebuie să transmiteți sensul obținerii ceva „gratis” sau a obținerii magice a ceva valoros din nimic. În domeniul statisticii, cel mai apropiat analog al termenului în ceea ce privește etimologia este „auto-tragerea”.

Exemplu introductiv

Să fie două observații:

(x_{1},y_{1})=(1,1),\ (x_{2},y_{2})=(2,3)

Să presupunem că trebuie să estimăm un parametru într-o regresie a lui y pe x :

y_{i}=\theta x_{i}+\epsilon _{i)

Estimarea parametrului obținut prin metoda celor mai mici pătrate va fi egală cu

{\hat {\theta }}={\frac {x_{1}y_{1}+x_{2}y_{2}}{x_{1}^{2}+x_{2}^{ 2}}}={\frac {1\time 1+2\times 3}{1^{2}+2^{2}}}={\frac {7}{5}}

Funcția de distribuție empirică în acest caz este egală cu

(x,y)'={\begin{cases}(1,1)',\quad p=1/2\\(2,3)',\quad p=1/2\\\end {cazuri}}

În acest caz, datele din două observații cu privire la distribuția empirică vor fi distribuite după cum urmează:

(x_{1},y_{1})',(x_{2},y_{2})'={\begin{cases}(1,1)',(1,1)',\ quad p=1/4\\(1,1)',(2,3)',\quad p=1/4\\(2,3)',(1,1)',\quad p=1 /4\\(2,3)',(2,3)',\quad p=1/4\\\end{cases}}

Aceasta este distribuția bootstrap. În continuare, putem găsi distribuția estimării MCO:

{\hat {\theta }}_{2}^{*}={\begin{cases}1,\quad \quad p=1/4\\7/5,\quad p=1/2 \\3/2,\quad p=1/4\\\end{cases}}

Aplicație

Bootstrap-ul este folosit pentru a corecta părtinirea, a testa ipotezele, a construi intervale de încredere.

Interval de încredere Bootstrap: un algoritm

Să existe un eșantion din populația generală și este necesar să se estimeze parametrul . Este necesar să se aleagă numărul de pseudo-probe care se vor forma din elementele eșantionului original cu retur. Pentru fiecare dintre pseudo- eșantioane, se calculează o pseudo-statistică . $(z_{1};z_{2};\dots;z_{n})$ $\theta$ $B$ $(z_{1}^{*};z_{2}^{*};\dots ;z_{n}^{*})_{b},b=1,2,\dots,B$ ${\hat {\theta }}_{b}^{*}$

Pseudo-statisticile sunt sortate de la cel mai mic la cel mai mare. Quantilele iau valori . Sunt folosite pentru a construi un interval de încredere. ${\hat {\theta }}_{1}^{*},{\hat {\theta }}_{2}^{*},\dots,{\hat {\theta }}_{ B}^{*}$ $q_{\alpha _{1}}^{*},q_{1-\alpha _{2}}^{*}$ ${\hat {\theta }}_{[B\alpha _{1}]}^{*},{\hat {\theta }}_{[B(1-\alpha _{2}) +1]}^{*}$

Note

↑ De asemenea bootstrap , bootstrap , bootstrapping , bootstrapping .
↑ アーカイブされたコピー. Preluat la 23 martie 2007. Arhivat din original la 12 iulie 2012. (nedefinit)
↑ Efron, 1979 .

Literatură

Stanislav Anatoliev . Econometrie pentru avansat. Curs de curs. — 2002.
Bradley Efron . Metode Bootstrap: O altă privire la Jackknife // Analele statisticilor. - 1979. - Vol. 7 , nr. 1 . - P. 1-26 . — ISSN 0090-5364 . - doi : 10.1214/aos/1176344552 .

Link -uri

Tutorial bootstrap de la ICASSP 99 (link descendent din 13-05-2013 [3451 zile] - istoric ) : Tutorial din perspectiva procesării semnalului
Tutorial de eșantionare Bootstrap folosind MS Excel
Animații pentru bootstrapping datelor iid (link descendent din 13-05-2013 [3451 de zile] - istoric ) de Yihui Xie folosind R
Tutorial Bootstrap

În cataloagele bibliografice	BNF : 12378257v J9U : 987007536908405171 LCCN : sh91004766 NKC : ph225449