Aproximare stocastică

Aproximația stocastică este o metodă recurentă pentru construirea unei secvențe consistente de estimări pentru soluțiile ecuațiilor de regresie și extremele funcțiilor de regresie în problemele de estimare neparametrică. În biologie, chimie, medicină, este folosit pentru a analiza rezultatele experimentelor. În teoria controlului automat , este folosit ca mijloc de rezolvare a problemelor de recunoaștere, identificare, învățare și adaptare [1] . Fondatorii metodei de aproximare stocastică sunt Kiefer, Wolfowitz [2] , Robins , Monroe [3] .

Găsirea unei soluții la ecuația de regresie

Fiecărei valori ale parametrului corespunde unei variabile aleatoare măsurate experimental cu funcția de distribuție și așteptarea matematică a valorii la un parametru fix . Este necesar să se găsească o soluție la ecuația de regresie . Se presupune că soluția ecuației de regresie este unică, iar funcțiile și sunt necunoscute. $X$ $y$ $F(y|x)$ $y$ $X$ $m(y|x)=m(x)$ $m(x)=\alpha$ $F(y|x)$ $m(x)$

Procedura de aproximare stocastică pentru obţinerea estimărilor rădăcinii ecuaţiei de regresie constă în utilizarea eşantionului de antrenament obţinut pe baza experienţei variabilelor aleatoare măsurate . ${\hat {x}}$ $m({\hat {x)})=\alpha$ $y_{1},...,y_{n}$

Estimarea rădăcinii dorite se bazează pe estimarea anterioară folosind valoarea de antrenament a variabilei aleatoare măsurate folosind relația , unde , este un număr arbitrar [3] . ${\pălărie {x_{n+1)}}$ ${\pălărie {x_{n}))$ $y_{n}$ ${\hat {x_{n+1}}}={\hat {x_{n}}}+a_{n}(\alpha -y_{n})$ $n\geqslant 1$ ${\pălărie {x_{1)})$

Dacă şirul de coeficienţi îndeplineşte condiţiile , , , atunci pentru , estimarea tinde probabil către rădăcina ecuaţiei . $a_{n}$ $a_{n}>0$ $\sum _{n=1}^{\infty }a_{n}=\infty$ $\sum _{n=1}^{\infty }a_{n}^{2}<\infty$ $n\la\infty$ ${\pălărie {x_{n+1)}}$ $m({\hat {x)})=\alpha$

Cu unele cerințe suplimentare pentru funcția de regresie, estimările pot converge în pătratul mediu către soluția ecuației de regresie [4] [5] . $m(x)$ ${\pălărie {x_{n+1)}}$

Exemple

Duritatea unui aliaj de cupru și fier depinde de timpul în care aliajul este expus la temperaturi ridicate. În acest caz, variabila aleatoare măsurată este duritatea aliajului , iar sarcina este de a determina momentul în care aliajul are o duritate dată [6] . $y$ $X$ $y$ ${\hat {x}}$ $y=\alpha$

Găsirea extremului funcției de regresie

Estimarea valorii extreme a funcției de regresie se găsește pe baza estimării anterioare și a valorilor de antrenament ale variabilei aleatoare măsurate și folosind relația , unde , este un număr arbitrar, este o succesiune de numere pozitive, iar secvențe și sunt independente și corespund valorilor parametrului și [2] . ${\pălărie {x_{n+1)}}$ ${\pălărie {x_{n}))$ $y_{2n)$ $y_{2n-1}$ ${\hat {x_{n+1}}}={\hat {x_{n}}}+{\frac {a_{n}}{c_{n}}}(y_{2n}-y_ {2n-1})$ $n\geqslant 1$ ${\pălărie {x_{1)})$ $a_{n}$ $y_{2n)$ $y_{2n-1}$ ${\pălărie {x_{n}}}+c_{n}$ ${\pălărie {x_{n}}}-c_{n}$

Dacă șirurile de coeficienți și îndeplinesc condițiile , , pentru , , , , atunci pentru , estimarea tinde probabil la valoarea extremă a funcției de regresie. $a_{n}$ $c_{{n}}$ $a_{n}>0$ $c_{n}>0$ $c_{n}\la 0$ $n\la\infty$ $\sum _{n=1}^{\infty }a_{n}=\infty$ $\sum _{n=1}^{\infty }a_{n}c_{n}<\infty$ $\sum _{n=1}^{\infty }({\frac {a_{n}}{c_{n}}})^{2}<\infty$ $n\la\infty$ ${\pălărie {x_{n+1)}}$

Cu unele cerințe suplimentare pentru funcția de regresie, estimările pot converge în pătratul mediu către extremul funcției de regresie [5] . $m(x)$ ${\pălărie {x_{n+1)}}$

Exemple

Randamentul unui teren depinde de cantitatea de îngrășământ . În acest caz, variabila aleatoare măsurată este randamentul , iar sarcina este de a determina cantitatea de îngrășământ , la care terenul are randamentul maxim [6] . $y$ $X$ $y$ ${\hat {x}}$

Note

↑ Tsypkin Ya.Z. „Adaptare, învățare și autoînvățare în sisteme automate”, // Automatizare și telemecanică . - 1966. - Nr. 1. - S. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991
↑ 1 2 Kiefer J., Wolfowitz J. Stochastic Estimation of the Maximum of a Regression Function // Ann. Matematică. statistici. - 1952. - v. 23. - nr 3.
↑ 1 2 Robbins N., Monro S. O metodă de aproximare stocastică // Annals of Math. stat. - 1951. - v. 22. - Nr 1. - S. 400-407.
↑ Vazan, 1972 , p. optsprezece.
↑ 1 2 Loginov N. V. „Metode de aproximare stocastică” // Automatizare și control de la distanță . - 1966. - Nr 4. - S. 185-204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080
↑ 1 2 Vazan, 1972 , p. zece.

Literatură

Vazan M. Aproximare Stochastică. — M .: Mir, 1972. — 295 p.
Tsypkin Ya.Z. Fundamentele teoriei sistemelor de învățare. - M. : Nauka, 1970. - 251 p.
Tsypkin Ya.Z. Adaptare și învățare în sisteme automate. — M .: Nauka, 1968. — 399 p.