Funcții Hessian

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 24 decembrie 2021; verificările necesită 2 modificări .

Hessianul unei funcții este o formă pătratică simetrică [1] care descrie comportamentul unei funcții în al doilea ordin.

Pentru o funcție de două ori diferențiabilă într-un punct $f$ $x\in \mathbb{R} ^{n}$

H(x)=\sum _{{i=1}}^{n}\sum _{{j=1}}^{n}a_{{ij}}x_{i}x_{j}

H(z)=\sum _{{i=1}}^{n}\sum _{{j=1}}^{n}a_{{ij}}z_{i}\overline {z}_{ j}

unde (sau ) și funcția este definită pe spațiu real -dimensional (sau spațiu complex ) cu coordonate (sau ). În ambele cazuri, Hessianul este o formă pătratică dată pe spațiul tangent , care nu se modifică la transformările liniare ale variabilelor. Hessianul este adesea numit și determinantul unei matrice, vezi mai jos. $a_{{ij}}=\partial ^{2}f/\partial x_{i}\partial x_{j}$ $a_{{ij}}=\partial ^{2}f/\partial z_{i}\partial \overline {z}_{j}$ $f$ $n$ $\mathbb {R} ^{n}$ $\mathbb{C}^n$ $x_{1},\ldots ,x_{n}$ $z_{1},\ldots ,z_{n}$ $(a_{ij}),$

matrice hessiană

Matricea acestei forme pătratice este formată din derivatele a doua parțiale ale funcției. Dacă toate derivatele există, atunci

H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2))}&{\frac {\partial ^{2}f}{ \partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\ \\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1))}&{\frac {\partial ^{2}f}{\partial x_{ 2}^{2))}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n))}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1))}&{\frac {\partial ^{2} f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end {bmatrix}}

Determinantul acestei matrice se numește determinant Hessian sau pur și simplu Hessian .

Matricele Hessian sunt utilizate în probleme de optimizare prin metoda lui Newton . Calculul complet al matricei Hessian poate fi dificil, astfel încât algoritmi cvasi-newtonieni au fost dezvoltați pe baza expresiilor aproximative pentru matricea Hessian. Cel mai faimos dintre ele este algoritmul Broyden-Fletcher-Goldfarb-Shanno .

Simetria matricei Hesse

Derivatele mixte ale funcției f sunt elementele matricei Hessian care nu se află pe diagonala principală . Dacă sunt continue, atunci ordinea diferențierii nu este importantă:

{\frac {\partial }{\partial x_{i))}\left({\frac {\partial f}{\partial x_{j))}\right)={\frac {\partial }{\partial x_{j))}\left({\frac {\partial f}{\partial x_{i))}\right)

Acest lucru poate fi scris și ca

f_{{x_{i}x_{j}}}=f_{{x_{j}x_{i}}},\quad \forall i,j\in \{1,\ldots ,n\}.

În acest caz, matricea Hessiană este simetrică .

Puncte critice ale unei funcții

Dacă gradientul ( derivata sa vectorială ) este zero la un moment dat , atunci acest punct se numește critic . O condiție suficientă pentru existența unui extremum în acest punct este caracterul definit al semnului f Hessian (înțeles în acest caz ca formă pătratică), și anume: $f$ $x_{0}$

dacă Hessianul este definit pozitiv, atunci este punctul minim local al funcției , $x_{0}$ $f(x)$
dacă Hessianul este definit negativ, atunci este punctul maxim local al funcției , $x_{0}$ $f(x)$
dacă Hessianul nu este definit de semn (ia atât valori pozitive, cât și negative) și este nedegenerat , atunci este punctul de șa al funcției . $(\det H(f)\neq 0)$ $x_{0}$ $f(x)$

Variații și generalizări

Funcții vectoriale

Dacă este o funcție vectorială , adică $f$

f=(f_{1},f_{2},\dots, f_{n}),

atunci derivatele sale parțiale a doua formează nu o matrice, ci un tensor de rang 3, care poate fi considerat ca o matrice de matrici hessiene: $n$

H(f)=\left(H(f_{1}),\ldots,H(f_{n})\dreapta).

La , acest tensor degenerează în matricea hessiană obișnuită. $n=1$

Banded Hessian

La rezolvarea problemei găsirii unui extremum condiționat al unei funcții cu restricții $f:\mathbb {R} ^{n}\rightarrow \mathbb {R}$

\left\{{\begin{array}{c}g_{1}(x)=0,\\\vdots \\g_{m}(x)=0,\end{array}}\right .

unde , , pentru a verifica condiții suficiente pentru un extremum, se poate folosi așa-numitul Hessian mărginit al funcției Lagrange , care va avea forma [2] $x \in \mathbb{R}^n$ $m<n$ $L(x,\lambda )$

\left({\begin{array}{cc}{\dfrac {\partial ^{2}L}{\partial x^{2)}} și {\dfrac {\partial ^{2}L} {\partial x\partial \lambda }}\\\left({\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\right)^{\mathrm {T} }&{ \dfrac {\partial ^{2}L}{\partial \lambda ^{2))}\end{array}}\right)=\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2))}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{n))} &{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots & \ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{n}\partial x_{1))}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{n}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{n}}}&\ldots &{\dfrac {\partial g_{m)){\partial x_{n))}\\{\dfrac {\partial g_{1)){\partial x_{1))}&\ldots &{\dfrac {\partial g_ {1}}{\partial x_{n}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{ \partial x_{1))}&\ldots &{\dfrac {\partial g_{m)){  \partial x_{n}}}&0&\ldots &0\end{array}}\right).

Verificarea unor condiții extreme suficiente constă în calcularea semnelor determinanților unui anumit set de submatrici ale hessianului mărginit. Și anume, dacă există astfel încât și $x^{*}\in \mathbb {R} ^{n}$ $\lambda ^{*}\in \mathbb {R} ^{m)$ $\nabla L(x^{*},\lambda ^{*})=0$

(-1)^{m}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^ {2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\ parțial x_{1))&\ldots &{\dfrac {\partial g_{m)){\partial x_{1))}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \ \{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1))}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{ p }^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p ) )}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0& \ ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m)){\partial x_{1))}&\ldots &{\ dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0

pentru , atunci funcția are un minim strict condiționat în punctul . Dacă $p=m+1,\ldots ,n$ $x^{*}$ $f$

(-1)^{p}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^ {2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\ parțial x_{1))&\ldots &{\dfrac {\partial g_{m)){\partial x_{1))}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \ \{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1))}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{ p }^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p ) )}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0& \ ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m)){\partial x_{1))}&\ldots &{\ dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0

pentru , atunci în punctul funcția are un maxim strict condiționat [3] . $p=m+1,\ldots ,n$ $x^{*}$ $f$

Istorie

Conceptul a fost introdus de Ludwig Otto Hesse ( 1844 ), care a folosit un alt nume. Termenul „hessian” a fost inventat de James Joseph Sylvester .

Vezi și

iacobian
Punct critic (matematică)
Lema Morse
Criteriul Sylvester este un criteriu pentru caracterul pozitiv sau negativ al unei matrice pătrate

Note

↑ Hessian . Consultat la 2 aprilie 2016. Arhivat din original pe 15 aprilie 2016. (nedefinit)
^ Hallam, Arne Econ 500: Quantitative Methods in Economic Analysis I. Statul Iowa (7 octombrie 2004). Consultat la 14 aprilie 2021. Arhivat din original pe 19 aprilie 2021. (nedefinit)
↑ Neudecker, Heinz. Calcul diferențial matriceal cu aplicații în statistică și econometrie / Heinz Neudecker, Jan R. Magnus. - New York: John Wiley & Sons , 1988. - P. 136. - ISBN 978-0-471-91516-4 .

Link -uri

Kamynin L.I. Analiza matematică. T. 1, 2. - 2001.
Kudryavtsev L.D. „Un scurt curs de analiză matematică. T.2. Calcul diferențial și integral al funcțiilor mai multor variabile. Analiza armonică”, FIZMATLIT, 2002, 424 p. — ISBN 5-9221-0185-4 . Sau orice alta editie.
Golubitsky M., Guillemin V. Stable mappings and their singularities, - M.: Mir, 1977.

Calcul diferenţial

Principal

vederi private

Operatori diferențiali
( în diferite coordonate )

Prima comanda	Operator Nabla Gradient Divergenţă Rotor Helmholtzian
a doua comanda	Operator eliptic operator Laplace Operator vectorial Laplace operator D'Alembert Operator Laplace-Beltrami
ordine superioare	Operator hipoeliptic

subiecte asemănătoare