Mașină Boltzmann limitată

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 23 mai 2021; verificările necesită 3 modificări .

Mașina Boltzmann restricționată ( eng.  mașină Boltzmann restricționată ), abreviată ca RBM , este un tip de rețea neuronală stocastică  generativă care determină distribuția probabilității pe eșantioanele de date de intrare.

Prima mașină Boltzmann limitată a fost construită în 1986 de Paul Smolensky sub numele Harmonium [1] , dar a câștigat popularitate abia după invenția de către Hinton a algoritmilor de învățare rapidă la mijlocul anilor 2000.

Mașina a căpătat acest nume ca o modificare a mașinii obișnuite Boltzmann , în care neuronii erau împărțiți în vizibili și ascunși, iar conexiunile sunt permise doar între neuroni de diferite tipuri, limitând astfel conexiunile. Mult mai târziu, în anii 2000, mașinile Boltzmann limitate au câștigat mai multă popularitate și nu mai erau considerate variații ale mașinii Boltzmann, ci componente speciale în arhitectura rețelelor de învățare profundă . Combinarea mai multor cascade de mașini Boltzmann mărginite formează o rețea de credință profundă , un tip special de rețele neuronale multistrat care se pot auto-învăța fără un profesor folosind algoritmul de backpropagation [2] .

O caracteristică a mașinilor Boltzmann limitate este capacitatea de a fi instruiți fără un profesor , dar în anumite aplicații, mașinile Boltzmann limitate sunt instruite cu un profesor. Stratul ascuns al mașinii este caracteristicile profunde ale datelor care sunt dezvăluite în timpul procesului de învățare (vezi și Exploatarea datelor ).

Mașinile Boltzmann limitate au o gamă largă de aplicații - acestea sunt problemele de reducere a dimensionalității datelor [ 3 ] , problemele de clasificare [4] , filtrarea colaborativă [5] , învățarea caracteristicilor [ 6] și modelarea subiectelor [7] . 

Într-o mașină Boltzmann restricționată , neuronii formează un grafic bipartit , pe o parte a graficului sunt neuroni vizibili (intrare), iar pe de altă parte, cei ascunși și sunt stabilite legături încrucișate între fiecare neuron vizibil și fiecare ascuns. Un astfel de sistem de conexiuni face posibilă aplicarea metodei de coborâre a gradientului cu divergență contrastivă la antrenamentul rețelei [8] .

Structura rețelei

Mașina Boltzmann restricționată se bazează pe elemente binare cu o distribuție Bernoulli care alcătuiesc straturile vizibile și ascunse ale rețelei. Legăturile dintre straturi sunt specificate folosind o matrice de greutăți (dimensiunea m  ×  n ), precum și decalaje pentru stratul vizibil și pentru stratul ascuns.

Conceptul de energie de rețea ( v , h ) este introdus ca

sau sub formă de matrice

Rețeaua Hopfield are, de asemenea, o funcție energetică similară . Ca și în cazul mașinii obișnuite Boltzmann , probabilitatea de distribuție pe vectorii straturilor vizibile și ascunse este determinată prin energie [9] :

unde  este funcția de partiție definită ca pentru toate rețelele posibile (cu alte cuvinte,  este o constantă de normalizare care garantează că suma tuturor probabilităților este egală cu unu). Determinarea probabilității pentru un vector de intrare separat (distribuție marginală) se realizează în mod similar prin suma configurațiilor tuturor straturilor ascunse posibile [9] :

Datorită structurii rețelei ca graf bipartit, elementele individuale ale stratului ascuns sunt independente unele de altele și activează stratul vizibil și invers, elementele individuale ale stratului vizibil sunt independente unele de altele și activează stratul ascuns. stratul [8] . Pentru elementele vizibile și pentru elementele ascunse, probabilitățile condiționate v sunt determinate prin produsele probabilităților h :

și invers, probabilitățile condiționate h sunt definite în funcție de produsul probabilităților v :

Probabilitățile de activare specifice pentru un element sunt definite ca

și

unde  este funcția logistică pentru activarea stratului.

Straturile vizibile pot avea și o distribuție multinomială , în timp ce straturile ascunse au o distribuție Bernoulli . În cazul multinomialității, softmax este utilizat în locul funcției logistice :

unde K  este numărul de valori discrete ale elementelor vizibile. Această reprezentare este utilizată în probleme de modelare a subiectelor [7] și în sistemele de recomandare [5] .

Relația cu alte modele

Mașina Boltzmann restricționată este un caz special al mașinii Boltzmann obișnuite și al rețelei Markov [10] [11] . Modelul lor grafic corespunde modelului grafic al analizei factoriale [12] .

Algoritm de învățare

Scopul învățării este de a maximiza probabilitatea unui sistem cu un set dat de eșantioane (o matrice în care fiecare rând corespunde unui eșantion al vectorului vizibil ), definit ca produsul probabilităților

sau, ceea ce este același, maximizarea logaritmului produsului: [10] [11]

Pentru a antrena rețeaua neuronală, algoritmul de divergență contrastiva (CD) este utilizat pentru a găsi ponderile optime ale matricei , a fost propus de Geoffrey Hinton , inițial pentru antrenarea modelelor PoE (“produsul estimărilor expertului”) [13] [14] . Algoritmul folosește eșantionarea Gibbs pentru a organiza o procedură de coborâre a gradientului , similară cu metoda de backpropagation pentru rețelele neuronale.

În general, un pas al divergenței contrastive (CD-1) arată astfel:

  1. Pentru un eșantion de date v , probabilitățile elementului ascuns sunt calculate și se aplică activarea pentru stratul ascuns h pentru distribuția de probabilitate dată.
  2. Se calculează produsul exterior (eșantionare) pentru v și h , care se numește gradient pozitiv .
  3. Prin eşantionul h se reconstruieşte eşantionul stratului vizibil v' , iar apoi se realizează din nou eşantionarea cu activarea stratului ascuns h' . (Acest pas se numește Eșantionare Gibbs .)
  4. Apoi, produsul exterior este calculat , dar deja vectorii v' și h' , care se numește gradient negativ .
  5. Matricea de ponderi este corectată pentru diferența dintre gradientul pozitiv și negativ, înmulțită cu un factor care specifică rata de învățare: .
  6. Prejudecățile a și b sunt corectate în mod similar: , .

Îndrumări practice privind implementarea procesului de învățare pot fi găsite pe pagina personală a lui Jeffrey Hinton [9] .

Vezi și

Link -uri

  1. ↑ Smolensky, Paul. Capitolul 6: Prelucrarea informațiilor în sistemele dinamice: Fundamentele teoriei armoniei // Procesarea distribuită paralelă: Explorări în microstructura cogniției, Volumul 1: Fundamente  (engleză) / Rumelhart, David E.; McLelland, James L. - MIT Press , 1986. - P. 194-281. — ISBN 0-262-68053-X . Copie arhivată (link indisponibil) . Consultat la 10 noiembrie 2017. Arhivat din original la 13 iunie 2013. 
  2. ↑ Hinton, G. Deep belief networks  (nedefinite)  // Scholarpedia . - 2009. - T. 4 , Nr. 5 . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  3. ↑ Hinton, G.E.; Salakhutdinov, RR Reducerea dimensionalității datelor cu rețele neuronale  (engleză)  // Science : jurnal. - 2006. - Vol. 313 , nr. 5786 . - P. 504-507 . - doi : 10.1126/science.1127647 . — PMID 16873662 .
  4. ↑ Larochelle, H.; Bengio, Y. (2008). Clasificare folosind mașini Boltzmann cu restricții discriminatorii (PDF) . Proceedings of the 25th international Conference on Machine Learning - ICML '08. p. 536. DOI : 10.1145/1390156.1390224 . ISBN  9781605582054 . Arhivat din original (PDF) pe 2017-10-13 . Consultat 2017-11-10 . Parametrul depreciat folosit |deadlink=( ajutor )
  5. ↑ 1 2 Salakhutdinov, R.; Mnih, A.; Hinton, G. (2007). Mașini Boltzmann restricționate pentru filtrare colaborativă . Proceedings of the 24th international Conference on Machine Learning - ICML '07. p. 791. doi : 10.1145/ 1273496.1273596 . ISBN 9781595937933 . 
  6. ↑ Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). O analiză a rețelelor cu un singur strat în învățarea nesupravegheată a caracteristicilor (PDF) . Conferința Internațională de Inteligență Artificială și Statistică (AISTATS). Arhivat din original (PDF) la 20.12.2014 . Consultat 2017-11-10 . Parametrul depreciat folosit |deadlink=( ajutor )
  7. ↑ 1 2 Ruslan Salakhutdinov și Geoffrey Hinton (2010). Softmax replicat: un model de subiect nedirecționat Arhivat 25 mai 2012 la Wayback Machine . Sisteme de procesare a informațiilor neuronale 23
  8. ↑ 1 2 Miguel A. Carreira-Perpiñán și Geoffrey Hinton (2005). Despre învățarea prin divergențe contrastive. Inteligență artificială și statistică .
  9. ↑ 1 2 3 Geoffrey Hinton (2010). A Practical Guide to Training Restricted Boltzmann Machines Arhivat 25 septembrie 2014 la Wayback Machine . UTML TR 2010-003, Universitatea din Toronto.
  10. ↑ 1 2 Sutskever, Ilya; Tieleman, Tijmen. Despre proprietățile de convergență ale divergenței contrastisive   // ​​Proc . a 13-a Conf. Internațională despre AI și Statistică (AISTATS) : jurnal. - 2010. Arhivat la 10 iunie 2015.
  11. ↑ 1 2 Asja Fischer și Christian Igel. Antrenarea mașinilor Boltzmann restricționate: o introducere . Arhivat pe 10 iunie 2015 la Wayback Machine . Recunoașterea modelelor 47, p. 25-39, 2014.
  12. ↑ María Angélica Cueto; Jason Morton; Bernd Sturmfels. Geometria mașinii Boltzmann restricționate  (neopr.)  // Metode algebrice în statistică și probabilitate. - Societatea Americană de Matematică, 2010. - V. 516 . - arXiv : 0908.4425 .  (link indisponibil)
  13. ↑ Geoffrey Hinton (1999). Products of Experts Arhivat 24 septembrie 2015 la Wayback Machine . ICANN 1999 .
  14. ↑ Hinton, GE Training Products of Experts by Minimizing Contrastive Divergence  //  Neural Computation : jurnal. - 2002. - Vol. 14 , nr. 8 . - P. 1771-1800 . - doi : 10.1162/089976602760128018 . — PMID 12180402 .

Literatură

 Tipuri de rețele neuronale artificiale