Excepție (rețele neuronale)

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 31 ianuarie 2020; verificările necesită 5 modificări .

Excepție sau abandon (din engleză  dropout ) - o metodă de regularizare a rețelelor neuronale artificiale , concepută pentru a reduce recalificarea rețelei prin prevenirea co-adaptarii complexe a neuronilor individuali pe datele de antrenament în timpul antrenamentului. [unu]

Termenul „dropout” (knocking out, ejection) caracterizează excluderea unui anumit procent (de exemplu, 30%) de neuroni aleatori (situați atât în ​​straturile ascunse, cât și în cele vizibile) la diferite iterații (epoci) în timpul antrenamentului rețelei neuronale. Aceasta este o modalitate foarte eficientă de a face o medie a modelelor într-o rețea neuronală. Drept urmare, neuronii mai antrenați obțin mai multă greutate în rețea. [2] [3] Această tehnică crește semnificativ rata de învățare, calitatea antrenamentului pe datele de antrenament și, de asemenea, îmbunătățește calitatea predicțiilor modelului pe noi date de testare. [unu]

Vezi și

Link

Note

  1. 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Krijevski, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Îmbunătățirea rețelelor neuronale prin prevenirea coadaptării detectorilor de caracteristici, arΧiv : 1207.0580 [cs.NE]. 
  2. Abandonarea: o modalitate simplă de a preveni supraadaptarea rețelelor neuronale . Preluat la 26 iulie 2015. Arhivat din original la 5 decembrie 2019.
  3. Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), O analiză empirică a abandonului în rețele liniare pe bucăți, arΧiv : 1312.6197 [stat.ML].