Paradoxul lui Berkson

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 9 decembrie 2021; verificările necesită 2 modificări .

Paradoxul lui Berkson , eroarea de coliziune  - poziţia statisticii matematice , formulată de J. Berkson ( în engleză  Joseph Berkson ) în 1946. Afirmație: Două evenimente independente pot deveni dependente condiționat dacă are loc un al treilea eveniment . Această concluzie este contraintuitivă pentru unii oameni și, prin urmare, poate fi descrisă ca un paradox . Al treilea eveniment, care poate face primele două evenimente dependente condiționat, se numește colider . Paradoxul lui Berkson este adesea descris în domeniul statisticii medicale sau al biostatisticii . Este un factor de complicare care apare în testele statistice ale rapoartelor.

Același paradox este menționat în teoria rețelelor neuronale artificiale ca o explicație trecătoare , efect de justificare sau reducerea cauzei ( ing.  explicarea departe ) [1] [2] .

Definiție formală

dacă 0 < P( A ) < 1 și 0 < P( B ) < 1, unde A și B sunt unele evenimente, și P( A | B ) = P( A ) (adică evenimentele sunt independente), atunci P( A | B , C ) < P( A | C ) unde C = A ∪ B (adică A sau B ).

O ilustrare bazată pe un exemplu din statistica matematică

Vom investiga statisticile unei selecții aleatorii de mărci poștale dintr-un set, luând în considerare două proprietăți independente de timbre: „raritate” și „frumusețe”.

Să presupunem că există 1000 de timbre, dintre care 300 sunt frumoase, 100 sunt rare și 30 sunt atât frumoase, cât și rare. Evident, din întregul set, 10% dintre timbre sunt rare, dar dintre toate timbrele frumoase, 10% sunt și ele rare, adică frumusețea timbrului nu spune nimic despre raritatea lui.

Totuși, dacă selectăm din întregul set (1000) toate timbrele frumoase și toate timbrele rare (există 370 de astfel de timbre), atunci în acest eșantion de timbre rare vor exista deja 27% (100 din 370), dar dintre frumoasele timbre de acolo vor mai fi doar 10 % (30 din 300). Apoi, observatorul, atunci când analizează un astfel de eșantion (și nu întregul set), va vedea o aparentă relație inversă între frumusețea și raritatea mărcii (dacă marca este frumoasă, atunci probabilitatea rarității sale este mai mică). Dar în realitate nu există o astfel de legătură.

Rezultatul descris este complet corect din punct de vedere matematic, „paradoxitatea” sa este asociată cu particularitățile percepției oamenilor care tind să creadă intuitiv că, dacă doi parametri sunt independenți, atunci rămân așa în orice eșantion. În realitate, în cazul distorsiunii de selecție între parametrii independenți, pot apărea dependențe condiționate, ducând, atunci când sunt extinse la întreaga populație , la erori grosolane în analiză.

Ilustrație pe un exemplu din teoria rețelelor neuronale

Să fie dată cea mai simplă rețea neuronală artificială bayesiană cu o funcție de activare a sigmoidului , care conține două evenimente independente (motive) pentru care va avea loc un al treilea eveniment - casa se va zgudui. O prejudecată de -10 în neuronul evenimentului de cutremur înseamnă că, în absența observațiilor și a cunoștințelor a priori, este mult mai probabil ca acest eveniment să nu se întâmple decât să se întâmple. Dacă are loc un eveniment de cutremur, dar nu are loc niciun eveniment de camion, atunci neuronul evenimentului de tremurare a casei are o intrare totală de 0, ceea ce înseamnă că probabilitatea ca evenimentul să se producă (adică activarea neuronului) este de 0,5. Astfel, dacă avem o observație a evenimentului „casa tremură”, atunci cea mai bună explicație pentru acest fapt este apariția uneia dintre cauzele evenimentului. Cu toate acestea, este ilogic să presupunem că ambele evenimente cauze au avut loc simultan pentru a explica evenimentul de zguduire a casei, deoarece probabilitatea apariției lor simultane este egală cu . Astfel, dacă observăm atât un eveniment de zguduire a casei și știm ce s-a întâmplat, de exemplu, un eveniment care a cauzat un cutremur, atunci aceasta aruncă o explicație ( explicarea , reduce cauza) că camionul a fost de vină pentru zguduirea casei [3] ] .  

Note

  1. ↑ Introducere în rețelele bayesiene  / S. A. Terekhov // Sesiunea științifică MEPhI-2003. V Conferință științifică și tehnică din întreaga Rusie Neuroinformatică-2003: Prelegeri de neuroinformatică / Ed. ed. Yu. V. Tyumentsev (candidat la științe tehnice). - M.  : MEPhI, 2003. - Partea 1. - S. 154. - 188 p. : bolnav. — SRNTI 28.23.27. - BBK  32.818ya5 . - UDC  004.81.032.26 (063) . — ISBN 5-7262-0471-9 .
  2. ↑ Cursul 1 „Rețele Bayesian și Markov” Copie de arhivă din 14 iulie 2014 la Wayback Machine D. P. Vetrov D. A. Kropotov A. A. Osokin. - Universitatea de Stat din Moscova, departamentul VMiK. Curs MMP CC RAS ​​„Modele grafice”
  3. ↑ Hinton, G.E.; Osindero, S.; Teh, Y. Un algoritm de învățare rapidă pentru rețele de credință profundă  (nedefinită)  // Calcul neuronal. - 2006. - T. 18 , nr 7 . - S. 1527-1554 . - doi : 10.1162/neco.2006.18.7.1527 . — PMID 16764513 .

Literatură

Vezi și