Raționaliștii

Raționaliștii constituie o mișcare intelectuală modernă care susține aplicarea sistematică a unei abordări raționale a cunoașterii și luării deciziilor, precum și a unei etici utilitariste . Pe baza acestor principii, raționaliștii consideră că este necesar să se acorde o atenție deosebită riscurilor catastrofelor globale , în special și, în special, riscului apariției inteligenței artificiale superinteligente .

Eliezer Yudkowsky a jucat un rol cheie în crearea comunității raționaliste și formularea principiilor acesteia , precum și, de la început, Nick Bostrom și Robin Hanson. La începutul anilor 2010, LessWrong a lui Yudkovsky a fost centrul de compensare pentru comunitate , dar în anii următori comunitatea a devenit mai puțin centralizată. De la mijlocul anilor 2010, datorită în parte cărții Superintelligence a lui Bostrom , controlul inteligenței artificiale a făcut obiectul unor discuții serioase în comunitatea științifică și tehnică.

Vizualizări

Raționalitate

Raționaliștii propun să adere la principiile raționalității în gândire și acțiuni [1] . Raționalitatea este înțeleasă ca construcția unei imagini a lumii care se potrivește cel mai mult cu realitatea, atât pe probleme generale, cât și pe cele particulare [2] ( raționalitatea epistemică ) și alegerea unor astfel de acțiuni care, ținând cont de informațiile disponibile, dau cele mai dorite. rezultatul așteptat ( raționalitate instrumentală ) [3] .

Aplicarea sistematică a unei abordări raționale necesită un aparat conceptual riguros. Este prevăzut de teoria deciziei normative . Din punctul de vedere al lui Yudkowsky, pe baza lucrărilor lui E. T. Jaynes , componenta cheie a procesului decizional rațional este teorema Bayes  - aceasta și abordările și teoriile bazate pe ea ( Bayesian decision estimation , Bayesian epistemology ) reprezintă cea mai bună modalitate de a lua în considerare informațiile primite, la care, într-un fel sau altul, ar trebui reduse toate abordările empirice eficiente ale luării deciziilor [4] . Pentru a aplica eficient principiile gândirii raționale, este necesar să fim conștienți de erorile sistematice ale gândirii umane - distorsiuni cognitive investigate de D. Kahneman și A. Tversky [5] - și să fim capabili să faceți față influenței acestora asupra propriei gândiri. [1] .

Raționalitatea în sine vizează atingerea scopurilor, dar nu stabilește aceste obiective (în ceea ce privește teoria deciziei - o funcție de utilitate ). Pentru o persoană, acestea sunt determinate de nevoile și atitudinile sale etice , iar în cazul entităților create și programate de o persoană, sunt stabilite de creatori [6] . În același timp, raționalitatea nu implică o respingere a vreunei emoții , sau luarea în considerare a emoțiilor și iraționalității altor oameni, deoarece astfel de personaje fictive adesea asociate cu „raționalitate” așa cum fac Spock : dimpotrivă, propriile emoții ar putea să fie luate în considerare în funcția de utilitate a unei persoane, iar străinii contabili este necesar, fie și doar pentru că afectează realizarea scopurilor [3] . De asemenea, raționalitatea nu are nimic de-a face cu egoismul , deoarece scopurile unei persoane pot fi orice, inclusiv cele altruiste [7] .

Din punct de vedere etic, raționaliștii sunt adepți ai consecințialismului , care prescrie alegerea acțiunilor pe baza consecințelor așteptate. Mai precis, ei aderă la o variantă de utilitarism sau alta : ceea ce este moral este ceea ce maximizează fericirea totală a tuturor ființelor vii. Desigur, acest principiu este echipat cu definiții mai precise a ceea ce se înțelege prin fericire și cum să o cuantificăm exact - diferite în diferite versiuni. (Depinde mult de aceste detalii: de exemplu, cel mai etic curs de acțiune prescris de utilitarism depinde în mare măsură .)[8]dacă luarea în considerare a fericirii și suferinței animalelor Yudkowsky ocolește această dificultate subliniind că, în practică, oamenii se găsesc rareori într-o situație în care consecințele viitoare ale încălcării principiilor deontologice general acceptate sunt cunoscute cu suficientă certitudine, astfel că acestea din urmă ar trebui considerate drept reguli empirice , care sunt iraționale de refuzat [6]. ] .

Pentru discuția colectivă și luarea deciziilor raționale, este necesar să se conducă discuțiile cu bună-credință și să manifeste deschidere intelectuală [9] , disponibilitate de a-și recunoaște propria greșeală [2] . O situație este inacceptabilă atunci când discuția este privită ca un război, în care argumentele sunt soldați, iar scopul este acela de a învinge partea adversă, și nu de a afla adevărul [10] . În plus, este important să distingem disputele despre declarații de fond („Va naționaliza acest politician căile ferate dacă va ajunge la putere?”) de disputele despre nume („Este acest politician marxist?”) [11] .

Pericolul inteligenței artificiale

Raționaliștii sunt cunoscuți pentru ideea că inteligența artificială este periculoasă pentru existența omenirii. Asocierea strânsă dintre acest concept și mișcarea raționalistă exagerează oarecum importanța acesteia pentru mișcare [12] - conceptul central este încă raționalitatea, nu riscul AI - cu toate acestea, din punct de vedere istoric, comunitatea și mișcarea raționalistă au apărut din discuția acestei idei. [13] [6] .

Dacă progresul tehnologic continuă cu succes și este aplicat în direcția corectă, atunci umanitatea va putea lansa expansiunea spațială, precum și îmbunătățirea calității vieții oamenilor, inclusiv atingerea nemuririi , dacă dorește (posibilitatea și dezirabilitatea unui astfel de scenariu). este declarat de transumanism [13] ). După cum notează Nick Bostrom, în acest caz, numărul de vieți umane mai mult sau mai puțin fericite și, în general, fericirea primită de oameni în viitor, va depăși cu zeci de ordine de mărime toată fericirea omenirii care a trăit până acum. ; prin urmare, dacă fericirea descendenților are vreo importanță, atunci preocuparea pentru creșterea probabilității unei asemenea dezvoltări a istoriei umane este extrem de importantă din punctul de vedere al eticii utilitariste [14] .

În special, este necesar să se evite astfel de catastrofe globale care vor duce la distrugerea completă a omenirii sau la pierderea ireversibilă a oportunității de dezvoltare. Dezastrele naturale precum căderea unui meteorit gigant la nivelul actual de dezvoltare tehnică nu pot fi rezistate, dar nu s-au întâmplat în milioane de ani de existență umană , așa că putem concluziona că astfel de evenimente sunt rare. Situația cu riscul dezastrelor provocate de om este diferită: a apărut abia recent. Astfel, în timpul Războiului Rece , riscul unui război nuclear cu posibila moarte ulterioară a omenirii [15] a fost destul de real .

Yudkowsky și Bostrom consideră că cel mai mare pericol este inteligența artificială superinteligentă - și, cu măsurile de precauție potrivite, poate accelera radical ritmul progresului. Aici și mai jos, inteligența nu înseamnă nici un fel de gândire similară sau diferită de om, ci, în conformitate cu cartea clasică Artificial Intelligence: A Modern Approach  , capacitatea de a rezolva eficient sarcini, adică raționalitate, dar superinteligență  - capacitatea de a rezolva practic toate aceleași sarcini ca o persoană, dar mult mai bine [7] . Alți raționaliști, precum Holden Karnofsky , se situează și ei printre cele mai mari riscuri de dispariție umană în epoca modernă o pandemie a unei boli periculoase, creată artificial ca armă biologică [15] .

Pericolul AI, potrivit lui Yudkowsky, nu constă în faptul că AI își va dobândi liberul arbitru și își va dezvolta propriile obiective, diferite de cele stabilite în ea, în spiritul Skynet  - dimpotrivă, AI se va strădui să atingă sarcinile care îi sunt atribuite, dar dacă nu sunt formulate cu acuratețe, efecte secundare efectele pot fi catastrofale. Modelul clasic simplificat pentru un astfel de scenariu este un experiment de gândire numit maximizator de agrafe: dacă unei IA puternice i se dă sarcina aparent inofensivă de a „fabrica agrafe ”, va prelua întreaga planetă și o va echipa cu fabrici de agrafe și computere pentru a ajută-l să-și optimizeze procesul de producție, cu consecințe triste pentru omenire. Un alt exemplu este povestea ucenicului vrăjitor din desenul animat „ Fantezie ” bazat pe balada lui Goethe , care a ordonat unei mături fermecate să umple ceaunul cu apă, care s-a terminat într-un potop. Funcția de utilitate a unei persoane este complexă: ori de câte ori o persoană își stabilește un scop, el ia în considerare implicit multe condiții suplimentare - moralitate, reguli de comportament în societate, autoconservare etc.; AI, în general, nu are aceste restricții suplimentare [16] .

Problema este că aproape orice sarcină atribuită AI, cu excepția celor prevăzute cu clauze speciale, atent alese, generează obiective auxiliare pentru aceasta [17] :

În același timp, în general, este rațional ca AI să ia măsuri preventive în ultimele două puncte nu atunci când încearcă să oprească sau să reprogrameze, ci în avans, cu prima ocazie, iar distrugerea umanității se poate dovedi să fie cea mai fiabilă formă a acestor măsuri preventive, precum și o formă neprevăzută de îndeplinire a sarcinilor stabilite: uciderea tuturor oamenilor rezolvă problema „de a face oamenii să nu mai moară de cancer[19] . O IA suficient de inteligentă va fi capabilă să exploateze orice lacună în condițiile unei sarcini care îi permite să o îndeplinească în mod formal cel mai eficient [21] . Astfel de moduri neprevăzute de rezolvare a sarcinii se manifestă deja în algoritmi evolutivi model : de exemplu, sistemul, a cărui sarcină era să creeze texte similare cu țintă, a învățat să ștergă fișierul cu textul țintă [22] .

Pentru a gestiona resursele materiale, inteligența artificială trebuie doar să obțină acces necontrolat la Internet : poate pirata sistemele conectate la Internet pentru a controla direct dispozitivele electronice sau a șantaja oameni puternici sau, de exemplu, poate câștiga o sumă mare de bani tranzacționând în mod anonim valori mobiliare . sau lansarea unui nou instrument financiar (de exemplu, identitatea creatorului bitcoin Satoshi Nakamoto la începutul anilor 2020 rămâne necunoscută). Este posibil să restricționați accesul AI la internet și la resursele materiale, dar menținerea restricției poate să nu fie ușoară, deoarece va fi suficient de viclean să păcăliți sau să amenințați cu eliminarea acestor restricții [23] .

O IA suficient de dezvoltată va putea evidenția adevăratele motive și dorințe ale oamenilor care i-au stabilit o sarcină, dar acest lucru nu o va forța deloc să urmeze aceste adevărate dorințe, și nu scopurile stabilite pentru aceasta. În mod similar, o persoană poate ști că „adevărul scop” (funcția biologică) al sexului și al consumului de alimente dulci este de a reproduce și, respectiv, de a stoca carbohidrați, dar face acest lucru numai în scopul de a se bucura de aceste procese, evitând reproducerea prin contracepție în primul caz și chiar prejudicierea propriei sănătăți prin consumul excesiv de zahăr în al doilea caz [17] .

Motivul pentru care raționaliștii consideră problema IA superinteligentă ca fiind relevantă deja în prezent - în prima jumătate a secolului 21 - este că, de îndată ce AI atinge nivelul de inteligență artificială cu scop general, sau IA puternică, adică , dobândește capacitatea de a rezolva toate aceleași sarcini intelectuale pe care oamenii [7] , apoi el se va putea îmbunătăți nu mai rău decât o fac oamenii care l-au dezvoltat. Și deoarece, așa cum am menționat deja, în aproape orice caz va fi util pentru rezolvarea sarcinilor care i-au fost atribuite, va începe să lucreze la ridicarea propriului nivel intelectual. Cu cât avansează mai mult în această lucrare, cu atât mai eficient și mai rapid o va putea face, astfel încât creșterea nivelului de dezvoltare a AI și extinderea capacităților acesteia se vor accelera rapid [24] [18] . Acest proces poate dura ani - suficient de lungi pentru ca umanitatea să reacționeze - dar poate dura și un timp foarte scurt, apoi în doar ore sau minute va avea loc o explozie intelectuală și va veni o singularitate tehnologică . Bostrom insistă că acest scenariu este cel mai probabil [25] . În același timp, dezvoltatorii și informaticienii teoreticii care lucrează la dezvoltarea inteligenței artificiale consideră, în general, că apariția inteligenței artificiale de uz general în secolul 21 este foarte probabilă. În plus, Yudkovsky notează că acest lucru se poate întâmpla pe neașteptate [26] .

Astfel, raționaliștii consideră că controlul AI este un obiectiv urgent și cel mai important  - crearea inteligenței artificiale de uz general, ale cărei sarcini sunt în concordanță cu binele omenirii ( English  aligned AI ) [13] .

Istorie, figuri cheie și comunitate

Origini

Complexul de idei și nucleul viitoarei comunități a raționaliștilor au început să prindă contur la sfârșitul anilor 1990. Cu toate acestea, ei au apărut din ideile și comunitatea transumaniștilor . Transumaniștii cred că progresul științific și tehnologic va fi capabil să salveze omenirea de boală și chiar de moarte și să lupte pentru aceasta, iar aceste idei sunt destul de vechi: de exemplu, Condorcet a presupus că nu există o limită a duratei vieții umane fără îmbătrânire [ 13] .

În anii 1990, s-a format un fel de cultură de rețea a transumaniștilor și, în special, a oamenilor interesați de ideea singularității tehnologice . Aceste idei nu au fost foarte populare și au fost în general percepute ca ciudate de către societate, dar au atras un anumit tip de oameni - asemănătoare cu tocilarii stereotipi . În special, a existat o listă de corespondență tematică „ Extropians ” în care aceste probleme au fost discutate, printre alții, de Eliezer Yudkovsky - un adolescent american, Nick Bostrom - un student suedez și britanic care a studiat filozofia, matematica și domenii conexe, Robin Hanson - un economist american, care se ocupă de piețele de predicție [13] .

Yudkovsky și-a organizat propria listă de corespondență SL4 ( Nivelul de șoc 4  - numele înseamnă subiectul celor mai radicale schimbări viitoare în viața omenirii, provocând șocul maxim viitor ). Discuțiile de la SL4 au inclus Bostrom, Hanson și mulți oameni care au devenit ulterior dezvoltatori și antreprenori cunoscuți, precum Ben Goertzel sau Wei Dai . În plus, în 2000, Yudkovsky în vârstă de 20 de ani a fondat organizația non-profit Singularity Institute, care a fost redenumită mai târziu Machine Intelligence Research Institute (MIRI) [13] .

La început, Iudkovski a considerat că apariția timpurie a unei singularități tehnologice este un eveniment dezirabil, dar apoi a ajuns la concluzia că apariția unei IA suprainteligente ar putea fi periculoasă pentru existența omenirii . În lista de corespondență Extropian și în SL4 au apărut pentru prima dată idei importante pentru viitoarea comunitate raționalistă, cum ar fi „maximizatorul de agrafe”. Cu toate acestea, ideile lui Yudkowsky nu au fost luate suficient de serios, pentru că – după cum credea el – colegii de pe lista de corespondență nu au raționat suficient de rațional și, în special, nu posedau metode cantitative (bayesiene) de a lua în considerare informațiile pentru a corecta convingerile. Robin Hanson a lansat blogul  Overcoming Bias .  -  „Depășirea distorsiunilor” ( celebra carte a lui D. Kahneman despre distorsiunile cognitive nu a fost încă publicată, dar lucrările sale erau cunoscute în SL4 ). Iudkovski a început să publice texte despre raționalitate și alte subiecte în acest blog [13] .

Chains and LessWrong

În 2009, Eliezer Yudkowsky și-a mutat versurile pe un nou site de sine stătător numit LessWrong (  literalmente  „  [străduiți] să fiți mai puțin greșit”) . Notele sale, completate de alți autori și completate în anul următor, au fost numite colectiv „Lanțurile” și au devenit cel mai important text pentru raționaliști. Ulterior, Yudkovsky a proiectat Lanțurile sub forma unei cărți Raționalitate: de la AI la zombi (din  engleză  -  „Raționalitate: de la AI la zombi”) [13] [27] .

LessWrong este înființat ca un blog comunitar și un forum pentru a discuta tot felul de probleme legate de raționalitate. A devenit un hub informațional și social pentru comunitatea raționalistă, adică o colecție de informații despre ideile lor și un punct de intrare în comunitate. Odată cu creșterea acestei comunități, site-ul a devenit destul de popular: la apogeul său (2012), LessWrong a avut aproximativ un milion de vizualizări de pagini pe zi [13] .

În plus, în 2010-2015, Yudkovsky a scris și publicat pe internet romanul „ Harry Potter și metodele raționalității ” bazat pe cărțile Harry Potter , în care a vorbit într-o formă artistică despre importanța raționalității și, în special , prevenirea catastrofelor globale. Romanul a devenit celebru, a fost tradus în alte limbi, inclusiv rusă, și a atras mulți oameni în comunitatea raționalistă [13] .

Evoluția comunității și răspândirea ideilor

În 2014, a fost  publicată cartea lui Nick Bostrom Superintelligence  : Paths, Dangers, Strategies  despre perspectivele și consecințele apariției inteligenței superinteligente, în primul rând inteligenței mașinilor. Pentru Bostrom, până la acel moment, participarea activă la discuțiile online ale raționaliștilor era de domeniul trecutului, dar el a subliniat argumentele lor cu privire la necesitatea controlului AI în carte. Cartea a devenit un bestseller. De atunci, și de asemenea direct ca urmare a faptului că Bostrom a introdus ideile raționaliștilor în discursul științific și tehnic, aceste idei au devenit relativ cunoscute și au devenit mai puțin exotice în cercurile largi [28] .

Dorința de a depăși părtinirile cognitive și de a lua sistematic decizii bazate pe raționalitate și probabilități de-a lungul anilor 2010 s-a extins dincolo de comunitatea Internet compactă, luând forma unei mișcări intelectuale cu drepturi depline. S-a răspândit în primul rând în cercurile asociate cu tehnologia informației [12] .

În același timp, site-ul LessWrong a început să-și piardă din popularitate. Yudkowsky, după ce a terminat Lanțurile, a încetat curând să scrie pentru LessWrong . Cunoscut raționalist, psihiatru Scott Alexander și-a început propriul blog Slate Star Codex . Comunitatea a format un strat de „cunoștințe tacite” care este dificil pentru noii membri [27] , și un set de termeni folosiți în mod constant care sunt de neînțeles pentru nou-veniți (de exemplu, „ motte și bailey ”) [29] . Din aceste și alte motive, LessWrong a încetat să-și îndeplinească funcțiile de hub, iar înlocuirea sa sub forma oricărei culegeri suficient de complete de informații despre dezvoltarea ulterioară a ideilor și comunitatea raționaliștilor nu a apărut niciodată [27] .

Cu toate acestea, în ceea ce privește organizarea socială, comunitatea raționalistă are un nou focus - blogul lui Scott Alexander. Alexander a fost deosebit de consecvent în apelul său la discuții deschise, civilizate și argumentate și a construit o comunitate online în care această abordare a devenit norma [29] [27] .

La începutul pandemiei de COVID-19, raționaliștii s-au numărat printre cei care au avertizat serios cu privire la posibila ei dezvoltare catastrofală, care s-a întâmplat în cele din urmă. Ulterior, Scott Alexander a fost contactat de un jurnalist din New York Times pentru a discuta despre ceea ce Alexander credea că este tocmai acest subiect, dar jurnalistul plănuia să dea în articol numele complet real al lui Scott Alexander („Scott Alexander” este un pseudonim care coincide cu primul și al doilea nume personal al acestuia autorul, al cărui nume complet este Scott Alexander Siskind [30] ), la care s-a opus ferm. Ca o ultimă contramăsură, Alexander a închis accesul la întregul Slate Star Codex . Această poveste a provocat un protest public și o controversă serioasă în cadrul The New York Times [29] . Drept urmare, un articol din The New York Times [31] a apărut la începutul anului 2021, la scurt timp după ce Scott Alexander a deschis un nou blog Astral Codex Ten și l-a accesat pe cel vechi și și-a dat el însuși numele complet; în acest articol , opiniile de extremă dreapta sunt atribuite raționaliștilor [30] .

Compoziția comunităților LessWrong și a blogului lui Scott Alexander este destul de ciudată: în multe privințe destul de omogenă - majoritatea raționaliștilor sunt bărbați [10] , mai des tineri [32] , iar printre aceștia există mai des decât de obicei oameni care suferă de sau sunt predispuși la tulburări de spectru autist [27] [10] . Există relativ mulți poliameri printre raționaliști [33] . Raționaliștii tind adesea să creadă că pot crea de la zero cele mai bune soluții la anumite probleme binecunoscute [27] [29] . Potrivit unui sondaj al cititorilor Slate Star Codex din 2018 , 80% dintre ei sunt americani. Din punct de vedere politic, raționaliștii sunt în mare parte liberali de stânga moderat [10] .

Comunitatea raționaliștilor nu are o graniță clară [32] : pe de o parte, s-a răspândit destul de larg și există cel puțin comunități virtuale de raționaliști în diferite țări ale lumii, de la Israel la Rusia [34] și Țările de Jos. ; pe de altă parte, sunt mulți care sunt interesați de ideile raționaliștilor, dar nu se consideră parte a comunității și/sau nu împărtășesc întreaga gamă de opinii raționaliste. Pe lângă comunicarea pur virtuală, raționaliștii țin și întâlniri față în față. „Miezul” comunității este alcătuit din câteva sute sau mii de oameni care sunt profund cufundați în comunitate financiar sau social. Locul celei mai mari concentrații de membri activi ai comunității este San Francisco Bay Area (unde, printre altele, se află Silicon Valley ); în special, Eliezer Yudkowsky și Scott Alexander locuiesc acolo, se află birourile organizațiilor asociate raționaliștilor - MIRI, CFAR [33] .

Recepție și influență

În timp ce raționaliștii și-au formulat și discutat ideile aproape exclusiv pe site-ul LessWrong , ei au rămas un fenomen pur de nișă. Poate cel mai faimos din sfera media de limbă engleză dintre toate conceptele inventate pe LessWrong a fost Basiliscul lui Roko  - un viitor ipotetic IA puternic, a cărui cunoaștere în prezent poate duce teoretic la consecințe teribile. Publicul larg a dezvoltat o noțiune a raționaliștilor ca fiind autiști, care merită ironie, deoarece iau în serios idei atât de exotice precum Baziliscul lui Roko. Și dacă primul a fost parțial adevărat, atunci cel din urmă este mai probabil că nu: de fapt, nici măcar Iudkovski nu a luat în serios basiliscul, care a reacționat la publicarea ideii basilisc în încercarea de a-i opri răspândirea ( probabil fără succes ) [19] ] .

Cu toate acestea, de la mijlocul anilor 2010, problema controlului AI și ideile raționaliștilor înșiși au devenit subiect de discuții serioase în rândul dezvoltatorilor de AI: se țin conferințe pe această temă și sunt publicate articole științifice. Cartea lui Bostrom Supermind a contribuit în mod semnificativ la răspândirea opiniilor raționaliste asupra controlului AI în rândul intelectualilor, politicienilor și antreprenorilor [28] . Așadar, Elon Musk , în acest sens, a devenit unul dintre fondatorii organizației OpenAI creată pentru a lucra la controlul AI [35] . În general, specialiștii în inteligență artificială au puncte de vedere diferite despre ideile lui Yudkowsky - de la compararea raționaliștilor cu „ pământeni plati ” până la acordul deplin, dar opinia generală este mai degrabă că, deși în stadiul istoric actual, preocuparea cu privire la moartea umanității din cauza apariției. a IA nu necesită acțiuni urgente, dar în principiu merită luate în considerare [36] .

Chiar dacă se întâmplă cândva într-un viitor îndepărtat și cu o probabilitate scăzută, posibilitatea unui rezultat foarte prost înseamnă că trebuie să ne gândim cu atenție la asta.

Text original  (engleză)[ arataascunde] Chiar dacă este ceva timp în viitorul îndepărtat și cu o probabilitate scăzută, posibilitatea unui rezultat foarte prost înseamnă că trebuie să ne gândim mai bine la asta. — Murray Shanahan [36]

Aderarea la ideile și practicile gândirii raționale promovate de raționaliști (indiferent de problema IA) și autoperfecționarea în această direcție sunt comune în rândul inteligenței tehnice americane [12] .

Ar fi mai bine dacă oamenii ar primi o recompensă socială atunci când recunosc incertitudinea în propriile lor opinii, pun la îndoială dogmele sectei lor politice și își schimbă părerea cu o schimbare a faptelor, și nu atunci când devin războinici convinși ai cabalei lor. <...> „Comunitatea raționaliștilor” se identifică prin aceste norme, dar ele ar trebui să fie obiceiuri general acceptate în întreaga societate, și nu un hobby al unui club de entuziaști.

Text original  (engleză)[ arataascunde] Ar fi frumos să-i vedem pe oameni câștigând puncte brownie pentru că recunosc incertitudinea în credințele lor, pun la îndoială dogmele sectei lor politice și își schimbă părerea atunci când faptele se schimbă, mai degrabă decât pentru că sunt războinici statornici pentru dogmele clicii lor. <...> „Comunitatea Raționalității” se identifică prin aceste norme, dar ele ar trebui să fie mai degrabă obiceiurile întregii societăți decât hobby-ul unui club de entuziaști. — Steven Pinker [37]

Câteva alte comunități și mișcări sunt asociate cu raționaliștii. În primul rând, aceștia sunt susținători ai altruismului efectiv : nu coincid complet cu comunitatea raționalistă, dar aceste grupuri se suprapun puternic [8] . De exemplu, Fundația OpenPhil a lui Holden Karnofsky a devenit un donator financiar major pentru MIRI. Deși OpenPhil se îndoiește că activitatea actuală a MIRI, sau orice lucrare în curs de desfășurare, va avea în sine un impact asupra viitoarei AI superinteligente, fundația o susține astfel încât controlul AI să se dezvolte treptat și să devină un domeniu activ, respectabil și eficient până în acel moment, când devine relevantă [35] . În plus, tocmai pe abordările raționaliștilor - o evaluare cantitativă a probabilității adevărului credințelor și predicțiilor - se bazează superprognozatorii [38] .

În 2019, jurnalistul britanic Tom Chivers a lansat The AI ​​​​Does Not Hate You ,  o carte care trece  în revistă  comunitatea raționalistă și ideile lor ( Chivers, 2019 ) [29] .

Critica

Dintre cei care aprobă și aplică metodele gândirii raționale, nu toată lumea este de acord cu viziunea raționalistă a problemei IA. Atât superprognozatorii, cât și unii altruiști eficienți văd pericolul inteligenței artificiale ca pe un meme raționalist dăunător care a reușit să se afișeze din cauza omogenității relative a comunității lor: există mulți profesioniști IT în rândul raționaliștilor și, conform acestei opinii critice, pur și simplu tind. să-și sublinieze în exces domeniul [38 ] [35] .

LessWrong a fost acuzat că este un cult sau chiar un cult sexual, potrivit superprognozatorului conservator Andrew Sabisky. Într-adevăr, există un lider carismatic (Yudkowsky), „texte sacre” (lanțuri), practici sexuale netradiționale (poliamor), ideea unei apocalipse sau a vieții eterne (singularitate tehnologică) și capacitatea de a dona bani către fi salvat (donații MIRI). Cu toate acestea, Chivers observă că, indiferent de caracteristicile formale enumerate, raționaliștii nu sunt cu siguranță un cult distructiv ; în ceea ce privește relațiile poliamoroase ceva mai frecvente decât media în societate, relația cauzală este mai degrabă inversă: raționaliștii atrag bărbați și femei care practică deja poliamor prin disponibilitatea lor de a discuta subiecte tabu (legate direct de obiceiul de a pune în discuție sistematic credințele stabilite) [32] .

Din comunitatea raționalistă a apărut o mișcare neo-reacționară conservatoare, care a fost activ disproporționat în rândul raționaliștilor, în special pe LessWrong . Acest lucru a fost posibil datorită deschiderii intelectuale, a libertății de discuție și a concentrării asupra argumentelor acceptate pe platformele de discuții raționaliste, dar suficient de rar pentru discuții în general și mai ales în spațiul online: deși oamenii neo-reacționari sunt o mică minoritate de raționaliști care sunt în general străini. la ideologia conservatoare, ideile neo-reacționare sunt discutate și sunt respinse în comunitate exclusiv în timpul discuțiilor. Această respingere fundamentală a deplatformării și a ideologiei în general , precum și dorința de precizie a formulării în detrimentul vedeniei (astfel Scott Alexander a insistat că este greșit să spunem că Donald Trump manifestă un rasism „flat”) a dus la o puternică (și reciprocă). ) antipatie față de raționaliști din partea activiștilor treziți [10] [9] [29] .

În cele din urmă, Gideon Lewis-Kraus de la The New Yorker , deși aduce un omagiu principiilor discuțiilor civilizate susținute de raționaliști, consideră că aceștia nu reușesc să adere pe deplin la aceste principii atunci când vine vorba de probleme care sunt dureroase pentru ei înșiși. În special, Lewis-Kraus consideră că susținerea de către comunitate a anonimatului lui Scott Alexander împotriva The New York Times a devenit un act politic cu drepturi depline pe fundalul unei polarizări politice tot mai mari în societatea americană [29] .

Note

  1. 1 2 Chivers, 2019 , 27 Alții câteva, și cel mai important.
  2. 1 2 Chivers, 2019 , 31 Importanța de a spune „Hopa”.
  3. 1 2 Chivers, 2019 , 18 Ce este raționalitatea?.
  4. Chivers, 2019 , 19 Teorema și optimizarea lui Bayes.
  5. Chivers, 2019 , 21 Ce este o „prejudecată”?.
  6. 1 2 3 4 Chivers, 2019 , 20 Utilitarism: taci și înmulțiți-vă.
  7. 1 2 3 Chivers, 2019 , 3 Introducing AI.
  8. 1 2 Chivers, 2019 , 38 The Effective Altruists.
  9. 1 2 Chivers, 2019 , 37 Neoreacționarii.
  10. 1 2 3 4 5 Chivers, 2019 , 36 Feminism.
  11. Chivers, 2019 , 29 Making beliefs pay rent.
  12. 1 2 3 Benjamin Wallace. Intelectualul pop favorit al elitei tehnice . Julia Galef despre aducerea mișcării raționaliste în mainstream . Revista New York (13 aprilie 2021) . Preluat la 16 august 2021. Arhivat din original la 15 august 2021.
  13. 1 2 3 4 5 6 7 8 9 10 Chivers, 2019 , 1 Introducing the Rationalists.
  14. Chivers, 2019 , 2 Înzestrarea cosmică.
  15. 1 2 Chivers, 2019 , 6 Risc existențial.
  16. Chivers, 2019 , 8 Paperclips și Mickey Mouse.
  17. 1 2 Chivers, 2019 , 9 Poți fi inteligent și totuși vrei să faci lucruri stupide.
  18. 1 2 3 Chivers, 2019 , 13 Devenind mai bine tot timpul.
  19. 1 2 3 Chivers, 2019 , 10 Dacă vrei să-ți atingi obiectivele, a nu muri este un început bun.
  20. Chivers, 2019 , 11 Dacă nu-mi mai pese de șah, asta nu mă va ajuta să câștig niciun joc de șah, nu-i așa?
  21. Chivers, 2019 , 7 Sonda rachetei criptografice și de ce trebuie să o faci corect prima dată.
  22. Chivers, 2019 , 17 „Este ca și cum 100% sigur că acesta este un struț”.
  23. Chivers, 2019 , 15 Dar nu putem să-l păstrăm pur și simplu într-o cutie?.
  24. 1 2 Chivers, 2019 , 12 The short window of being human-level.
  25. Chivers, 2019 , 14 'FOOOOOOM'.
  26. Chivers, 2019 , 5 Când se va întâmpla?.
  27. 1 2 3 4 5 6 Chivers, 2019 , 32 Semi-moartea lui LessWrong.
  28. 1 2 Chivers, 2019 , 40 Ce fac ei pentru a opri apocalipsa AI?.
  29. 1 2 3 4 5 6 7 Gideon Lewis-Kraus. Slate Star Codex și războiul din Silicon Valley împotriva mass-media . The New Yorker (9 iulie 2020). Preluat la 21 iunie 2021. Arhivat din original la 10 iulie 2020.
  30. 1 2 Robby Soave. Ce spune articolul de succes al The New York Times despre Slate Star Codex despre Media Gatekeeping . Motivul (15 februarie 2021). Preluat la 7 iulie 2021. Arhivat din original la 9 iulie 2021.
  31. Cade Metz. Spațiul sigur al Silicon Valley . The New York Times (13 februarie 2021). Preluat la 21 iunie 2021. Arhivat din original la 20 aprilie 2021.
  32. 1 2 3 Chivers, 2019 , 34 Sunt un cult?.
  33. 1 2 Chivers, 2019 , 33 Comunitatea IRL.
  34. Vyacheslav Matyukhin - Raționalitatea: cum să iei decizii mai bune . RationalAnswer (12 aprilie 2021). Preluat la 20 august 2021. Arhivat din original la 20 august 2021.
  35. 1 2 3 Chivers, 2019 , 39 EA și AI.
  36. 1 2 Chivers, 2019 , 16 Visat în filosofia ta.
  37. Steven Pinker. Reafirmarea raționalității // Raționalitatea. Ce este, de ce pare rar, de ce contează. - Viking, 2021. - ISBN 9780525562009 .
  38. 1 2 Chivers, 2019 , 28 Gândirea probabilistică.

Literatură

Link -uri