Studii preînregistrate

Studiu de pre  -înregistrare ( studiu de pre-înregistrare [1] Arhivat 17 ianuarie 2018 la Wayback Machine) sunt o formă de cercetare în care metodele și analiza propusă a rezultatelor sunt preînregistrate și revizuite de colegi ca articol empiric de jurnal, înainte de efectuarea studiului și colectarea datelor. Protocoalele de studii de înaltă calitate care îndeplinesc standardele științifice sunt aprobate pentru publicare. După aprobarea protocolului, datele sunt colectate în conformitate cu procedura declarată și versiunea finală a articolului, indiferent de rezultate, este publicată în jurnal. Acest tip de cercetare evită unele dintre distorsiunile care apar la publicarea cercetării științifice (de exemplu, părtinirea publicării [2] Arhivată la 1 martie 2020 pe Wayback Machine sau p-hacking [3] Copie arhivată16 decembrie 2017 la Wayback Machine ). Citiți mai multe despre studiile preînregistrate aici [4] Arhivat 13 ianuarie 2018 la Wayback Machine .

Elemente necesare

Atunci când efectuează un studiu convențional, autorii efectuează mai întâi toate procedurile, apoi sunt descrise și trimise revistei pentru revizuire.

Pentru ca un tip de articol să se califice drept studiu preînregistrat, politica revistei trebuie să includă cel puțin următoarele:

  1. Înainte de experiment, se efectuează o evaluare de specialitate.
  2. Manuscrisele care trec revizuirea preliminară primesc aprobare de principiu pentru publicare, care nu va fi anulată pe baza rezultatelor studiului, iar refuzul publicării poate apărea fie ca urmare a unui eșec în asigurarea calității, fie a abaterilor de la protocolul înregistrat, sau din cauza unor probleme nerezolvabile cu transparența.sau stilul de raportare.

Aplicații

Domenii științifice în care se efectuează cercetări, în format de cercetare preînregistrată: psihologie , biologie , neuroștiințe , medicină , economie , ecologie , lingvistică , politică și altele.

Etape de realizare

Etapa 1 - Pregătirea manuscrisului pentru preînregistrare și depunerea unei cereri

Autorii studiilor pre-înregistrate trimit inițial manuscrisul din prima etapă revistei pentru revizuire inițială. În această etapă, manuscrisul ar trebui să conțină secțiuni: „introducere”, „metode” (inclusiv metodele planificate de prelucrare statistică). De asemenea, puteți atașa rezultatele experimentelor pilot (dacă au fost efectuate astfel de experimente).

Etapa 2 - Revizuirea și obținerea acordului de principiu

După ce protocolul este evaluat de editori și recenzori, manuscrisul este corectat în conformitate cu recenziile și trimis spre examinare. Procesul de revizuire durează în medie 9 săptămâni. Pe baza rezultatelor revizuirii, dacă studiul îndeplinește standardele științifice, autorul primește acceptarea principală pentru publicare. Aceasta înseamnă că publicația revistei este practic garantată dacă autorii efectuează experimentul în conformitate cu protocolul aprobat. După obținerea acordului de principiu, autorul poate continua cu implementarea experimentului.

Etapa 3 - Colectarea datelor și trimiterea articolului final pentru reevaluare

După ce datele sunt colectate, manuscrisul, inclusiv „introducerea” și „metodele” din manuscrisul original, precum și „rezultatele” și „discuția”, este trimis pentru evaluare secundară inter pares pentru a verifica dacă planurile corespund rezultatului. . Secțiunea „rezultate” include rezultatele analizelor pre-înregistrate, împreună cu orice analize suplimentare neînregistrate într-o secțiune separată intitulată „analiza exploratorie”. Autorii trebuie, de asemenea, să-și furnizeze datele într-o arhivă disponibilă public (de exemplu , Open Science Framework (OSF) arhivată la 11 martie 2022 pe Wayback Machine sau Figshare ).

Etapa 4 - Publicare

După evaluarea manuscrisului final de către editori și recenzori, articolul este publicat în jurnal. Astfel, un studiu pre-înregistrat publicat va arăta foarte asemănător cu un studiu standard, dar cititorii vor avea încredere că ipotezele și metodele de analiză care stau la baza nu conțin practici de cercetare îndoielnice.

Beneficiile cercetării preînregistrate

Studiile pre-înregistrate evidențiază importanța întrebării de cercetare și calitatea metodologiei prin efectuarea unei evaluări inter pares înainte de colectarea datelor. Protocoalele de înaltă calitate sunt acceptate pentru publicare în mod preliminar dacă autorii respectă metodologia înregistrată.

Daniel Simons, profesor la Universitatea din Illinois, Urbana-Champaign, co-editor al Studiilor replicate pre-înregistrate la Perspectives on Psychological Science și nou redactor-șef al Advances in Methods and Practice in Psychological Science Practices in Psychological Science a remarcat că, „Studiile pre-înregistrate elimină părtinirea rezultatelor nedorite la publicare, deoarece rezultatele nu sunt cunoscute la momentul revizuirii”. [unu]

Chris Chambers, profesor la Universitatea Cardiff, editor de secție pentru Cercetare pre-înregistrată la Cortex, Jurnalul European de Neurologie și Royal Open Science Society, președinte al Comitetului de cercetare pre-înregistrat susținut de Open Science Center, a spus următoarele: istorie frumoasă la cea mai exactă.” [2]

Beneficiu

  • Jurnalele câștigă publicând lucrări de ultimă oră și reproductibile în mod evident. Aceste criterii sunt greu de realizat într-un singur document publicat prin mijloace convenționale.
  • Sponsorii beneficiază de susținerea unei game de proiecte care sunt aproape garantate a fi publicate într-un jurnal de renume, eliminând părtinirea publicării și maximizând transparența. Acest mecanism asigură, de asemenea, că munca este realizată mai corect, cu sprijinul sponsorului; și poate crește, de asemenea, eficiența administrativă pentru sponsor, în care procesul de revizuire este cel puțin parțial gestionat de jurnal (sponsorul păstrând un rol major în a decide ce lucrare să susțină). După examinarea simultană atât de către sponsor, cât și de către jurnal, cele mai puternice propuneri primesc sprijin financiar din partea sponsorului și acordul de principiu să fie publicat de jurnal.
  • Autorii beneficiază de faptul că publicațiile lor sunt acceptate de o revistă respectată înainte de cercetare și printr-un mecanism care nu numai că minimizează părtinirea cercetătorilor, dar elimină stimulentul pentru autori de a publica părtinirea [5] Arhivat la 1 martie 2020 la Wayback Machine . Prin urmare, lucrările sunt susceptibile să fie informative și bine citate.
  • Comunitatea științifică beneficiază de o creștere a cercetării oportune, relevante, transparente și reproductibile.

Alte beneficii

  • Formatul de cercetare pre-înregistrat respectă modelul ipotetic-deductiv al metodei științifice și exclude diferite metode de cercetare discutabile, inclusiv puterea statistică scăzută , raportarea selectivă a rezultatelor și prejudecată de publicare [6] Arhivat la 1 martie 2020 la Wayback Machine , în timp ce permițând analize pilot gratuite (neînregistrate) și raportarea rezultatelor.
  • Stimularea replicărilor directe. Replicațiile pot fi costisitoare și pot oferi puține beneficii carierei scriitorilor. Pentru ca replicarea directă să fie credibilă, este adesea necesar un eșantion mult mai mare decât în ​​studiul original și, odată ce replicarea este completă, studiul poate fi dificil de publicat, deoarece multe reviste îl resping indiferent de rezultate. Până când pre-publicarea nu va fi asigurată, nu va avea niciun sens strategic ca oamenii de știință să efectueze replicări directe. În cazul studiilor preînregistrate, obținerea acordului în principiu oferă încredere în publicare și, astfel, oferă oamenilor de știință cel mai puternic stimulent pentru a reproduce direct lucrările anterioare.
  • Publicarea tuturor rezultatelor. Deoarece studiile pre-înregistrate nu sunt supuse prejudiciului de publicare, ele asigură publicarea cercetărilor de înaltă calitate, indiferent de rezultat. Aceasta înseamnă că autorii pot publica fiecare experiment calitativ, mai degrabă decât să publice selectiv studii care au arătat rezultate pozitive.
  • Îmbunătățirea reproductibilității studiilor. Deoarece studiile pre-înregistrate neutralizează diverse metode de cercetare discutabile, cum ar fi p-hacking [7] Arhivat 16 decembrie 2017 la Wayback Machine și puterea statistică scăzută , este probabil ca rezultatele unor astfel de studii să fie, în medie, mai reproductibile decât în rezultatele cercetărilor de rutină. Acest lucru, la rândul său, va ajuta la construirea reputației oamenilor de știință participanți ca generatori de încredere de cunoștințe.

Distingerea studiilor preînregistrate de alte formate

Diferența dintre studiile pre-înregistrate și studiile clinice

Formatul de studiu pre-înregistrat se aplică atât studiilor clinice, cât și non-clinice și depășește înregistrarea studiilor clinice.

  • În primul rând, în cazul studiilor preînregistrate, procesul de evaluare inter pares este continuu din prima etapă până la publicarea rezultatelor, ceea ce asigură fidelitatea autorilor protocolului înregistrat. Acest lucru este deosebit de important, având în vedere că doar 1 din 3 evaluatori ai studiilor clinice compară protocoalele originale ale autorilor cu manuscrisele finale trimise (Matieu, Chan și Ravaud, 2013) [ 8] Arhivat la 11 martie 2022 la Wayback Machine .
  • În al doilea rând, spre deosebire de studiile preînregistrate, majoritatea formularelor de înregistrare a studiilor clinice (de exemplu, clinicaltrials.gov) [9] Arhivate la 18 decembrie 2020 pe Wayback Machine nu revizuiesc protocoalele de studiu, ceea ce permite autorilor (chiar și în mod inconștient) [10 ] Arhivat 4 martie 2021 la Wayback Machine pentru a lăsa suficient spațiu de operare în metodele sau testele propuse pentru a reprezenta în mod selectiv rezultatele dorite (John Levenstein, & Prelec, 2011) [ 11] Arhivat 9 septembrie 2017 la Wayback Machine sau pentru a schimba ipotezele a priori după rezultate a devenit cunoscut (Kerr, 1998) [12] Arhivat 2 decembrie 2017 la Wayback Machine .
  • În al treilea rând, chiar și în acele cazuri limitate în care jurnalele revizuiesc și publică rapoarte de testare inițiale (de exemplu, The Lancet [13] Arhivat la 13 decembrie 2017 la Wayback Machine , protocolul BMC [14] Arhivat la 29 decembrie 2017 la Wayback Machine ), niciunul dintre aceste formate oferă orice garanție că rezultatele finale vor fi publicate în jurnal. Aceste caracteristici ale formatului de studiu pre-înregistrat îl deosebesc de sistemele existente pentru preînregistrarea studiilor clinice.

Diferența dintre evaluarea inter pares a protocoalelor de studii pre-înregistrate și evaluarea inter pares a protocoalelor de studii finanțate prin grant

În ambele cazuri, protocolul de studiu este supus revizuirii preliminare, dar există și câteva diferențe între aceste tipuri de revizuire:

  • Evaluările protocoalelor din studiile finanțate prin grant includ de obicei doar o descriere generală sau aproximativă a metodelor care urmează să fie utilizate, în timp ce prima etapă a studiilor pre-înregistrate include un raport pas cu pas al procedurilor experimentale și al planului de analiză.
  • Protocoalele de cercetare finanțate prin granturi sunt rareori publicate și adesea deviate de la cercetători.
  • Cercetarea pre-înregistrată este pentru toate opțiunile de cercetare, nu doar pentru cercetare finanțată prin granturi.

Lista revistelor

În prezent, 88 de reviste utilizează formatul de studiu preînregistrat, fie ca modalitate obișnuită de prezentare a rezultatelor, fie ca un singur număr special. Alte reviste oferă unele caracteristici de format. O listă actualizată regulat poate fi vizualizată aici în fila „Jurnalele participante” [15] Arhivată 13 ianuarie 2018 la Wayback Machine . Un tabel care compară caracteristicile studiilor preînregistrate în diferite reviste este disponibil aici [16] Arhivat 7 iunie 2019 la Wayback Machine .

Restricții

Nu este un panaceu pentru toate domeniile științei [17] Arhivat 20 octombrie 2017 la Wayback Machine

Formatul de cercetare preînregistrat nu a fost propus ca un „panaceu” pentru toate domeniile științei. Acest model este potrivit pentru orice zonă în care există:

  • prejudecată de publicare [18] Arhivată la 1 martie 2020 la Wayback Machine (reviste publică selectiv rezultate semnificative statistic sau care conțin rezultate dorite)
  • p-hacking [19] Arhivat 16 decembrie 2017 la Wayback Machine (în studiile în care concluziile depind de metodele de procesare statistică alese, cercetătorii raportează selectiv rezultate semnificative statistic)
  • HARKing (schimbarea ipotezei inițiale după ce rezultatele sunt cunoscute)
  • putere statistică scăzută (dimensiunea eșantionului insuficientă pentru a detecta un efect real. Puterea statistică insuficientă nu numai că reduce șansa de a găsi un efect, dar reduce și șansa ca efectul observat să existe cu adevărat)
  • lipsa replicării directe (număr insuficient de studii menite să stabilească reproductibilitatea, prin repetarea cât mai atentă a metodelor experimentelor anterioare). Dacă nici una dintre aceste probleme nu există în zonă sau dacă abordarea utilizată nu este bazată pe ipoteze, atunci modelul de studiu preînregistrat nu oferă niciun avantaj.

Lucrări suplimentare pentru recenzenți

Evaluarea inter pares conform modelului de cercetare pre-înregistrat este mai amănunțită decât evaluarea inter pares obișnuită. Însă, în procesul obișnuit de revizuire de către colegi, manuscrisele sunt adesea respinse în mod constant de mai multe reviste, trecând prin mulți recenzori înainte ca o revistă să fie găsită pentru a publica articolul. Prin aplicarea modelului de studiu pre-înregistrat, există cel puțin două probleme care duc la o astfel de respingere sistematică și, prin urmare, la o povară suplimentară pentru recenzori. În primul rând, editorii și recenzorii manuscrisului din prima etapă au posibilitatea de a ajuta autorii să corecteze deficiențele metodologice înainte de a începe colectarea datelor. În al doilea rând, deoarece publicarea unui articol nu poate fi respinsă din cauza rezultatului, acest lucru evită motivul comun al respingerii obișnuite: acela că rezultatele nu sunt considerate suficient de noi sau inovatoare. În general, volumul de muncă general al unui evaluator în cadrul modelului de cercetare preînregistrat este aproximativ același cu cel al unei publicații obișnuite.

De exemplu, într-un studiu tipic, un articol este trimis la patru reviste succesive, iar primele trei reviste îl resping după trei recenzii. Al patrulea jurnal acceptă manuscrisul după 3 recenzii și 3 revizuiri. În total, manuscrisul va vedea până la 12 recenzenți și va trece prin 15 runde de evaluare inter pares. Acum luați în considerare ce s-ar fi putut întâmpla dacă studiul ar fi fost depus înainte de colectarea datelor ca primă fază a unui studiu pre-înregistrat cu trei revizuiri. Chiar dacă trece prin trei runde de revizuire în prima etapă plus două runde de revizuire în a doua etapă, volumul total de lucru al evaluatorului (15 runde) este același cu modelul obișnuit (15 runde).

Recenziatorii pot „fura” ideile autorilor în prima rundă de evaluare inter pares

O astfel de posibilitate există, deși este foarte puțin probabilă. Doar un grup restrâns de oameni vor fi conștienți de ideile prezentate în manuscris în prima etapă, inclusiv editori și un mic set de recenzori; În plus, manuscrisul de faza 1 nu va fi publicat până la finalizarea studiului. După obținerea aprobării de principiu pentru publicare, revista nu poate respinge articolul în a doua etapă finală a evaluării inter pares, pe baza faptului că o lucrare similară a fost publicată în altă parte. Prin urmare, chiar și în cazul improbabil în care recenzentul poate finaliza preînregistrarea proiectului înaintea autorilor, o astfel de strategie nu va oferi prea mult avantaj carierei infractorului (mai ales că în articolul publicat data depunerii protocolului la prima etapă de revizuire va precede data depunerii protocolului la prima etapă de revizuire de către concurent).

Înregistrarea protocolului unui studiu deja efectuat

În formatul actual al încercărilor preînregistrate, ar fi frauduloasă încercarea de a înregistra un protocol de încercare care a fost deja finalizat. Întrucât, atunci când autorii depun manuscrisul în a doua etapă, este necesar să se atașeze acestuia un jurnal de laborator, care să indice intervalul de date în care au fost colectate datele. Toți autorii trebuie, de asemenea, să certifice că datele furnizate nu au fost colectate înainte de momentul în care a fost obținut consimțământul de principiu pentru publicare (altele decât datele pilot incluse în prezentarea fazei 1).

Note

  1. Daniel Simons, profesor la Universitatea din Illinois, Urbana-Champaign, co-editor al Registered Replication Reports la Perspectives on Psychological Science, și nou editor șef al Advances in Methods and Practices in Psychological Science. „Rapoartele înregistrate elimină părtinirea față de rezultatele negative în publicare, deoarece rezultatele nu sunt cunoscute la momentul revizuirii.” . https://cos.io/rr/ . Preluat la 26 decembrie 2017. Arhivat din original la 13 ianuarie 2018.
  2. Chris Chambers, profesor la Universitatea Cardiff, editor de secție pentru rapoarte înregistrate la Cortex, Jurnalul European de Neuroscience și Royal Society Open Science, președinte al Comitetului pentru rapoarte înregistrate susținut de Centrul pentru Știință Deschisă. „Deoarece studiul este acceptat în avans, stimulentele pentru autori se schimbă de la producerea celei mai frumoase povești la cea mai exactă”. . https://cos.io/rr/ . Consultat la 26 decembrie 2017. Arhivat din original la 13 ianuarie 2018.