Zakaj brez odprtih metapodatkov raziskave niso ponovno uporabne

Foto: Markus SPiske via Unsplash.

Prejšnjič sem v rubriki #odprimoznanost obravnavala deljenje raziskovalnih podatkov po načelih FAIR, pri čemer sem večkrat omenila metapodatke, ki so pomembni za najdljivost podatkov, predvsem pa so ključni za zagotavljanje ponovne uporabnosti raziskav. Tudi v situacijah, ko samih podatkov ne moremo deliti odprto, je ključno, da so odprti vsaj metapodatki in da so ti čim bolj bogati. Zakaj?

Vsaka raziskava nastane v nekem kontekstu, ki ga je treba razumeti, da lahko podatke ponovno uporabimo. Ta kontekst so metapodatki.

Metapodatki nam povedo, kdo je avtor raziskave in kdo so bili drugi sodelujoči, kdo jo je finančno podprl, pod kakšnimi pogoji jo lahko ponovno uporabimo, časovno pokritje, enote analize, način zbiranja podatkov, uporabljeni instrument, itd. Pomembno je, da dokumentacija tudi čim več podrobnosti o metodologiji raziskave. Brez tega rezultatov ne moremo ustrezno interpretirati.

Odprtost metodologije je pomembna predvsem pri meta-analizah in v primerjalnem raziskovanju. Meta-analiza je oblika statistične analize, ki združuje rezultate več znanstvenih študij, ki naslavljajo isto raziskovalno vprašanje. Navadno se pripravi na podlagi sistematičnega pregleda preteklih raziskav, vendar so uporabne le tiste, ki ustrezajo določenim kriterijem. Študij seveda ne moremo kombinirati, če ne poznamo njihove metodologije in drugih relevantnih metapodatkov.

Podobno velja tudi za primerjalno raziskovanje, kjer gre za primerjavo pojavov med različnimi državami ali kulturami. Če gre pri meta-analizi za proučevanje iste spremenljivke na (vsaj teoretično) isti populaciji, gre tu za primerjavo iste spremenljivke na različnih populacijah. Pri primerjalnem raziskovanju je zato ključno, da se v različnih državah uporabljajo enake metode in merski instrumenti, kar ni enostavno zagotoviti.

V zadnjem času to omejitev primerjalnega raziskovanja pogosto opažam pri poročanju o rezultatih študij o razširjenosti nove koronavirusne bolezni, kot je npr. slovenska Nacionalna raziskava o razširjenosti COVID-19. Ko našo raziskavo primerjamo s podobnimi raziskavami v tujini, se je treba zavedati, da se metodologije razlikujejo in zato rezultati niso direktno primerljivi. Različne države namreč uporabljajo različne postopke vzorčenja in različne vrste testiranja.

Ko že omenjam nacionalno raziskavo o razširjenosti COVID-19, je žal to tudi primer pomanjkanja podrobnosti metodologije (specifičnosti in občutljivosti testov), kar sta pred dvema tednoma v prispevku o testih prisotnosti protiteles izpostavila Zarja Muršič in Andrej Srakar. Raziskava sicer ni zaključena, vendar so bili preliminarni rezultati predstavljeni, zato bi morala biti javnost seznanjena tudi s podrobnostmi metodologije. Zlasti zato, ker gre za raziskavo financirano iz javnih sredstev. Odprtost izvajanja raziskovalnega dela je opredeljena tudi v Etičnem kodeksu za raziskovalce Univerze v Ljubljani.

Raziskovalec ob upoštevanju morebitnih zahtev zaupnosti z drugimi raziskovalci odprto deli podatke, rezultate ideje, orodja in vire ter sprejema kritike in nove ideje (Etični kodeks za raziskovalce UL).

Ob rezultatih bi moral biti to zadnji rok za objavo metodologije in drugih metapodatkov, idealno pa se o tem poroča že prej. Raziskovalci imajo možnost predregistrirati svoje raziskave, kar je v Evropski uniji na področju kliničnih raziskav celo obvezno, vendar predregistrirani protokoli niso (nujno) javni. 

V okviru gibanja za odprto znanost pa se uveljavlja še ena oblika predregistracije in sicer registrirana poročila, ki jih v lanskem prispevku o hiperprodukciji znanstvenih člankov na Metini listi omenila Zarja Muršič. Gre za recenzentski pregled raziskovalnih protokolov, ki ga ponuja že več kot dvesto revij. Na seznamu je veliko revij s področja psihologije, kjer se predregistracija med raziskovalci najhitreje uveljavlja. Do recenzije protokola pride že pred izvedbo raziskave, zato odločitev o objavi ni več odvisna od rezultatov raziskave, kar vodi v manj potvarjanj rezultatov raziskav in drugih neetičnih praks raziskovalcev.

Predregistracija raziskav med raziskovalci v Sloveniji – vsaj po mojih opažanjih – zaenkrat še ni razširjena. Sama nameravam ta postopek preizkusiti za katero od naslednjih raziskav. Če ima kdo od bralcev izkušnje s tem, bom vesela povratne informacije.