Več znanstvenih objav, več znanja?

Foto: Alex Block via Unsplash.

V znanosti imamo problem. Sistem, ki se je razvil v daljšem časovnem obdobju objavljanja raziskav, vodi v slabo znanost. Naj začnem s posplošeno predstavitvijo dela sodobne raziskovalke ali raziskovalca. Na začetku se kot nadobudna raziskovalka in raziskovalec dobro seznaniš s področjem raziskovanja, ki te zanima. Zatem se ponavadi odprejo nova in nova vprašanja, na katera upaš, da je mogoče odgovoriti. Najprej na podlagi že pridobljenega znanja iz doslej objavljenih raziskav oblikuješ vprašanja in zastaviš hipoteze, ki jih je mogoče preverjati. Za preverbo hipotez uporabiš že znane metode ali oblikuješ nove in zbiraš podatke. Te potem praviloma s statistično analizo obdelaš in dobiš rezultate, ki bodisi kažejo v prid tvoje hipoteze bodisi jo zavračajo. Nato pridobljene rezultate ovrednotiš v razpravi in jih povežeš s pred tem znanimi dejstvi in razviješ nova vprašanja in zamisli za dodatne raziskave.

Sledi objava v znanstveni reviji. Te največkrat objavijo rezultate, ki hipoteze potrjujejo, redkeje pa tiste, ki jih zavračajo ali potrjujejo ničelno hipotezo.

Negativni rezultati ponavadi ne prinesejo prestižne publikacije v eni izmed večjih znanstvenih revij. V najbolj prestižnih revijah obstaja še ena pristranskost: raje objavljajo raziskave z novimi, a uspešno potrjenimi hipotezami. Če nimaš objav v prestižnih, visoko rangiranih znanstvenih revijah, je tudi težko graditi svojo kariero ne glede na kvaliteto tvojega raziskovalnega dela.

Kvantiteta je pač pred kvaliteto in to sistem znanosti omogoča zaradi načina, kako lahko posamezna raziskovalka ali raziskovalec napreduje vse do oblikovanja svoje raziskovalne skupine. Prednost seveda dobijo tiste raziskovalke in raziskovalci z več objavami v čim višje rangiranih znanstvenih revijah. Zato so mladi prisiljeni v intenzivno objavljanje tovrstnih del.

Ko so v raziskavi preučili statistične podatke o raziskovalkah in raziskovalcih na začetku kariere, ki so jih zaposlili v francoskem nacionalnem centru za znanstvene raziskave na področju evolucijske biologije med letoma 2005 in 2013, so odkrili povečevanje povprečnega števila objav v obdobju, ko so se te znanstvenice in znanstveniki zaposlile in zaposlili pri njih. Na novo zaposleni biologi in biologinje so v letu 2013 v povprečju objavili po 22 člankov, kar je skoraj dvakrat več objav kot tisti, ki so se pri njih zaposlili pred desetimi leti. Slednji so leta 2005 imeli v povprečju 12 in pol objav.

Ena izmed številskih metrik, po katerih merijo objave raziskovalk in raziskovalcev, je h-indeks, to je največje število člankov posameznice ali posameznika z vsaj h številom citatov. To metriko je seveda mogoče tudi zlorabiti: nemalo raziskovalk in raziskovalcev citira samega sebe, kar niti ni tako nenavadno, saj neka raziskovalna skupina poglobljeno raziskuje določeno področje. A v primerih, ko ta objavlja več manj kvalitetnih del, lahko h-indeks naraste zgolj zaradi števila objav in ne zaradi njihove kakovosti. Skrajni primer izrabe h-indeksa so raziskovalci in raziskovalke pokazali s primerom, ko je neka skupina ustvarila šest ponarejenih člankov pod izmišljenim avtorstvom, v katerih so citirali svoja že objavljena dela. Na primeru številčnih metrik se vidi, kako lahko kvantitativna ocena postane predmet zlorabe, še posebej, ko je namenjena oceni vedenja in uspešnosti posameznic in posameznikov. Povedano drugače: ‘ko meritev postane tarča, to ni več dobra meritev’.

O težavah s številskimi metrikami je govoril že filozof Donald Campbell, ki je opozoril na to, da bolj ko številsko metriko uporabljajo za sprejemanje odločitev o družbi, prej se pokvari, skupaj z družbenimi procesi, ki naj bi jih s to metriko merili. V znanosti torej, kjer nagrajujejo število objav, pač znanstveniki in znanstvenice uporabljajo tudi metode z objavljanjem čim večjega števila objavljenih znanstvenih člankov, a to niso nujno tudi najbolj rigorozne/stroge/trdne raziskave.

V znanstveni sferi se tako razvija tekmovanje za vire: denar za raziskave. Podobno tekmovanje lahko vidimo med populacijami različnih vrst tudi v naravi.

Vrste se skozi čas spreminjajo ali razvijajo. Opazujemo lahko proces naravne evolucije, za katerega so potrebni trije pogoji. V populaciji posameznih organizmov mora obstajati določena raven variabilnosti ali raznolikosti, ki mora imeti posledice za preživetje in razmnoževanje, ta variabilnost pa mora biti dedna.

Tudi med raziskovalnimi skupinami je očitna raznolikost. Izkazuje se tudi s tem, kako uspešna je posamezna skupina pri objavljanju znanstvenih člankov, kar je tudi povezano s tem, kako uspešna bo ta skupina pri pridobivanju sredstev za svoje raziskovanje. Način, na katerega določena skupina deluje in je lahko uspešna pri objavah in pridobivanju sredstev za svoje delo, se tudi prenaša na druge kasneje ustanovljene skupine, katerih vodje so raziskovalke in raziskovalci, ki izhajajo iz raziskovalnih skupin, ki so oziroma so bile v preteklosti uspešne glede na število objav in pridobivanje denarnih sredstev.

Raziskovalca Paul E. Smaldino in Richard McElreath sta omenjene procese poskušala opisati z matematičnim modelom. V njem so posamezne raziskovalne skupine ali laboratoriji tekmovali in se spreminjali skozi čas ali se razvijali. Kot merilo uspešnosti skupine se nista oprla na pridobivanje denarnih sredstev, ampak sta se usmerila na število objav posamezne raziskovalne skupine. V modelu sta predvidela naslednje: vsak laboratorij je imel karakteristično moč ali sposobnost pozitivne identifikacije povezave med podatki. Povišana moč zviša raven napačnih pozitivnih rezultatov, pod pogojem, da raziskovalna skupina ni vložila dovolj truda v raziskave. Ko je vloženega več truda, raziskave trajajo dalj časa, zato se produktivnost, ki se meri s številom objav, zniža. Raziskovalne skupine so se razlikovale glede na to, kakšno statistično moč so vključile v raziskavo, trud, vložen v raziskavo, vpliv truda na produktivnost, verjetnost potrjene hipoteze, napačno potrjene hipoteze, povračilo za objavo novih rezultatov, za pozitivno ponovitev, za negativno ponovitev, za ponovitev novega odkritja in za neuspešno ponovitev novega odkritja.

Po oblikovanju in definiranju matematičnega modela je potekla simulacija, ki je pokazala, da se s časom trud raziskovalnih skupin zmanjšuje pri tem narašča število objavljenih napačno pozitivnih rezultatov. Trud in napačni pozitivni rezultati so torej v obratnem sorazmerju in sam sistem znanosti vodi v manj izkazanega truda s strani raziskovalk in raziskovalcev, vodi v poslabšanje metod in hitenje z objavami, pri katerih pogosteje prihaja do napačno potrjenih hipotez.

Čar opisanega modela je, da prikaže, kako ni nujno, da imamo v znanosti zlobne in goljufive znanstvenice in znanstvenike, ki se ne trudijo delati dobre znanosti in zanalašč goljufajo, ampak da v slabo znanost vodijo pritiski, ki so jim podvržene raziskovalne skupine.

Tekmovanje za čim več objav in s tem povezano pridobivanje sredstev vodi v manj truda, vloženega v raziskave, izbiro uporabe slabših in neprimernih metod ter objavljanje nezanesljivih rezultatov. Sistem torej vodi v slabo znanost.

Raziskovalca z modelom pokažeta tudi, da sama replikacija že objavljenih raziskav situacije ne bo izboljšala, ampak potrebujemo sistemske spremembe. V znanosti moramo tako uvesti način, ki zajame več vidikov kvalitete posamezne znanstvenice ali znanstvenika in se ne opira le na številske metrike, povezane s številom in citiranostjo objav.

Seveda je model poenostavil kompleksen problem, o katerem se veliko govori v znanosti in zaradi katerega znanost tudi izgublja zaupanje javnosti. Vseeno je dovolj kompleksen, da lahko pokaže neke trende znotraj znanosti v celoti in predlaga sistemske rešitve. Trenutno je na žalost vse odvisno od etične drže in želje raziskovalke in raziskovalca po čim bolj kvalitetnih raziskavah, ki morda tudi ne vodijo v tako veliko število odmevnih objav v znanstvenih revijah. A hiperprodukcijo znanstvenih raziskav in objav očitno podpira sistem, v katerega je vpeta znanost. Ta sistem je potrebno vedno znova postaviti pod vprašaj ter se boriti za spremembe.

Ena izmed možnih rešitev je pred-registracija hipotez in metod. To se zgodi še pred začetkom zbiranja podatkov. V tem primeru lahko druge raziskovalke in raziskovalci že vnaprej dodajo komentarje in predlagajo izboljšanje samih metod, ki naj bi jih uporabili v raziskavi. Obenem pa znanstvene revije že zagotavljajo vnaprejšnjo objavo teh raziskav, ne glede na to, ali bo raziskava imela pozitivne ali negativne rezultate. S pred-registracijo naj bi se že zviševalo število objav negativnih rezultatov. Poleg tega se v znanosti zvišujejo tudi standardi za transparentnost, odprtost in ponovljivost znanstvenih raziskav. Vedno več znanstvenic in znanstvenikov svoje podatke, metode, programe in objavljena dela objavlja na različnih odprtih repozitorijih. Odprta znanost naj bi po mnenjih nekaterih znanstvenic in znanstvenikov vodila tudi v več sodelovanja med raziskovalnimi skupinami in tako tudi spodbudila raziskovalno ustvarjalnost.

Vseeno bodo morali za večje sistemske spremembe stopiti skupaj vsi, ki so tako ali drugače povezani z znanostjo: raziskovalke in raziskovalci, univerze, raziskovalne inštitucije, agencije, ki financirajo znanost, ter nenazadnje založniki. Samo sodelovanje lahko premaga trenutno tekmovanje v podivjanem svetu slabe znanosti, kar bo, upam, na dolgi rok pripomoglo tudi k zvišanju zaupanja javnosti v znanost.

 

O financiranju znanosti in hiperprodukciji znanstvenih raziskav bomo govorili tudi na prireditvi v okviru 50-letnice Radia Študent v četrtek, 25. aprila v Atriju ZRC. Ob 14:00 se bo odvila okrogla miza o financiranju znanosti v Sloveniji, ob 16:00 pa sledi pogovor o znanstveni integriteti v času hiperprodukcije. V imenu znanstvene redakcije Radia Študent vas lepo vabim, da se prireditve udeležite.

Če vas znanost zanima in ste željni dnevnih novic iz sveta znanosti, daljših znanstvenih oddaj ter prispevkov o znanosti, nam lahko sledite na spletni strani Radia Študent, Facebook strani naše redakcije ali na twitterju @znanostRS.