Znanstveniki v vrtincu citiranja

Pred približno sto leti je Ernest Rutherford, ki velja za očeta atomske fizike, sprožil polemiko z izjavo, da se znanost deli na dve kategoriji, na fiziko in zbiranje znamk. Provokativno trditev vplivnega znanstvenika bi danes lahko preoblikovali v še bistveno bolj skrb vzbujajoče spoznanje: znanost je bodisi zbiranje točk bodisi je obsojena na to, da ostane neopažena. Raziskovalci po vsem svetu so prisiljeni v hiperprodukcijo člankov, za katere morajo poskrbeti tudi, da so čim bolj citirani, sicer nimajo možnosti, da postanejo prepoznavni na svojem raziskovalnem področju.

Prav zato, ker je štetje objavljenih publikacij in zbranih citatov tako pomembno za kariero akademskih znanstvenikov, so začeli nekateri raziskovalci postopke zbiranja citatov in objavljanja člankov podrobneje preučevati. Novo raziskovalno področje so poimenovali »znanost o znanosti«, izvajajo pa predvsem podrobne statistične analize velikih zbirk znanstvenih objav.

Inflacija znanosti

Čeprav imamo danes na voljo bistveno več podatkov, je fizik in zgodovinar znanosti Derek de Solla Price že leta 1963 analiziral trende naraščanja števila znanstvenih razprav in prišel do zaključka, da bomo prej ali slej priča zlomu sistema. Ugotovil je namreč, da število znanstvenikov in njihovih del eksponentno narašča že 250 let, kar se mu je zdelo nevzdržno. Napovedal je, da bomo čez nekaj generacij prišli do stanja, ko bomo imeli v povprečju po dva znanstvenika na družino. Že pred pol stoletja je predvidel, da se bo morala znanost iz stanja eksponentne rasti preoblikovati v nekaj radikalno drugačnega, če bo želela še naprej ohraniti status in ugled, ki si ga je skozi stoletja ustvarila v družbi.

Vendar se do danes ni žal nič spremenilo. Preprosta dostopnost bibliometričnih podatkov je zadnja desetletja povzročila, da so znanstveniki (in njihovi financerji oziroma delodajalci) postali dobesedno obsedeni z numeričnimi prikazi produktivnosti in vpliva, kar pomeni, da se vseskozi medsebojno primerjajo in vrednotijo le še prek zbranih točk. V Sloveniji smo zadnja leta prišli celo tako daleč, da v utemeljitvah najvišjih državnih in stanovskih znanstvenih nagrad komisije večinoma navajajo kar število zbranih točk in citiranost, ne pojasnijo pa dejanskih vsebinskih dosežkov. Vse več znanstvenikov povsod po svetu se zato oglaša s komentarji, da je treba ustaviti konje in začeti raziskovalce spodbujati, da objavljajo manj in bolj kvalitetno.

Študija urednikov velike znanstvene revije

Ameriški raziskovalec s področja znanosti o znanosti Alexander M. Petersen je prejšnji mesec v reviji Journal of Informetrics objavil obsežno študijo o anomalijah in pristranskosti odločanja urednikov pri veliki znanstveni reviji PLOS ONE (Megajournal mismanagement: Manuscript decision bias and anomalous editor activity at PLOS ONE). Prav to revijo je izbral, ker je po številu objavljenih člankov ena največjih in ker je pri vsakem objavljenem članku navedeno tudi, kdo je bil urednik, ki je vodil recenzentski postopek in sprejel odločitev o objavi. Tega podatka skorajda nobena druga znanstvena revija za zdaj ne navaja, zato je bila to v resnici ena prvih študij domnevnih anomalij in pristranskosti uredniškega odločanja v znanosti.

Petersen je zbral podatke o več kot 7000 znanstvenikih, ki so kot uredniki delovali pri reviji v desetletju od leta 2006 do 2015. Še zlasti ga je zanimalo, ali lahko pri urednikih, ki so navadno tudi sami aktivni raziskovalci, zazna porast citiranja v člankih, ki gredo skozi njihov uredniški postopek. Ugotovil je, da pri nekaterih najbolj aktivnih urednikih, med katerimi so bili tudi takšni, ki so nov članek v objavo sprejeli v povprečju vsakih nekaj dni, dejansko lahko opazi občutne anomalije.

Izpostavljen tudi slovenski znanstvenik

Za nas je še posebej zanimiv podatek, da se je na sedmo mesto med najbolj aktivnimi uredniki od skupno 7000 obravnavanih uvrstil tudi slovenski znanstvenik. Da gre za slovenskega raziskovalca, je povsem jasno iz predhodnih delovnih objav raziskave, ki so javno dostopne na internetu in niso anonimizirane.

V končni verziji raziskave je raziskovalec obravnavan pod oznako AE1 (Anomalous Editor 1). Ko so namreč v logaritemski skali izrisali graf, v katerem so na eno os nanesli število člankov, ki so jih uredniki odobrili za objavo, na drugo pa, kolikokrat so v sprejetih člankih avtorji citirali raziskave urednika, so tri imena posebej izstopala, zato so jih še dodatno preučili. Pri teh treh urednikih je bilo število citatov, ki so jih prejeli iz člankov, ki so šli skozi njihov uredniški postopek, namreč več kot desetkrat večje od povprečja drugih urednikov revije.

Za urednika AE1 se je izkazalo, da je članke v povprečju sprejemal v objavo dvakrat hitreje, kot je bil povprečni čas pri večini urednikov, kar samo po sebi seveda ni nujno nekaj slabega, saj je bil lahko le zelo učinkovit. Bistveno bolj problematičen je podatek, da je pridobil iz člankov, ki so šli samo pri reviji PLOS ONE skozi njegovo uredniško sito, kar 57 odstotkov več citatov kot iz drugih člankov, ki prav tako citirajo njegova dela. Avtor raziskave pri tem posebej poudarja, da gre za analizo uredniške dejavnosti pri eni sami reviji. Znanstvenik AE1 je po dostopnih podatkih deloval oziroma še deluje kot urednik pri več kot dvajsetih znanstvenih revijah, recenzent pa je bil pri skoraj dvestotih.

O intenziteti citiranja pove nekaj tudi razmerje med vsemi citati, ki jih je raziskovalec prejel v svoji karieri, in številom člankov, ki ga citirajo. Če poiščemo te podatke v zbirki Web of Science, lahko za AE1 izračunamo, da je razmerje zanj 3,37. To pomeni, da so njegova dela v vsakem članku, ki ga citira, navedena v povprečju več kot trikrat. To je približno dvakrat več, kot je običajno za najbolj uspešne raziskovalce s področja, na katerem deluje. Lahko gre zgolj za naključje, a ena od možnih razlag je, da z uredniškim in recenzentskim delom poskrbi, da so njegovi članki v povprečju večkrat citirani. Za komentar raziskave smo prosili tudi znanstvenika AE1. V odzivu je zapisal: »Razlike, ki jo omenjate, praktično ni, sicer pa so ti citati približno 2,5 odstotka vseh citatov, ki sem jih v tem obdobju prejel, kar tudi precej natančno ustreza deležu publikacij, ki jih za to področje objavi PLOS ONE.«

​Zaradi navedenih anomalij avtor raziskave Alexander M. Petersen predlaga, da pri velikih znanstvenih revijah postavijo zgornjo mejo, koliko člankov lahko posamezen urednik obravnava na leto. Prav tako predlaga, da začnejo še druge revije pri člankih navajati, kdo je vodil uredniški postopek, saj je edino tako mogoče preverjati morebitna navzkrižja interesov. Svetuje tudi, da se je treba izogibati postopkom, pri katerih odločitve sprejema en sam urednik, ne pa uredniški odbor. Anomalije je sicer zaznal zgolj pri majhnem številu zelo aktivnih urednikov, a prav lahko je to samo vrh ledene gore. Zato je ključno, da se znanstvena skupnost jasno zave, da zgolj zanašanje na štetje publikacij in citatov ne more biti osrednji kriterij pri ocenjevanju kvalitete raziskovalcev.

O Petersenovi raziskavi je 4. oktobra 2019 poročala tudi revija Science. Pri PLOS ONE so ob tej priložnosti zapisali, da so po letu 2015 poostrili nadzor nad svojimi uredniki in z nekaterimi prekinili sodelovanje. Pravijo, da so odstranili urednike, »ki niso ustrezali našim visokim standardom ravnanja z rokopisi, v nekaterih primerih prav zaradi pomislekov glede uredniških praks, ki jih je preučevala študija.«

Potrebuje znanost posodobitev?

Marca 1665 so pri britanski Kraljevi družbi izdali prvo znanstveno revijo Philosophical Transactions. Šlo je za ključni trenutek v zgodovini znanosti, saj je bil temeljni namen revije, da nova znanstvena odkritja predstavi čim širšemu krogu ljudi. Urednik Henry Oldenburg, ki je bil hkrati tudi tajnik Kraljeve družbe, je kolege prepričal, naj javno objavljajo svoja odkritja, v zameno pa pridobijo družbeno priznanje, da so prav oni nekaj prvi odkrili.

Načela, ki jih je Oldenburg uveljavil kot urednik nove revije, so vključevala javno dostopnost objavljenega znanja in načelo strokovnega pregleda pred objavo. Vsak nov članek je namreč urednik poslal v oceno strokovnjakom, ki so imeli pregled nad posameznim raziskovalnim področjem, in šele po njihovi pozitivni recenziji je besedilo sprejel v objavo. Načela znanstvenega poročanja, ki jih je sredi sedemnajstega stoletja vpeljal Oldenburg s sodelavci, veljajo še danes.

Zadnja leta je znanost zaradi izjemno velike produkcije novih študij zašla v resno krizo. Ne le da se za veliko objavljenih raziskav kasneje izkaže, da niso bile dovolj skrbno izvedene ali da so celo povsem napačne, ampak znanost zaradi zniževanja standardov vse bolj izgublja tudi ugled, ki si ga je skozi stoletja pridobila v družbi.

Znanstvena skupnost se ob soočenju s težavami sicer trudi, da bi pokazala, da so problem predvsem neetični posamezniki, ki bi jih z boljšim nadzorom lahko izločili. Seveda bi bili večja preglednost in osebna odgovornost pri vseh oblikah odločanja v znanosti zelo dobrodošli, a brez temeljitih sprememb se vse večjim in vse pogostejšim anomalijam najverjetneje ne bo mogoče izogniti.

—

Poročilo o raziskavi Megajournal mismanagement, ki ga je 4. oktobra 2019 objavila revija Science:

Editors secured citation bump
Some of the more than 7000 editors of the PLOS ONE megajournal have accrued unusually large numbers of citations, which a study suggests may be evidence that authors cited the editors as an incentive for favorable treatment. Alexander Petersen of the University of California, Merced, found that three of the 10 most active PLOS ONE editors were also among the fastest at accepting articles for publication. Each racked up hundreds of citations from the articles they oversaw, more than 10 times the average for other PLOS ONE editors, Petersen showed in his analysis of PLOS ONE data from 2006 to 2015, published in the November issue of the Journal of Infometrics. Petersen told Science he couldn’t prove a quid pro quo. But he said the association deserved more research—both at PLOS ONE, which identifies articles’ handling editors and is the only journal he studied, and at other publications that do not. Petersen also suggested that PLOS ONE limit the number of articles that each subject matter editor handles. In a statement to Science, PLOS ONE said that after 2015, it strengthened oversight of its editorial board and removed editors “that did not meet our high standards of manuscript handling, in some cases due to concerns around the editorial practices that the study looked into.”

—

Seznam sodelovanj AE1 v uredniških odborih znanstvenih revij (povzeto po raziskovalčevi spletni strani):

2010-10-25 to 2016-11-20 Academic Editor of PLoS ONE.
2010-11-10 to present Editor of Chaos, Solitons & Fractals.
2011-10-21 to present Editorial Board of Scientific Reports.
2012-01-01 to 2017-12-31 Associate Editor of International Journal of Bifurcation and Chaos.
2013-01-01 to 2018-12-31 Editorial Board of Physical Review E.
2013-06-05 to present Associate Editor of Frontiers in Physics: Interdisciplinary Physics.
2014-01-01 to present Associate Editor of Applied Mathematics and Computation.
2014-06-16 to present Editorial Board of European Physical Journal B.
2015-01-05 to present Editorial Board of Royal Society Open Science.
2015-04-01 to present Co-Editor of EPL.
2015-07-06 to present Associate Editor of Palgrave Communications.
2015-07-20 to 2019-07-19 Editorial Board of Heliyon.
2015-12-04 to present Associate Editor of Advances in Complex Systems.
2016-02-17 to present Editorial Board of New Journal of Physics.
2017-03-15 to present Associate Editor of Frontiers in Computational Neuroscience.
2017-04-13 to present Associate Editor of Journal of Complex Networks.
2018-09-18 to present Specialty Chief Editor of Social Physics, a section of Frontiers in Physics.
2018-10-16 to present Editorial Board of Entropy.
2018-11-21 to present Section Editor-in-Chief of Network Science, a section of Mathematics.
2019-01-01 to present Editorial Board of Proceedings of the Royal Society A.
2019-04-01 to present Editor of Physics Letters A.
2019-05-21 to present Editorial Board of Nonlinear Phenomena in Complex Systems.

—

-