Nesmisel ocenjevanja vrednosti objave, osebe na osnovi IF revije: Kako ena objava spremeni IF revije z 2 na 50

Leta 1955 je Eugene Garfield v reviji Science prvič predstavil idejo o faktorju vpliva revije (IF) kot merilu za razvrščanje revij po kakovosti, ki bi nadomestil razvrščanje revij zgolj po številu objav. Idejo sta zasnovala skupaj s kolegom Irving H. Sherom, pri čemer sta kot osnovni parameter za kakovost revije privzela tudi citiranost (odmevnost) objavljenih člankov. Faktor vpliva (IF) revije je povprečna vrednost citiranosti člankov v določenem časovnem obdobju po objavi, ki se določi se za vsako leto posebej. Tako članki objavljeni v reviji v določenem letu vplivajo na IF revije naslednji dve leti.

IF revije nikoli ni bil mišljen kot merilo za ocenjevanje vrednosti posamezne objave, kot tudi ne za ocenjevanje zanstvene odličnosti raziskovalca, raziskovalke kar izpostavlja tudi Eugene Garfield, pobudnik uvedbe IF revije. Leta 2005 je tudi uredništvo revije Nature opozorilo, da ocenjevalni kriteriji znanstvenega dela vse preveč temeljijo na “napihnjeni” vrednosti IF revije v kateri so objavljeni, kajti le 25% objav prispeva 89% k IF revije. Podrobnosti lahko preberete tukaj.

Skratka, v kolikor upoštevamo IF kot merilo za oceno vrednosti objave, vsem člankom objavljenim v določenem letu pripišemo enako vrednost, pa naj so ti bili zelo odmevni, povprečni ali povsem neopaženi. K IF revije pripomorejo tudi visokocitirani članki, ki so zaradi glojufij, nepravilnosti bili kasneje celo izvzeti iz revije, med slednje sodijo tudi psevdoznanstvene objave (npr. spomin vode).

Poučen in nazoren primer nesmisla IF za ocenjevanje vrednosti posamezne objave je primer revije Acta Crystallographica Section A, ki ga je leta 2014 opisal Jan Reedijk . Reviji se je namreč IF v enem letu spremenil z 2 (2008) na 50 (2009) in to le zaradi ene same objave, ki je bila visoko citirana. Leta 2008 je George M. Sheldrick v januarski številki revije objavil prispevek o zgodovini in razvoju SHELX sistema računalniških programov, ki ga uporablja velika večina znanstvenikov pri reševanju kristalne strukture spojin. Članek je bil visoko citiran, že leta 2008 je dosegel 3521 citatov, 4891 citatov v letu 2009, 6937 v letu 2010, 8181 v letu 2011 itd, prispeval je okoli 95% citatov vseh objav (revija objavi okoli 200 člankov na leto) in za dve leti povzdignil IF revije z 2,1 (2008) na 49,9 (2009). IF revije Acta Crystallographica Section A je bil v letih 2009 in 2010 veliko večji od IF revij Science in Nature (Tabela), v letu 2011 pa se je vrnil na vrednost 2,1.

Primer:
V letu 2008 ste v revijo Acta Crystallographica Section A naslovili članek za objavo. Še v istem letu ste prejeli odgovor uredništva, da je članek sprejet. Razveselili ste se novice, da bo vaš članek objavljen že v decemberski številki revije l. 2008 (IF 2,1). A kasneje se je izkazalo, da v kolikor bi izšel šele v januarski številki l. 2009 (IF 49,9) bi bila njegova vednost mnogo višja. Po današnjih kriterijih ocenjevanja (tudi ARRS, nagrade), je vaša objava veliko manj vredna kot bi bila v primeru, če bi uredništvo zamujalo z objavo. Zanimiv je tudi razmislek, da tudi visokocitirana objava G.M.Sheldricka nima posebne vrednosti ( npr. ARRS – A˝) saj je bila objavljena l. 2008, ko je bil IF revije le 2,1.

San Francisco deklaracija (DORA): Leta 2012 je bila objavljena San Francisco deklaracija, ki opozarja na nesmisle ocenjevanja znanstvene vrednosti objav in posameznika na podlagi bibliometričnih kazalcev. V prvem splošnem načelu piše: »Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.” Deklaracijo je podpisalo veliko število posameznikov in nekaj sto organizacij in združenj. Bil bi čas, da jo preuči tudi vodstvo Agencije ARRS, saj v drugem priporočilu, ki se naslavlja na agencije piše: “Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.”

Kako močno drži trditev “As you make the system more technical and more automated, there are more ways to game it.” (Bruce Schneier, a computer-security expert at Harvard Law School’s, USA) in kako »prilagodljivi« smo v Sloveniji lahko preverite sami, v kolikor izrazit porast objav in število citacij (Pregled in analiza na spletnih straneh ARRS) povežete z uvedbo ARRS formul (A1, A2, A3, A˝,…) za izračun znanstvene odličnosti posameznika, kot merila za razdeljevanje javnih sredstev.

Urša Opara Krašovec

Zapis izseka predavanja, ki sem ga imela na Slovenskih kemijskih dnevih, 24. september 2015 v Ljubljani.

-