V svojem zadnjem blogu sem nakazal svojo kritiko slovenske znanosti in znanstvene politike, danes pa bom nadaljeval s konkretnim primerom. Menim, da je pri presojanju kakovosti raziskovalcev velik problem kvantitativno ocenjevanje, ki ga je uvedla naša agencija za raziskovalno dejavnost (ARRS). V vseh razvitih državah, kjer imajo kakovostno znanost, so na področju biomedicine oziroma znanosti o življenju najpomembnejše merilo kakovosti znanstvene objave, ki se rangirajo po kakovosti revij na podlagi faktorjev vpliva. Pri nas pa smo ta sistem prilagodili, tako, da zdaj dejansko spodbuja objavljanje v manj kakovostnih revijah (kjer seveda lažje objavljaš, a nimajo nobene mednarodne teže). To je precej hud problem, s katerim se ukvarjamo vsi, ki skušamo biti uspešni v mednarodnem okolju, ne le lokalno v Sloveniji (kar bi moral biti cilj vsakega znanstvenika na našem področju) in smo zaradi tega zelo kritično do sistema, a ta vseeno ostaja v uporabi. Seveda v osnovi ni nič narobe, v naših razmerah je celo dobrodošlo, da obstoja kvantitativni sistem, po katerem lahko vrednotiš znanstveno uspešnost. A sistem točkovanja ARRS zagotov ni tak sistem. Konkretno lahko na svojih objavah pokažem velike anomalije sistema. Letos je tako moja raziskovalna skupina objavila članek v reviji s faktorjem vpliva 4,2, kar je visok faktor vpliva tudi v mednarodnem prostoru, za Slovenijo pa še posebej. Za ta članek dobimo po točkovanju ARRS štirje avtorji vsak po 20 točk. Za nek drug članek objavljen pred par leti v reviji s faktorjem vpliva 0,8 pa prav tako 4 avtorji dobimo vsak po 17 točk. Razlike v točkah skorajda ni, razlika v odmevnosti revije, ki jo izraža faktor vpliva, pa je očitna. Sam sem zadnji avtor na obeh člankih zato dobro vem, da članka nista primerljiva, in tudi reviji nista primerljivi po svoji odmevnosti. A naš sistem je revije razvrstil po nekih ozkih področjih in glede na skupen faktor vpliva takšnega ozkega področja potem članek dobi več ali manj točk. To je po mojem mnenju hudo zgrešeno. Članek s področja nevroznanosti lahko tako na primer objaviš v reviji s področja nevroznanosti z visokim faktorjem vpliva (4 – 5), a boš za njega dobil enako ali manjše številke točk, kot če boš članek, ravno tako s področja nevroznanosti, objavil v reviji recimo s področja veterinarskih znanosti, pa čeprav bosta članka po odmevnosti in kakovosti popolnoma neprimerljiva. Žal nas bo ta sistem silil v igranje po strunah financerja znanosti (ARRS) in bo spodbujal objavljanje v manj kakovostnih revijah. Za članek, ki sem ga omenil prej in smo ga objavili v reviji s faktorjem vpliva 4,2 smo porabili približno dve leti trdega dela, in nato še eno leto, da smo ga uspeli objaviti v odmevni reviji. Pred nekaj meseci pa sem v nekaj dneh napisal pregledni članek, ki bo v kratkem objavljen v reviji z relativno nizkim faktorjem vpliva, a na svojem področju še vedno dovolj visokem, in ker sem na tem preglednem članku avtor sam, bom za njega dobil (po mojih izračunih) kar okoli 50 točk. Zanimivo nesorazmerje, ni kaj.
Z mednarodnimi razpisi se absolutno strinjam. Clanek mi je dodatno priklical v spomin komentar, ki sem ga dobil na Princetonu od svojega mentorja za doktorat (na oddelku za fiziko), ko sem mu opisal krize in tezave z 'objektivnimi sistemi' tockovanja — v tistem primeru je slo za presojo kandidatov za t.i. tenure track pozicije. Na kratko je opisal sistem, ki ga imajo na Princetonu in je verjetno drugje precej podoben. Prijavi se reda 100 kandidatov; kratek pregled search committeeja — brez tockovanj — bo zreduciral stevilo na ~10 takih, ki bi bili ustrezni. Te se povabi na intervjuje. Postrani me… Beri dalje »
Hja, nad tem fenomenalnim točkovanjem člankov je bilo prelitega že veliko črnila, pa očitno nič ne pomaga. Prav absurdno je, kako lahko je sistem izigravati, če si tega le želiš. A problem je tudi ta, da je sistem nepravičen tudi zato, ker kakor postavlja na enakopravno raven povsem različna področja. A zaradi specifike nekega povprečenja citatov in impact factorjev preko večjega področja lahko človek, ki je abosultni svetovni ekspert na nekem področju dobi nižje ocene za svoje delo kot povprečnež, ki deluje na modnem področju. Ali je to pravilno ali ne, si lahko skuša odgovoriti vsak sam. Mislim, da tu… Beri dalje »
Predvsem se mi zdi, da bi si morala UL postaviti nekoliko visje cilje. Biti najboljsi v Sloveniji ni nikakrsen izziv. To, da bi recimo na FMF iskali/zaposlili “rising star” je v trenutni situaciji prava znanstvena fantastika, iz dveh razlogov: 1) ker so pogoji obupni, tako glede place, kot glede raziskovalnih moznosti (oprema), kot glede ugleda, ki ga UL nosi v svetu in 2) ker si lokalni veljaki nekoga boljsega od sebe niti ne zelijo saj pomeni groznjo za njihov obstoj (financiranje, itd…)
Velika večina se strinja s kritiko obstoječega sistema točkovanja, še posebej tisti, ki se trudijo(mo) objavljati v najboljših revijah, ker je to edino kar cenijo po vsem svetu. Samo poglejmo kaj je alternativa. Mlajši se morda niti ne spomnijo, kako je bilo preden je bil uveden sedanji COBISS (velika zasluga sedanjega direktorja ARRS Demšarja), ki je uvedel preglednost znanstvene produkcije, tako da se vsaj površno vsak lahko »stehta«. Pred tem je v veliki meri vladala arbitrarnost in lobiji, kjer so raziskovalci ocenjevali druge kolege. Tega smo v Sloveniji absolutno nesposobni. Nekaterim ni nič bolj v veselje kot potlačiti kolega, ki… Beri dalje »