Točkovanje znanstvenih objav

    V svojem zadnjem blogu sem nakazal svojo kritiko slovenske znanosti in znanstvene politike, danes pa bom nadaljeval s konkretnim primerom. Menim, da je pri presojanju kakovosti raziskovalcev velik problem kvantitativno ocenjevanje, ki ga je uvedla naša agencija za raziskovalno dejavnost (ARRS). V vseh razvitih državah, kjer imajo kakovostno znanost, so na področju biomedicine oziroma znanosti o življenju najpomembnejše merilo kakovosti znanstvene objave, ki se rangirajo po kakovosti revij na podlagi faktorjev vpliva. Pri nas pa smo ta sistem prilagodili, tako, da zdaj dejansko spodbuja objavljanje v manj kakovostnih revijah (kjer seveda lažje objavljaš, a nimajo nobene mednarodne teže). To je precej hud problem, s katerim se ukvarjamo vsi, ki skušamo biti uspešni v mednarodnem okolju, ne le lokalno v Sloveniji (kar bi moral biti cilj vsakega znanstvenika na našem področju) in smo zaradi tega zelo kritično do sistema, a ta vseeno ostaja v uporabi. Seveda v osnovi ni nič narobe, v naših razmerah je celo dobrodošlo, da obstoja kvantitativni sistem, po katerem lahko vrednotiš znanstveno uspešnost. A sistem točkovanja ARRS zagotov ni tak sistem. Konkretno lahko na svojih objavah pokažem velike anomalije sistema. Letos je tako moja raziskovalna skupina objavila članek v reviji s faktorjem vpliva 4,2, kar je visok faktor vpliva tudi v mednarodnem prostoru, za Slovenijo pa še posebej. Za ta članek dobimo po točkovanju ARRS štirje avtorji vsak po 20 točk. Za nek drug članek objavljen pred par leti v reviji s faktorjem vpliva 0,8 pa prav tako 4 avtorji dobimo vsak po 17 točk. Razlike v točkah skorajda ni, razlika v odmevnosti revije, ki jo izraža faktor vpliva, pa je očitna. Sam sem zadnji avtor na obeh člankih zato dobro vem, da članka nista primerljiva, in tudi reviji nista primerljivi po svoji odmevnosti. A naš sistem je revije razvrstil po nekih ozkih področjih in glede na skupen faktor vpliva takšnega ozkega področja potem članek dobi več ali manj točk. To je po mojem mnenju hudo zgrešeno. Članek s področja nevroznanosti lahko tako na primer objaviš v reviji s področja nevroznanosti z visokim faktorjem vpliva (4 – 5), a boš za njega dobil enako ali manjše številke točk, kot če boš članek, ravno tako s področja nevroznanosti, objavil v reviji recimo s področja veterinarskih znanosti, pa čeprav bosta članka po odmevnosti in kakovosti popolnoma neprimerljiva. Žal nas bo ta sistem silil v igranje po strunah financerja znanosti (ARRS) in bo spodbujal objavljanje v manj kakovostnih revijah. Za članek, ki sem ga omenil prej in smo ga objavili v reviji s faktorjem vpliva 4,2 smo porabili približno dve leti trdega dela, in nato še eno leto, da smo ga uspeli objaviti v odmevni reviji. Pred nekaj meseci pa sem v nekaj dneh napisal pregledni članek, ki bo v kratkem objavljen v reviji z relativno nizkim faktorjem vpliva, a na svojem področju še vedno dovolj visokem, in ker sem na tem preglednem članku avtor sam, bom za njega dobil (po mojih izračunih) kar okoli 50 točk. Zanimivo nesorazmerje, ni kaj.

    4 KOMENTARJI

    1. Hja, nad tem fenomenalnim točkovanjem člankov je bilo prelitega že veliko črnila, pa očitno nič ne pomaga. Prav absurdno je, kako lahko je sistem izigravati, če si tega le želiš. A problem je tudi ta, da je sistem nepravičen tudi zato, ker kakor postavlja na enakopravno raven povsem različna področja. A zaradi specifike nekega povprečenja citatov in impact factorjev preko večjega področja lahko človek, ki je abosultni svetovni ekspert na nekem področju dobi nižje ocene za svoje delo kot povprečnež, ki deluje na modnem področju. Ali je to pravilno ali ne, si lahko skuša odgovoriti vsak sam. Mislim, da tu neke magične formule niso uspeli iznajti nikjer na svetu. Ameriški sistem je tipično nagnjen k temu, da pospešuje modno obnašanje raziskovalcev – vsi se bodo zapodili k najnovejšem modnem trendu. Za razliko od tega evropski sistemi tipično omogočajo neko trajnejše financiranje tudi brez trenutno merljivih rezultatov – a po drugi strani tudi omogočajo uspešno spanje na lovorikah…

      Po mojem je najkorenitejši rez, ki ga potrebujemo v Sloveniji ta, da bi morali biti vsi razpisi za mesta nujno mednarodni. Mednarodno oglaševani v tujih strokovnih revijah in na internetu. Sam močno verjamem, da bo evropsko financiranje znanosto v prihodnosti vse bolj pomembno, medtem ko se bo znesek lokalnega denarja zmanjševal. Če je ta moj filing pravi, potem se bi morali vsi tisti, ki imajo niti v svojih rokah tega zavedati in se tudi zavedati dolgoročnih posledic odločitev glede zaposlovanja. Izbira naj se najboljše ljudi ne glede na nacionalnost in ne le lokalno všečne posameznike. Kako premakniti miselnost v glavah pa mi ni jasno. Da se soočamo z odlivom možganov očitno ni dovolj…

    2. Z mednarodnimi razpisi se absolutno strinjam.
      Clanek mi je dodatno priklical v spomin komentar, ki sem ga dobil na Princetonu od svojega mentorja za doktorat (na oddelku za fiziko), ko sem mu opisal krize in tezave z 'objektivnimi sistemi' tockovanja — v tistem primeru je slo za presojo kandidatov za t.i. tenure track pozicije. Na kratko je opisal sistem, ki ga imajo na Princetonu in je verjetno drugje precej podoben. Prijavi se reda 100 kandidatov; kratek pregled search committeeja — brez tockovanj — bo zreduciral stevilo na ~10 takih, ki bi bili ustrezni. Te se povabi na intervjuje. Postrani me je pogledal, se zasmejal in komentiral, da ce profesorski zbor, po individualnih pogovorih s kandidatom, po job talku in po posvetu ne more priti do soglasnega zakljucka o kandidatu, noben 'objektivni sistem' ne bo pomagal. Seveda se pogleda clanke in preleti revije, kjer so bili objavljeni. Ce gre za obskurne revije, efektivno ne stejejo nic; gotovo prinasajo tocke prestizne stvari, kot so Science, Nature itd, vendar je jasno, da je del objav tam tudi odsev trenutne mode; potem je tu se seveda bread&butter discipline, Phys Rev in podobno. Po tej osnovni selekciji pa pridejo na vrsto strateska vprasanja: ali zelimo nekoga, ki je ultra specialist na ozkem podrocju? Nekoga, ki je rising star? Nekoga, za katerega je konsenz, da to se ni, pa bi lahko bil? Predvsem pa, zakaj je vprasanje, ki ga kandidat predstavlja, zanimivo (in na interdisciplinarnih podrocjih ala neuroscience, biofizika itd, ki so manj popredalckana in kjer so nejasna vprasanja sama, je to posebej pomembno). Tu pride v igro jasna in odprto priznana subjektivnost. Obicajno je zadnjih 5 ali 10 kandidatov tako dobrih, da je tudi obcutek, ali bodo team playerji, ali se bodo razumeli s kolektivom, tako znanstveno kot socialno, pomemben: ocitni 'geniji' (in ja, tudi taki so) imajo vec manevrskega prostora, drugi manj; ampak glede na to, da je tenure-track pozicija potencialno stalna, so ti dodatni razmisleki pomembni in lahko odlocijo.
      Skratka, glavno sporocilo je bilo, da ce je motivacija na strani komiteja, da se izbere eden izmed najboljsih kandidatov, se to lahko zgodi brez pretirane aritmetike. Pretvarjati se, da je postopek povsem objektiven, je nesmiselno – bolje je odkrito pokazati na nujna dodatna subjektivna merila. Ce so prisotni prikriti navzkrizni interesi na nivoju facultyja, potem se bo ali vedno dalo manipulirati z merili ali pa bodo ta postala zadusljivo pedantna.
      Za financno podporo je situacija nekoliko drugacna: predvsem ni te osebnostne komponente / review je bolj anonimen, in pa trade-off med zahtevanimi preliminarnimi raziskavami in 'pomembnostjo/fundamentalnostjo' vprasanja je lahko razlicen od agencije do agencije.

    3. Predvsem se mi zdi, da bi si morala UL postaviti nekoliko visje cilje. Biti najboljsi v Sloveniji ni nikakrsen izziv. To, da bi recimo na FMF iskali/zaposlili “rising star” je v trenutni situaciji prava znanstvena fantastika, iz dveh razlogov: 1) ker so pogoji obupni, tako glede place, kot glede raziskovalnih moznosti (oprema), kot glede ugleda, ki ga UL nosi v svetu in 2) ker si lokalni veljaki nekoga boljsega od sebe niti ne zelijo saj pomeni groznjo za njihov obstoj (financiranje, itd…)

    4. Velika večina se strinja s kritiko obstoječega sistema točkovanja, še posebej tisti, ki se trudijo(mo) objavljati v najboljših revijah, ker je to edino kar cenijo po vsem svetu. Samo poglejmo kaj je alternativa. Mlajši se morda niti ne spomnijo, kako je bilo preden je bil uveden sedanji COBISS (velika zasluga sedanjega direktorja ARRS Demšarja), ki je uvedel preglednost znanstvene produkcije, tako da se vsaj površno vsak lahko »stehta«. Pred tem je v veliki meri vladala arbitrarnost in lobiji, kjer so raziskovalci ocenjevali druge kolege. Tega smo v Sloveniji absolutno nesposobni. Nekaterim ni nič bolj v veselje kot potlačiti kolega, ki konkurira za ista sredstva. Mislim, da Slovenci nismo značajsko tako posebni ampak je to enostavno zaradi majhnosti in da bi se drugi obnašali podobno, če bi živeli v tako majhni skupnosti in s takšno tradicijo. O tem sem že pisal v Delu in primerjal slovensko znanstveno evalvacijo z igro »Najšibkejši člen«, kjer tekmovalci najprej združeno eliminirajo najbolj sposobnega konkurenta. Tudi primer sem ilustriral, kjer smo dobili za projekt, na osnovi katerega smo čez nekaj mesecev objavili članek v Nature SMB, od domačega recenzenta oceno 0 (od 5), od tujih recenzentov pa petice. Seveda jo po sedanjem točkovanju pet avtorjev za članek, ki je v celoti nastal v našem laboratoriju, dobili toliko točk kot jih dva avtorja za prispevek v lokalni znanstveni reviji. Bojim se, da je to domet slovenskega ocenjevanja. Morda bi pomagalo, če močvirje prečistili, tako da bi »gnila jabolka«, ki podeljujejo šikanozne ocene(navzgor ali navzdol) eliminirali iz recenzentskega sistema. Najbrž pa bi se izkazalo, da so marsikateri med njimi slovenski znanstveni imenitniki.

      Tako je edina alternativa, da ocenjevanje prepustimo tujcem, in to dovolj velikemu panelu, ki primerja vse projekte na nekaterem širšem področju (npr. life sciences, ne vrtički) hkrati. Tudi tujci niso nujno avtomatsko dobra izbira. Tudi tam se, tako kot pri nas, vrti veliko znanstvenih bulijev in funkcionarjev, ki obvladujejo znanstveno politiko in nimajo razen organizacijskih sposobnosti kaj prida pokazati.Vsekakor morajo biti tuji recenzenti neodvisno izbrani, saj tudi tujci niso imuni na sistem »ti ocenjuješ mene, jaz tebe«, kar se je pokazalo tudi na zadnjem programskem ocenjevanju.

      Pri ocenjevanju ostaja še veliko problemov, ki so jih omenili že prehodniki: delitev točk in s tem destimulacija sodelovanja, merodajnost enostavnih številčnih meril kot so citati ali h-indeks, natezanje med univerzami in inštituti… kjer bi se s pametnimi predlogi najbrž dalo kaj narediti. Kot zanimivost, ob pomoči British Councila smo pred par leti organizirali delavnico o evalvaciji znanstvenih projektov v Veliki Britaniji, kamor so pripeljali najboljše možne sogovornike ki so povedali kako so sami dosegli izboljšanje znanstvene odličnosti. Žal je bilo srečanje na željo ARRS zaprtega tipa in zaključki nikoli niso zaživeli.

      Sistem evalvacije v Sloveniji se še vedno ni stabiliziral, zagotovo so potrebne izboljšave vendar ne vem, če si res želimo velikih revolucij brez temeljitega premisleka, ker je lahko rezultat stanje, ki ustreza osebnih interesom najvplivnejšim »dobronamernim« svetovalcem. Sarkozy je poklical nekdanjega direktorja NIH Zerhounija, nobelovca Varmusa in Agreja, ter ugledne raziskovalce iz Švice, Kanade Velike Britanije in Francije, da ocenijo francoski znanstveni sistem medicinskih raziskav. Predlagali so temeljito prestrukturiranje francoskega sistema, zdaj pa imajo raziskovalce na cestah…(kar seveda ne pomeni, da podpiram status quo).

    PUSTITE KOMENTAR

    Vpiši svoj komentar!
    Prosimo vpišite svoje ime

    This site uses Akismet to reduce spam. Learn how your comment data is processed.