Danes je v časopisu Delo (Delova tema: Znanost v Sloveniji – posamezniki v vrhu, večina pod povprečjem) objavljen članek o (ne)uspešnosti slovenske znanosti v mednarodni primerjavi glede na indeks citiranosti (če prav razumem članek gre sicer za Hirschev indeks in ne za indeks citiranosti, ampak to ni tako pomembno). Članek navaja porazne rezultate Slovenije, ki pa so žal samo odraz tega, na kar nekateri opozarjamo že skoraj deset let. Sam sem že pred devetimi leti začel opozarjati, da so nas Poljska, Češka, Slovaška in Madžarska na področju znanosti že prehitele, in točno to se je pokazalo ob najnovejši analizi (po tej analizi smo zdaj tik pred Romunijo in Bolgarijo).
Na vzroke za takšen porazen rezulat nekateri tudi že nekaj časa opozarjamo, a seveda je to vse glas vpijočega v puščavi. Enostavno, za tako porazen rezultat je kriva slovenska uravnilovka v znanosti. Na področju znanosti o življenju (ki ga najbolje poznam, tako da lahko komentiram samo to področje in povsem dopuščam in verjamem, da situacija ni povsem enaka za druga področja) v svetu velja merilo pomembnosti revije in sicer je to faktor vpliva. Ne bom trdil, da je ta sistem idealen, ima pa zagotovo pozitivne stvari, ker temelji na odmevnosti (kar se večinoma verjetno lahko enači s pomembnostjo) znanstvenih odkritij. Večkrat kot je bilo tvoje delo citirano, bolj pomembno je za celotno znanstveno srenjo, večkrat je bilo tvoje odrkitje osnova za nova znanstvena odkritja. Na podlagi te odmevnosti (citatov) se potem rangirajo znanstvene revije in ve se, v katerih revijah se objavljajo najpomembnejši rezultati. Pri nas pa smo uvedli nekakšen sistem uravnilovke, ker je menda na nekaterih področjih težje raziskovati in objavljati (pa čeprav bo prav vsak znanstvenik, ki dela na širokem področju bioznanosti, lahko objavil svoje rezultate v Science ali Nature, če bodo raziskave tako pomembne, da bodo zanimale celotno svetovno zannstveno javnost). Tako se v našem sistemu bolj splača objavljati nepomembne članke v marginalnih revijah z nizkim faktorjem vpliva (se pravi nizko odmevnostjo in nizko citiranostjo) kot pa v dobrih revijah. Za članek v vrhunski reviji je potrebno vsaj dve do tri leta trdega dela raziskovalne skupine, medtem ko lahko v neki lokalni reviji, ki pa ima faktor vpliva (pa čeprav nizek) objaviš članek zelo hitro z malo dela. Po kriterijih ocenjevanja slovenske znanosti pa boš dobil za objavo v nepomembni, redko citirani reviji enako oceno kot za objavo v vrhunski znanstveni reviji, kar seveda vodi k inflaciji člankov v nepomembnih in neodmevnih revijah, saj nisi nagrajen za objavo v dobri reviji.
Do absurda pa je ta sistem slovenske uravnilovke prignan pri t.i. normiranju citatov. Tu smo raziskovalci, ki se trudimo objavljati v dobrih svetovnih revijah (kar je nujno potrebno, če želimo pridobiti mednarodne raziskovalne projekte) dodatno kaznovani. Ker smo objavili odmeven članek v odlični tuji reviji, nas slovenski sistem štetja citatov, ki jih prinaša tak članek, kaznuje in nam zmanjša število citatov lahko celo za dve tretjini (namesto 300 citatov ti štejejo, da so bili tvojo članki citirani samo 100-krat?!), medtem ko bo lahko citat v mednarodno nepomembni reviji prinesel pri ocenjevanju avtorju celo več kot 1 citat! Se pravi, avtor, ki objavi članek v vrhunski reviji z visokim faktorjem vpliva, bo za sto citatov tega članka imel v Sloveniji priznanih 30 citatov (povsod po svetu seveda 100). Avtor, ki objavi članek v neki marginalni reviji, njegov članek pa bo citiran 25-krat (se pravi 4-krat manj), pa bo v slovenskem sistemu ocenjevanja dobil priznanih 30 citatov. Kakšen je smisel takšnega ocenjevanja, sploh v letu 2011, ko so vse revije (z visokim in nizkim faktorjem vpliva) prisotne na svetovnem spletu in so vse enako vidne, pa je verjetno jasno samo avtorjem takšnega absurdnega sistema.
Rezultati teh absurdnosti slovenskega uniktnega ocenjevanja znanosti pa so se pokazali ravno pri tej najnovejši analizi, ki je pokazala točno to – sistem vodi v kvantiteto (objavljanje velikega števila nedomevnih člankov v nepomembnih revijah), ne pa v kvaliteto, in dokler ne bomo spremenili sistema in zares začeli nagrajevati znanstvene odličnosti ter spodbujati kvalitetno znanost, nam tudi povečevanje sredstev za znanost ne bo pomagalo, da bi slovenska znanost postala pomembnejša v mednarodnem prostoru, niti da bi imela večji vpliv na razvoj celotne družbe, kar naj bi bil namen znanosti.
Te stvari so tako depresivne. Joj, joj.Zase lahko rečem (še vedno študent, diplomiral bom pri skoraj 25. letih, kar je grozno – povem samo zato, da me ne bo kdo preveč poslušal), da sem odmislil, da bi bil raziskovalec, da bi kaj prispeval k znanosti, da bi bil fizik kakor so bili številni moji (zgolj še literarni) idoli pred mano. Se bom raje vrnil v tisto stanje razmer, ko sem bil srečen, da sem študiral reči zgolj iz zadovoljstva in jih potem razlagal drugim (deloma zato, ker ne bi prenesel tega življenja znanstvenika, pa zato, ker bi bil samo (pod)"povprečen"… Beri dalje »
Sistem, opisan zgoraj velja za celotno znanstveno srenjo v Sloveniji, to je sistem, ki ga ima in izvaja ARRS za ocenjevanje raziskovalcev (in je dostopen vsakomur preko spletne strani SICRIS-a) tako na univerzah kot na inštitutih.
Da je sistem absurden, je moč pokazati izključno na ta način, da se držiš pravil tega sistema do pikice natančno. Gregor verjamem, da ste znanstveniki, tu mislim predvsem na vas "kvarkadabrovce" sposobni izpisati en tak, kot praviš, nepomeben članek, tako hitro kot ta tekst tvojega bloga, torej producirajte na tisoče (ok malo pretiravam) nepomebnih člankov, nabijajte si citiranost, tako da citirate eden drugega. V glavnem "štepajte" članke enega za drugim. Mogoče, ne mogoče, zagotovo se bo potem prikazalo Realno te idiotske ureditve, tiso Realno, ki je vedno grozno. Če bi bil sposoben kaj napisati bi vam tudi sam pomagal. Takšen… Beri dalje »
ZdravaPamet, pojdi na dopust/potovanje, malo požuriraj, "kaj dol udari" in ne obupuj. Odjebi fatalizem!
Članek je bolj osamljen primer, sicer se mi zdi, da v medijih prevladujejo mnenja, kako je slovenska znanost dobra.
Domnevam, da zato, ker za mnenje sprašujejo vladajoče politike oz. tiste znanstvenike, ki jim je všeč trenutna ureditev. Ker jim omogoča, da so glavni na kupu gnoja.
"Da je sistem absurden, je moč pokazati izključno na ta način, da se držiš pravil tega sistema do pikice natančno." Ja, to sem tudi jaz najprej zavrtel v glavi. Ampak a veš, kaj sem potem ugotovil? Da bi za to rabil izredno trdnega in stabilnega človeka. Ki bi znal zapraviti čas za to početje in hkrati še vedno kaj narediti v znanosti. Hkrati pa tudi misliti na to, da bo imel za jesti. Mimogrede, a potem so že uredili na tisti agenciji za dajanje ocen, da so imena ocenjevalcev javna, da veš, kdo te ocenjuje? Ja, resno, treba bo vzeti… Beri dalje »
Super prispevek! ARRS resnično ve, kako spodbuditi negativno selekcijo in mediokracijo.
Zdrava pamet,
saj v to smo prisiljeni, kar si predlagal, ampak zalostno je, da za clanek, ki ga napisem v dveh popoldnevih (dobesedno), dobim višjo oceno kot za članek, za katerim je tri leta dela moje raziskovalne skupine.
Pa še en problem nastane pri tvojem predlogu in takšnem nabiranju točk; pri ocenjevalcih projektov v Evropi (Slovenije verjetno častno izvzeta) in ZDA je veliko število člankov v revijah z nizkim faktorjem vpliva negativni kazalec, tako da moramo paziti tudi na to.
Hm, večna (in večno boleče zanimiva) tema. Malo sem postal* pri podatku o tem, da za 100 citatov članka v vrhunski reviji dobiš enako točk kot za 25 citatov v neki obrobni reviji. (*Razlog za mojo nepoučenost je seveda v tem, da se v pravu, kjer je velika večina objav (slovenske in svetovne) pravne znanosti zunaj indeksiranih baz, z normiranjem citatov ne ukvarjamo. Citate svojih del sicer rade volje opazim, med njimi pa tudi veliko razlik, a to je nemara že spet druga zgodba, ki je matematično normiranje ravno tako ne (more) upošteva(ti).) Kakorkoli že, sem šel pogledat, kako je… Beri dalje »
Matej, absolutno se strinjam s teboj, absolutne matematične objektivizacije ni mogoče narediti, pri vsaki bodo pomanjkljivosti. A ko gre za tako očitne nesmisle (lahko bi navedel nekaj konkretnih primerov, ko pri revijah, za katere je ze iz naslova ocitno, da so iz istega generalnega podrocja, revija z nekajkrat nizjim faktorjem vpliva prinese avtorju višjo oceno tako same objave kot pri številu citatov kot pa revija s precej višjim faktorjem vpliva), kot so pri tem točkovanju ARRS in normiranju citatov, bi pričakoval, da bo vsaj kdo pripravljen poslušati argumente in razpravljati o očitnih nepravilnostih takšnega sistema, vendar tega žal ni. Pa… Beri dalje »
Ne trdim, da imamo v Sloveniji ne vem kako dobro znanost, ampak iz številk objavljenih v Delu se ne da sklepati, da imamo slabo.
Hirschev indeks za državo namreč pove, koliko člankov, ki so velikokrat citirani (tolikokrat, kot je vrednost indeksa) smo spisali vsi slovenci. Seveda smo jih manj, kot npr. Poljaki, saj nas je 20x manj.
Kot je razumeti iz besedila v Delu, so za oceno upoštevali samo članke, ki so nastali 100% v Sloveniji. S tem so spet diskriminirane manjše države, v katerih raziksovalci že po verjetnostem računu bolj verjetno najdejo sodelavce iz druge države.
@Gregor: "… bi pričakoval, da bo vsaj kdo pripravljen poslušati argumente in razpravljati o očitnih nepravilnostih takšnega sistema, vendar tega žal ni."
Oprosti, ampak kako tega žal ni?
problemi
Par dni sem bil odsoten, tako da nisem mogel odgovarjati na komentarje. Predzadnji anonimni: imas prav, da Hirschev indeks ni primeren za primerjavo med drzavami, zato se bralcem tega bloga, opravicujem za to mojo napako. Se vedno pa trdno stojim za svojim osnovnim sporocilom, da nas sistem ocenjevanja znanosti spodbuja povprecnost ne pa dobre znanosti in da smo raziskovalci, ki se trudimo objavljati v dobrih mednarodnih revijah za to kaznovani. Da je temu tako (da se ne spodbuja dobrih raziskav v mednarodnem merilu) po mojem mnenju potrjuje že analiza, ki jo je v cetrtek v Delu objavila ARRS, ki kažem,… Beri dalje »