Kje je slovenska znanost

    Danes je v časopisu Delo (Delova tema: Znanost v Sloveniji – posamezniki v vrhu, večina pod povprečjem) objavljen članek o (ne)uspešnosti slovenske znanosti v mednarodni primerjavi glede na indeks citiranosti (če prav razumem članek gre sicer za Hirschev indeks in ne za indeks citiranosti, ampak to ni tako pomembno). Članek navaja porazne rezultate Slovenije, ki pa so žal samo odraz tega, na kar nekateri opozarjamo že skoraj deset let. Sam sem že pred devetimi leti začel opozarjati, da so nas Poljska, Češka, Slovaška in Madžarska na področju znanosti že prehitele, in točno to se je pokazalo ob najnovejši analizi (po tej analizi smo zdaj tik pred Romunijo in Bolgarijo).

    Na vzroke za takšen porazen rezulat nekateri tudi že nekaj časa opozarjamo, a seveda je to vse glas vpijočega v puščavi. Enostavno, za tako porazen rezultat je kriva slovenska uravnilovka v znanosti. Na področju znanosti o življenju (ki ga najbolje poznam, tako da lahko komentiram samo to področje in povsem dopuščam in verjamem, da situacija ni povsem enaka za druga področja) v svetu velja merilo pomembnosti revije in sicer je to faktor vpliva. Ne bom trdil, da je ta sistem idealen, ima pa zagotovo pozitivne stvari, ker temelji na odmevnosti (kar se večinoma verjetno lahko enači s pomembnostjo) znanstvenih odkritij. Večkrat kot je bilo tvoje delo citirano, bolj pomembno je za celotno znanstveno srenjo, večkrat je bilo tvoje odrkitje osnova za nova znanstvena odkritja. Na podlagi te odmevnosti (citatov) se potem rangirajo znanstvene revije in ve se, v katerih revijah se objavljajo najpomembnejši rezultati. Pri nas pa smo uvedli nekakšen sistem uravnilovke, ker je menda na nekaterih področjih težje raziskovati in objavljati (pa čeprav bo prav vsak znanstvenik, ki dela na širokem področju bioznanosti, lahko objavil svoje rezultate v Science ali Nature, če bodo raziskave tako pomembne, da bodo zanimale celotno svetovno zannstveno javnost). Tako se v našem sistemu bolj splača objavljati nepomembne članke v marginalnih revijah z nizkim faktorjem vpliva (se pravi nizko odmevnostjo in nizko citiranostjo) kot pa v dobrih revijah. Za članek v vrhunski reviji je potrebno vsaj dve do tri leta trdega dela raziskovalne skupine, medtem ko lahko v neki lokalni reviji, ki pa ima faktor vpliva (pa čeprav nizek) objaviš članek zelo hitro z malo dela. Po kriterijih ocenjevanja slovenske znanosti pa boš dobil za objavo v nepomembni, redko citirani reviji enako oceno kot za objavo v vrhunski znanstveni reviji, kar seveda vodi k inflaciji člankov v nepomembnih in neodmevnih revijah, saj nisi nagrajen za objavo v dobri reviji.

    Do absurda pa je ta sistem slovenske uravnilovke prignan pri t.i. normiranju citatov. Tu smo raziskovalci, ki se trudimo objavljati v dobrih svetovnih revijah (kar je nujno potrebno, če želimo pridobiti mednarodne raziskovalne projekte) dodatno kaznovani. Ker smo objavili odmeven članek v odlični tuji reviji, nas slovenski sistem štetja citatov, ki jih prinaša tak članek, kaznuje in nam zmanjša število citatov lahko celo za dve tretjini (namesto 300 citatov ti štejejo, da so bili tvojo članki citirani samo 100-krat?!), medtem ko bo lahko citat v mednarodno nepomembni reviji prinesel pri ocenjevanju avtorju celo več kot 1 citat! Se pravi, avtor, ki objavi članek v vrhunski reviji z visokim faktorjem vpliva, bo za sto citatov tega članka imel v Sloveniji priznanih 30 citatov (povsod po svetu seveda 100). Avtor, ki objavi članek v neki marginalni reviji, njegov članek pa bo citiran 25-krat (se pravi 4-krat manj), pa bo v slovenskem sistemu ocenjevanja dobil priznanih 30 citatov. Kakšen je smisel takšnega ocenjevanja, sploh v letu 2011, ko so vse revije (z visokim in nizkim faktorjem vpliva) prisotne na svetovnem spletu in so vse enako vidne, pa je verjetno jasno samo avtorjem takšnega absurdnega sistema.

    Rezultati teh absurdnosti slovenskega uniktnega ocenjevanja znanosti pa so se pokazali ravno pri tej najnovejši analizi, ki je pokazala točno to – sistem vodi v kvantiteto (objavljanje velikega števila nedomevnih člankov v nepomembnih revijah), ne pa v kvaliteto, in dokler ne bomo spremenili sistema in zares začeli nagrajevati znanstvene odličnosti ter spodbujati kvalitetno znanost, nam tudi povečevanje sredstev za znanost ne bo pomagalo, da bi slovenska znanost postala pomembnejša v mednarodnem prostoru, niti da bi imela večji vpliv na razvoj celotne družbe, kar naj bi bil namen znanosti.

    13 KOMENTARJI

    1. Te stvari so tako depresivne. Joj, joj.
      Zase lahko rečem (še vedno študent, diplomiral bom pri skoraj 25. letih, kar je grozno – povem samo zato, da me ne bo kdo preveč poslušal), da sem odmislil, da bi bil raziskovalec, da bi kaj prispeval k znanosti, da bi bil fizik kakor so bili številni moji (zgolj še literarni) idoli pred mano. Se bom raje vrnil v tisto stanje razmer, ko sem bil srečen, da sem študiral reči zgolj iz zadovoljstva in jih potem razlagal drugim (deloma zato, ker ne bi prenesel tega življenja znanstvenika, pa zato, ker bi bil samo (pod)"povprečen" fizik).

      Te pa razumem (tikam, ker smo na internetu, 😉 ). Delaš nekaj, skušaš biti uspešen, hočeš nekaj prispevati k znanju, potem te pa taisti, ki so ti rekli, daj, daj delaj, objavljal itd… na koncu pokažejo, kako sami ne pristajajo na zdravilo, ki ga predpisujejo drugim. Po eni strani ti pravijo, svet je tvoj, znanstvenik in resnica/pravica gresta z roko v roki, po drugi strani pa, da boš pač moral čakati in upati na boljše. Namesto da bi oni sami kaj spremenili tudi za tvoje dobro… Mislim, da si znanstveniki zaslužite več, no tako.

      Komu dati denar, komu ne, kdo bo profesor, kdo ne bo…. Mogoče pa bi glede zadnjega bilo prav, če bi gospodje "zgoraj" več poslušali študente, 😉

      Mimogrede, a tak sistem točkovanja velja za celo Univerzo ali samo za naravoslovno skupnost? Če velja za vse, bi se morda poskusili "odcepiti".

      (ZdravaPamet)

    2. Sistem, opisan zgoraj velja za celotno znanstveno srenjo v Sloveniji, to je sistem, ki ga ima in izvaja ARRS za ocenjevanje raziskovalcev (in je dostopen vsakomur preko spletne strani SICRIS-a) tako na univerzah kot na inštitutih.

    3. Da je sistem absurden, je moč pokazati izključno na ta način, da se držiš pravil tega sistema do pikice natančno.

      Gregor verjamem, da ste znanstveniki, tu mislim predvsem na vas "kvarkadabrovce" sposobni izpisati en tak, kot praviš, nepomeben članek, tako hitro kot ta tekst tvojega bloga, torej producirajte na tisoče (ok malo pretiravam) nepomebnih člankov, nabijajte si citiranost, tako da citirate eden drugega. V glavnem "štepajte" članke enega za drugim. Mogoče, ne mogoče, zagotovo se bo potem prikazalo Realno te idiotske ureditve, tiso Realno, ki je vedno grozno.

      Če bi bil sposoben kaj napisati bi vam tudi sam pomagal.

      Takšen sistem se lahko zruši samo na ta način da se ga upošteva do pikice natančno.

      Žižek je na enem predavanju v Zagrebu rekel: Živite v kapitalizmu, torej obnašajte se kapitalistično, brez najmanjšega etičnega predsodka grabite.

      Ima prav, če bi se vsi obnašali, kot nosilci kapitala, bi bilo s kapitalizmom kmalu konec.

      Podobno je s članki oziroma indeksi citiranja.

      problemi

    4. Članek je bolj osamljen primer, sicer se mi zdi, da v medijih prevladujejo mnenja, kako je slovenska znanost dobra.

      Domnevam, da zato, ker za mnenje sprašujejo vladajoče politike oz. tiste znanstvenike, ki jim je všeč trenutna ureditev. Ker jim omogoča, da so glavni na kupu gnoja.

    5. "Da je sistem absurden, je moč pokazati izključno na ta način, da se držiš pravil tega sistema do pikice natančno."

      Ja, to sem tudi jaz najprej zavrtel v glavi. Ampak a veš, kaj sem potem ugotovil? Da bi za to rabil izredno trdnega in stabilnega človeka. Ki bi znal zapraviti čas za to početje in hkrati še vedno kaj narediti v znanosti. Hkrati pa tudi misliti na to, da bo imel za jesti.

      Mimogrede, a potem so že uredili na tisti agenciji za dajanje ocen, da so imena ocenjevalcev javna, da veš, kdo te ocenjuje?

      Ja, resno, treba bo vzeti kaj v roke, in narediti kaj za znanost pri nas. Če kdo rabi izgovor, naj si reče, da to dela za bodoče generacije, če ne že zase. Transparent v roke, flomaster, napisati: "Tako univerzi kot v tovarni" in za en mesec pred Univerzo. Če eni tovornjakarji lahko zaprejo 8 km dolg tunel, pa dajte fiziki zapreti FMF za en mesec. Vsi se bomo iz tega nekaj naučili. In sem kar prepričan, da študentje fizike ne bodo tako docilni pri vsem tem, da bodo na "pravi strani".

      (ZdravaPamet)

    6. Zdrava pamet,
      saj v to smo prisiljeni, kar si predlagal, ampak zalostno je, da za clanek, ki ga napisem v dveh popoldnevih (dobesedno), dobim višjo oceno kot za članek, za katerim je tri leta dela moje raziskovalne skupine.

      Pa še en problem nastane pri tvojem predlogu in takšnem nabiranju točk; pri ocenjevalcih projektov v Evropi (Slovenije verjetno častno izvzeta) in ZDA je veliko število člankov v revijah z nizkim faktorjem vpliva negativni kazalec, tako da moramo paziti tudi na to.

    7. Hm, večna (in večno boleče zanimiva) tema. Malo sem postal* pri podatku o tem, da za 100 citatov članka v vrhunski reviji dobiš enako točk kot za 25 citatov v neki obrobni reviji.

      (*Razlog za mojo nepoučenost je seveda v tem, da se v pravu, kjer je velika večina objav (slovenske in svetovne) pravne znanosti zunaj indeksiranih baz, z normiranjem citatov ne ukvarjamo. Citate svojih del sicer rade volje opazim, med njimi pa tudi veliko razlik, a to je nemara že spet druga zgodba, ki je matematično normiranje ravno tako ne (more) upošteva(ti).)

      Kakorkoli že, sem šel pogledat, kako je s tem – citati se torej za potrebe točkovanja normirajo tako, da se število citatov deli s faktorjem vpliva revije, v katerem je bilo citirano delo objavljeno? Ha, dobra.

      Za pet sekund lahko poskusim biti advocatus diaboli: pri citiranju so avtorji malo izbirčni – citirati članek iz najboljše svetovne revije izpade veliko bolje, kot pa če citiraš članek iz nekega obskurnega ljubljanskega srednješolskega glasila. Tako bodo članki, objavljeni v najboljših revijah, na trgu "povpraševanja po citatih" gotovo v prednosti pred tistimi, objavljenimi v slabših revijah – pri prvih za citiranje poskrbi že pedigre revije, pri slednjih pa je vsak citat nekakšen dokaz, da ima članek kljub slabši reviji vrline, zaradi katerih ga drugi avtorji uporabljajo kot referenco. Pri prvih je "izplen" za avtorja že točkovanje samega članka zaradi prestiža revije, pri drugih pa večje vrednotenje citatov dobrih člankov pomeni nekakšno "nadomestilo" za slabši izhodiščni položaj zaradi nižjega ranga revije.

      Toliko v bran osnovni ideji, ki najbrž vsaj navzven sloni na podobnih argumentih. Res pa si lahko brez težav predstavljam tri probleme, ki jo okrnijo:

      (1) Če avtorji v podkrepitev svoje teze ali dokaz svoje razgledanosti želijo navajati vse relevantne prispevke, potem je dokaj vseeno, v kateri reviji je članek objavljen.

      (2) Če tovrstno normiranje na koncu pomeni, da je "izplen" slabše objave z bolje normiranimi citati blizu ali celo enak dosti boljši objavi z enakim ali večjim številom slabše normiranih citatov, potem sistem nikakor ne funkcionira.

      (3) Če tovrstno normiranje poznajo njegovi uporabniki, potem spodbuja nečedne prakse vzajemnega citiranja, ki naj bi se že neodvisno od tega pojavljalo tako med posameznimi avtorji kot med posameznimi (nižje rangiranimi, a ambicioznimi) revijami.

      Na koncu se lahko spet vrnem zgolj k temu, da je vsak poskus popolne matematične "objektivizacije" znanstvene uspešnosti že vnaprej obsojen na cel kup pomanjkljivosti. A če (ali dokler) ne gre brez njega, ga kaže vsaj popravljati. Gregorjevi primeri, še posebno, če vodijo do problema pod (2), so povedni argumenti za to, da bi se sistem normiranja moral spremeniti oziroma vsaj prilagoditi.

    8. Matej, absolutno se strinjam s teboj, absolutne matematične objektivizacije ni mogoče narediti, pri vsaki bodo pomanjkljivosti. A ko gre za tako očitne nesmisle (lahko bi navedel nekaj konkretnih primerov, ko pri revijah, za katere je ze iz naslova ocitno, da so iz istega generalnega podrocja, revija z nekajkrat nizjim faktorjem vpliva prinese avtorju višjo oceno tako same objave kot pri številu citatov kot pa revija s precej višjim faktorjem vpliva), kot so pri tem točkovanju ARRS in normiranju citatov, bi pričakoval, da bo vsaj kdo pripravljen poslušati argumente in razpravljati o očitnih nepravilnostih takšnega sistema, vendar tega žal ni.

      Pa še ena konkretna pripomba na tvoj komentar – ze pri advocatus diaboli ne gre cisto tako kot si napisal – namreč, že pri točkovanju same objave je narejena uravnilovka, tako da objave v slabih revijah prinesejo enako ali celo več točk kot objave v dobrih revijah (zaradi razlik po področjih -s čimer se sicer načeloma strinjam, da so razlike po področjih, a tako kot so na področju znanosti o življenju ta področja razdrobljena pa je čisti nesmisel). Tako da je dejansko avtor članka v prestižni svetovni reviji kaznovan dvakrat (slabša oz. enaka ocena objave, kot če bi objavil v po mednarodnih merilih precej slabši reviji in nato še pri zbiranju in ocenjevanju citatov), oz. po najnovejšem celo trikrat, z novo kvantitativno oceno A4 ki naj bi bila kazalec vrhunskosti v svetovnem merilu, a spet uporablja normirane citate, kar pomeni, da vso vrhunskost zvodeni.

    9. Ne trdim, da imamo v Sloveniji ne vem kako dobro znanost, ampak iz številk objavljenih v Delu se ne da sklepati, da imamo slabo.
      Hirschev indeks za državo namreč pove, koliko člankov, ki so velikokrat citirani (tolikokrat, kot je vrednost indeksa) smo spisali vsi slovenci. Seveda smo jih manj, kot npr. Poljaki, saj nas je 20x manj.
      Kot je razumeti iz besedila v Delu, so za oceno upoštevali samo članke, ki so nastali 100% v Sloveniji. S tem so spet diskriminirane manjše države, v katerih raziksovalci že po verjetnostem računu bolj verjetno najdejo sodelavce iz druge države.

    10. @Gregor: "… bi pričakoval, da bo vsaj kdo pripravljen poslušati argumente in razpravljati o očitnih nepravilnostih takšnega sistema, vendar tega žal ni."

      Oprosti, ampak kako tega žal ni?

      problemi

    11. Par dni sem bil odsoten, tako da nisem mogel odgovarjati na komentarje.

      Predzadnji anonimni: imas prav, da Hirschev indeks ni primeren za primerjavo med drzavami, zato se bralcem tega bloga, opravicujem za to mojo napako. Se vedno pa trdno stojim za svojim osnovnim sporocilom, da nas sistem ocenjevanja znanosti spodbuja povprecnost ne pa dobre znanosti in da smo raziskovalci, ki se trudimo objavljati v dobrih mednarodnih revijah za to kaznovani. Da je temu tako (da se ne spodbuja dobrih raziskav v mednarodnem merilu) po mojem mnenju potrjuje že analiza, ki jo je v cetrtek v Delu objavila ARRS, ki kažem, da smo po številu člankov (ne glede na kvaliteto, se pravi absolutno samo kvantitativni kazalec) v evropskem vrhu, pri citiranosti teh člankov (kar pa po mojem mnenju kaže na odmevnost in s tem na pomembnost raziskav) pa smo pod evropskim povprečjem.

      Pa še odgovor zadnjemu anonimnemu – sam sem že večkrat tudi nekaterim odgovornim na ARRS razložil absurdnost tega sistema normiranja citatov na konkretnih primerih, ko revije, za katere je že iz naslova očitno, da objavljajo raziskave iz istega področja, pri nas obravnavamo ravno obratno kot v svetu in ti revija, ki je v svetu mnogo manj cenjena pri nas prinese višjo oceno in več citatov kot revija, ki jo cel ostali svet smatra za zelo prestižno revijo). A žal tudi povsem konkretni primeri, ki po mojem mnenju (in po mnenju kar precej mojih kolegov) povsem črno na belem kažejo, da je sistem povsem zgrešen, odgovornim ne pomenijo popolnoma nič

    PUSTITE KOMENTAR

    Vpiši svoj komentar!
    Prosimo vpišite svoje ime

    This site uses Akismet to reduce spam. Learn how your comment data is processed.