A10 – če bo objav manj, ali bodo tiste bolj kakovostne?

    Pred kratkim sem ponovno naletel na graf, ki je premalokrat izpostavljen, ko se pogovarjamo o naši znanstveni politiki. Objavljen je na spletni strani ARRS, ogledate pa si ga lahko tudi spodaj (naslov grafa je moj).

    V številu znanstvenih objav na milijon prebivalcev smo povprečje EU-27 presegli pred petnajstimi leti … in se pri tem nismo ustavili

    Graf prikazuje število znanstvenih objav na milijon prebivalcev. Kot kaže, smo v času po osamosvojitvi zaostajali za EU-27, v prvem desetletju zaostanek nadoknadili, odtlej pa je šlo samo še navzgor. Razlog za takšno obnašanje slovenskih raziskovalcev je razumljiv. Način razdeljevanja financiranja domače znanosti je bil v veliki meri podvržen akumulaciji točk, čemur so znanstveniki prilagodili svoj način dela. Več objav – več denarja je skozi leta postala znanstvena mantra.

    V zadnjih letih so na ARRS upoštevanje akumulacije točk počasi odstranjevali iz kriterijev razpisov, čemur pa znanstveniki svojega delovanja še niso povsem prilagodili. Tukaj je potrebno ločiti kvantitativne kazalce same od akumulacije, ki pomeni, da se znotraj nekega časovnega obdobja seštevajo vse točke vseh objav posameznega raziskovalca. Če kvantitativni kazalci sami po sebi še vzpodbujajo raziskovalca k objavljanju “močnejših” člankov, je pri akumulaciji točke, ki jih prinesejo “močnejši” članki, mogoče nadomestiti z intenzivnim objavljanjem “šibkejših” člankov.

    Šibko kakovost tako lahko kompenziramo s količino.

    Razprava se na tej točki lahko nadaljuje v mnogo smeri – v eni skrajnosti tudi v ukinitev kvantitativnih kazalcev, česar nikakor ne podpiram. Menim pa, da bi bilo potrebno ukiniti akumulacijo in namesto nje omejiti seštevanje le na N najpomembnejših člankov zadnjega obdobja, kjer je ena od možnosti N=10. Takšen kazalec se v razpravah omenja kot Pravilo 10/10, včasih tudi kar A10.

    Glede na to, da zgornji graf kaže, da v Sloveniji vsekakor ne potrebujemo več vzpodbujanja znanstvenikov, naj več objavljajo, ali ni mogoče nastopil čas, da vzpodbudimo kakovostnejše objave – mogoče ravno skozi A10?

    p.s.: kazalec je omenjen tudi v poročilu, ki ga je izdelala “Usmerjevalna skupina ARRS.” Imenujejo ga “Pravilo 10/10”:

    Uveljavitev pravila 10/10 pri vrednotenju znanstvene odličnosti

    Sedanji način upoštevanja bibliografskih podatkov (A1) povzroča nepotrebno
    kopičenje manj kakovostnih objav, ki zaradi seštevka lahko popačijo sliko glede
    pomembnosti objav posameznega raziskovalca.

    Ciljno stanje: Upoštevanje desetih najpomembnejših objav v zadnjih desetih letih pri vrednotenju znanstvene odličnosti.

    12 KOMENTARJI

    1. Pozdravljeni,

      morda le v razmislek … v zadnjem času berem na tej strani le še teme, v katerih se ukvarjate s svojim cehom in z nehvaležnim položajem, v katerega so vas pahnili. Med zvestimi bralci imate tudi tiste, ki niso v vašem cehu, pa jih vseeno radovednost do tega sveta privablja na vašo stran. Ali res ni več drugih tem, o katerih bi bilo vredno pisati?

      Joško

      • Joško, ta merila, o katerih govorimo usmerjajo naše delo. Če merila rečejo, ne pišite knjig, ker te niso nič, jih mi počasi ne bomo več pisali; če bodo rekli, ne pišite člankov v slovenščini, ker to ni nič, jih ne bomo več pisali itd. Zato toliko govora o tem. 🙂

        • Jaz se deloma strinjam z Joskom. Vcasih je bilo vec znanstvenih tem na blogu in manj politicnih. Se bom potrudil v prihodnje objaviti tudi kaj znanstvenih/insajderskih novic.

    2. Kako pa opredelimo, katera objava je močnejša in katera šibkejša? Ali je vsaka objava v Sloveniji šibkejša od objave v tujini? Ali je objava izven WoS šibkejša od objave v WoS?

      Kot pravnica se ne strinjam, da razvrstitev revij v WoS odraža dejansko vplivnost revij, mnoge založbe namerno ne želijo v baze SSCI s svojimi revijami, ker ne podpirajo tega sistema, pa so njihove revije vseeno vrhunske (denimo Oxford Law Journals…), za slovenske pravnike je tudi izjemno pomembno, da zgolj ne izvažajo svojega dela, ampak tudi prispevajo k razvoju slovenskega pravnega reda, a to se v merilih ARRS ustrezno ne odraža. Če se slovenski pravni raziskovalci ne bodo ukvarjali s slovenskim pravnim redom, ampak s tistimi, ki so bolj “pomembni” globalno, kdo se bo? Američani in Angleži prav gotovo ne, ker se oni ukvarjajo s svojimi pravnimi sistemi. Za to, da bi pravniki imeli močnejše objave po Vaših merilih, bi se morali zanimati za ameriško pravo in tam objavljati, kar je pa izjemno težko, ker bodo slovenski pravniki težko ustrezno velike avtoritete, da bi njihovi argumenti in komentarji ameriških pravnih rešitev bili sprejeti kot relevantni.

      Pri nas imamo vse vede poenotene, za vse veljajo ista merila vrednotenja, to so citati, pa čeprav vsem vedam ne ustrezajo. Avstralska ERA denimo izrecno opredeljuje, kaj je merilo odličnosti za katero vedo. Kaj če bi za naravoslovje dali merilo odličnosti objavljene znanstvene monografije v obsegu nad 500 strani ali citiranost v sodbah sodišč?

      In kaj sploh pomenijo te točke? Pa naj bodo po sistemu, kot je sedaj, ali po sistemu 10/10? Da bo tisti z najvišjo oceno tudi dejansko dobil raziskovalni projekt pri ARRS? Kot je rekel Einstein: “everything that can be counted does not necessarily count; everything that counts cannot necessarily be counted”.

      • Opredeljevanje “katera objava je močnejša in katera šibkejša” se dogaja že sedaj in na to zgornji predlog nima vpliva. Na rangiranje znotraj posameznih področij imajo vpliv Znanstveni sveti posameznih ved na ARRS, tako da bi bilo dobro vaše predloge/komentarje usmeriti nanje. V kratkem bodo objavljene nove sestave teh svetov, tako je dober čas, da vaša vprašanja odprete znotraj svojega področja (in v razpravo vključite vaš nov ZS vede).

        • Jernej, sama niti ne vem, kaj naj si mislim o pravilu 10/10, še nisem imela prilike dovolj premisliti tega. Vem, da mi sedanji sistem, ko je omejitev za objave pri oceni 4, ni všeč, ker se mi z vsakim novim objavljenim člankom skupna ARRS ocena zmanjšuje, ker se z novim vnosom članka zmanjša ocena A2. 🙂 Še najbolj me najbrž moti, ko se ne gleda na vsebino, ampak samo računalnik izračuna uspešnost posameznika in to se prenaša v znanstvene projekte, habilitacije in drugam. Potem pa imamo absurdne objave člankov v revijah, ki tja ne sodijo, ampak samo avtor članka tam nekoga pozna in mu članek objavijo, ARRS pa reče, vau, to pa ja 1A2 revija ali pa ljudje ustanovijo založbo v Londonu, kar je danes, ko smo v EU, čisto lahko in tam objavljajo monografije, ARRS pa spet reče, vauuu, tuja založba… :)))

          • Pred dvema dnevoma sem na mail dobila oglas za službo na PF v Liverpoolu. Pisalo je tole:

            We are seeking to appoint two Professors in Law to join our thriving group of active researchers. You will provide academic leadership in both teaching and research activities within the Law School. You will have a well-established track record with world-leading publications in international peer reviewed journals and a proven ability in obtaining external research funding. You will have ambitious plans for future research, both for yourself and for the Liverpool Law School. You will contribute to the teaching of our LLB undergraduate programmes and LLM masters programmes and will also supervise PhD students.

            We will consider applications from individuals with excellent research and specialisation in any areas of law and applications are particularly welcome from those whose research interests fit broadly within our existing research clusters.

            • Oni bodo sami preverili, koliko excellent si, bi bilo smešno, če bi pisalo, da mora imeti h faktor tak in tak in vsaj 1800 točk iz objav v zadnjih 5 letih. 🙂

      • Janja, čestitke za tale komentar. Opozarjaš na izjemno problematičnost, ki se je očitno še sami premalo zavedamo. Zadnjič sem govoril s kolegom iz Izraela in mi je povedal, da je pri njih pravna znanost v hebrejščini praktično izumrla v 15 letih po tem, ko so uvedli oz. sprejeli tole rangiranje revij…. Zato moja polna podpora tvojemu komentarju. 😉

      • Kaj če bi za naravoslovje dali merilo odličnosti objavljene znanstvene monografije v obsegu nad 500 strani …?

        … in potem združimo monografije za raka, leva in devico skupaj, pa dobimo 500 strani …

        Ampak, ja, se strinjam s problematiko. Delno se je sicer zavedajo, zato pa imamo razne normalizacijske faktorje, ki celo stvar še dodatno zapletejo in naredijo – vsaj na nekaterih področjih – še bolj nepravično.

        Osebno se tudi jaz najbolj nagibam k temu, da se šteje najboljših 5 ali 10 objav. Kaj so pa najboljše objave, naj se pa avtor-prijavitelj sam odloči. Pa naj se sam odloča med levo revijo s 1000 citati ali pa dobro revijo z nič citati. Ali pa med levimi revijami z nič citati 🙂

        • M, to sklicevanje na raka in devico je pa malo pikro, kajne? Kot da bi želeli reči, da so vse monografije takšne… to je kot da bi jaz trdila, da so vsi znanstveni članki kot članek one japonske biokemičarke Obokata, ki si je izmislila podatke in prišla v top revijo, njen mentor pa je nato naredil samomor. Verjemite, da imamo tudi monografije, ki terjajo več let dela, veliko izjemnosti pri izražanju v tujem jeziku, da se napiše 500, 600 ali 800 strani debela knjiga, ovrednotene so pa veliko slabše kot 3 strani dolg članek v naravoslovju. Tu ni nobenih normalizacijskih faktorjev, ki bi karkoli popravili. Po vsem svetu so monografije glavno merilo znanstvene uspešnosti v pravu, v Sloveniji pa pravila direktno pravijo, ne pišite monografij, ne slovenskih, ne tujih, ker ni vredno. Pa je to le ena od stvari, ki niso prav pri vrednotenju na ARRS. V pravu je lani denimo bilo objavljenih 4000 člankov v vseh SSCI revijah za pravo skupaj, nekatere revije objavilo le 6-10 člankov letno – na nekaterih drugih področjih pa poznam revije, ki so tedniki in tedensko objavijo 100 člankov. Komu je potem lažje zbrati 10 vrhunskih del v 10 letih? In kaj je sploh vrhunsko? Pošljem članek v znano mednarodno revijo, članek mi zelo pohvalijo, a pravijo, da iščejo 20 top člankov za letošnji letnik in da mojega na ta seznam ne morejo dati. Če bi bilo objavljenih 100 člankov na teden, bi najbrž moj članek bil objavljen… Samo toliko. Imam sicer še polno takih… samo nihče ne sproži široke razprave o vrednotenju in razlikah po vedah.

    PUSTITE KOMENTAR

    Vpiši svoj komentar!
    Prosimo vpišite svoje ime

    This site uses Akismet to reduce spam. Learn how your comment data is processed.