ARRS projekti – ali pravila izbora res promovirajo najkakovostnejše prijave?

    Za kratkočasenje ob pričakovanju rezultatov II. faze ARRS projektov (razpis v letu 2013), si poglejmo zanimivo zakonitost, ki je oblikovala napredovanje mnogih projektov skozi I. fazo razpisa. Poleg visoke ocene  (in nekaj sreče), so si mnogi projekti namreč prislužili napredovanje tudi na podlagi dveh pravil, ki nista v povezavi s kakovostjo prijave. Ti dve pravili lahko povzamemo kot:
    1) avtomatsko napredovanje v II. fazo za “povabljene prijavitelje”,
    2) avtomatsko napredovanje podoktorskih projektov, ki so prijavljeni na “drugi ustanovi” z oceno > 15 (od 25, torej > 60% razpoložljivih točk).
    Na I. fazo razpisa se je prijavilo 1217 projektov, izmed katerih jih je v II. fazo napredovalo le 276 (23%). Za financiranje vseh prijavljenih projektov potrebovali €106,900.000, torej kar 10x več, kot je vrednost razpisa (€11,000.000). Po mojem mnenju, si moramo kot znanstveni sektor sicer prizadevati za čim večji skupni proračun za raziskave, hkrati pa je nujno skrbeti, da se sredstva, ki so nam na razpolago, delijo najprej najbolj odličnim projektom z največjim potencialom za znanstvene rezultate. Pri izboru ARRS projektov je ozko grlo I. faza, kjer odpade največje število prijavljenih projektov. Pravila bi morala omogočati napredovanje najboljšim, brez preveč izjem, kar pa za trenutna pravila ne velja.
    Izmed 276 projektov, ki so napredovali v II. fazo, jih je bilo le 158 (13%) izbranih na podlagi najboljših ocen prijav in kar 118 (10%) na podlagi zgoraj omenjenih pravil.
    Še posebej sta pravili posegli na področja temeljnih, aplikativnih in podoktorskih projektov
    (1) pri temeljnih projektih je napredovalo 61 avtomatsko izbranih, na podlagi ocen le 46 (izmed 429 prijavljenih).
    (2) pri podoktorskih projektih je na podlagi pravila napredovalo 32 projektov in le 24 na podlagi ocen (izmed 296 prijavljenih). Povprečna ocena izbranih po oceni je 20.9, povprečna ocena izbranih po pravilu pa le 18.6.

    V obeh primerih je torej med izbranimi v II. fazo več kot polovica (57%) takšnih, ki so napredovali zaradi pravila, ne pa kakovosti vsebine prijave. Ker je II. faza manj strog filter kot I. faza, je nezaslišano, da dve pravili na določenih področjih krojita usodo, še posebej zato, ker nista povezani s kakovostjo prijavljenih projektov.Ukinitev pravila (1) pomeni le približno 7% več projektov za ocenjevanje v I. fazi, prinese pa bolj pravično in enakopravno obravnavo vseh raziskovalcev.
    Ukinitev pravila (2) pomeni pravično in enakopravno obravnavo vseh podoktorskih projektov. Avtomatsko napredovanje projektov, ki jih prijavitelji prijavijo na drugi ustanovi (npr. KI namesto FKKT, IJS namesto FMF, NIB namesto BF) je nesmiselno, saj to samo po sebi ni zagotovilo, da bo projekt kakovostnejši kot tisti, ki se izvaja v isti ustanovi. Takšno pravilo diskriminira prijavitelje iz podjetij in raziskovalce, ki so brezposelni, poleg tega pa je predmet zlorab. Mnogi raziskovalci so namreč ugotovili, da je prijava podoktorskega projekta na drugi ustanovi bližnjica v II. fazo.

    Slovenski znanstveni sektor nujno potrebuje dogovor o bolj meritokratski in trajnostno naravnani  delitvi sredstev. A ker je za korenite spremembe potreben čas in širši konsenz, lahko začnemo z manjšimi koraki. Predlagam, da znanstveni svet ARRS izbriše omenjeni pravili iz naslednjega ARRS razpisa, ki bo objavljen v prihodnjih mesecih.

    10 KOMENTARJI

    1. Kaj ti pomaga projekt v II. fazi, če pa dejansko projekte izbere centralni komite ARRS. Oni najprej odločijo komu bodo dali določen projekt ocenjevati. Potem pa še odločijo katere ocene recenzentov bodo izločili in katerih ne. In to je čisto dovolj močan mehanizem, da so eni vedno rahlo nad mejo, drugi pa vedno tik pod…

    2. Zadeva je sla letos se malo dlje in malo hujse, o cemer smo govorili tudi ze na tem blogu. Na nekaterih podrocjih je sel v drugi krog samo tisti projekt, ki je bil vnaprej povabljen, kar pomeni, da so takemu nosilcu avtomaticno prisodili projekt, brez tekmovalnega izbora, saj v drugem krogu ni imel nobene konkurence in je, ce je le napisal nekaj in vlogo oddal, dobil projekt (ce so na podrocju proste ure, kar je seveda dodatna anomalija celega sistema).

    3. Jaz se še vedno zavzemam za to, da bi vodje programskih skupin sploh ne smeli kandidirati na razpisih za projekte – ne pa da so avtomatično uvrščeni v drugi krog! Naj raje kandidirajo tisti raziskovalci, za katere vodje programov nabirajo ure.

      • Kakršnikoli kozmetični popravki obstoječega sistema so blažev žegen. V teoriji projekte ocenjujejo neodvisni recenzenti. V praksi pa ARRS izbira te recenzente, in tam dobro vedo kateri recenzenti dajejo v povprečju visoke numerične ocene in kateri nizke. Če pa izbor recenzentov ne da rezultata, kakršnega hoče znanstveni svet agencije (ZSA), pa ima ZSA še možnost, da arbitrarno odloči o zavrnitvi katere od ocen recenzenta. Te dve orodji v rokah ZSA sta čisto dovolj močno orodje, da de facto ZSA odloča o tem kdo dobi projekt in kdo ne.

        Če bi hoteli imeti kolikortoliko pošten sistem, bi morali recenzenti ocenjevati projekt kvalitativno, člani ZSA pa bi morali kvalitativnim ocenam pripisati ustrezne kvantitativne ocene. Potem pa bi morali zgornjo in spodnjo tretjino kvantitativnih ocen zavreči, iz srednje tretjine pa izračunati povprečje. Za vsaj malo objektivnosti pri pretvorbi iz kvalitativnih v kvantitativne ocene pa bi poskrbeli tako, da bi bile kvalitativne ocene recenzentov in kvantitativne ocene posameznih članov ZSA javno znane (če torej kak član ZSA svojemu kolegu da visoko kvantitativno oceno ob dejstvu, da so dotičnemu kandidatu recenzenti spljuvali projekt, naj bo to vsaj javno znano, ta član ZSA pa potencialno subjekt diskreditacije).

      • Anonimni, tvoja ideja se mi zdi zelo dobra, bi bilo vredno o njej razmisliti inj o pripraviti v taksno obliko, da bi jo lahko predlagali kot uradni predlog. Ena nadgradnja, ki bi jo jaz naredil je anonimiziranje opisnih ocen, ki bi jo v kvalitativno ocenjenvanje dobili clani panela, se pravi, da clani panela ne bi vedeli, na kateri projekt se ocene nanasajo. Mislim, da bi bilo to povsem izvedljivo, bi pa dodatno zagotovilo za objektivno delo panela.

    4. Kdo so izbranci, ki se uvrstijo direktno v drugi krog? Imena bi morala biti javna in razlog za njihov izbor tudi. Ali morda so?
      Urša

    5. Kot vem, so kriterij famozne ARRS tocke, in na podrocjih, kjer je tisto leto na voljo denar, naj bi raziskovalec z najvec tockami dobil povabilo. Ce v resnici poteka vse tako transparentno pa ne vem, ze sam ta postopek pa je zagotovo problematicen, kot smo ze veckrat govorili tudi na tem blogu ARRS to ke zagotovo niso merilo raziskovalne uspesnosti v mednarodnem merilu in kot drugo, nekaterim posvecenim je dovoljeno spreminjati podrocja povsem poljubno, tako da kandidirajo eno leto na enem podrocju, drugo na drugem, pac tam kjer presodijo, da bodo najbolj verjetno uspesni. Tako npr. Nek kemik, ki ima vse znanstvene objave samo s podrocja ciste analiticne kemije eno leto kandidira za projekt na podrocju rastlinske produkcije, naslednje leto na podrocju zivalske produkcije dobi mladega raziskovalca…

    6. Pa se to, ze leta 2011 je mednarodna skupina evalvatorjev dela ARRS, s katero se direktor zelo rad hvala, opozorila, da je to vabljenje vnaprej lahko problematicno in ima veliko tveganje za korupcijo…a psi lajajo, karavana pa gre mirno dalje…

    7. Točkovanje citatov: ali je točkovanje citatov kakorkoli matematično ali statistično podkrepljeno? Namreč, število citatov, ki ga dobi članek, se na nekaterih področjih deli s srednjo vrednostjo področja članka, medtem ko se na drugih področjih množi z neko vrednostjo. Ali lahko kdo razloži, čemu taka komplikacija? Ali ni en citat pač en citat? Na nekaterih področjih je tako potrebno zbrati 5 ali več citatov, da se prikaže v sistemu, da je bil nek članek citiran – točno 1-krat. Ali je to smiselno? Nasprotno pa na področjih, kjer se citati množijo, to pomeni, da 4 citati v realnem svetu (beri v Wosu ali Scopusu ali kje drugje…) še vedno pomenijo 4 citati, pri nas pa se to šteje kar kot mnogokratnik števila 4. Tako lahko v primeru, da, če je srednja vrednost področja revije=x=5, to pomeni, da se takemu članku pripiše kar 20 citatov. Pa primerjajmo: članek na področju dobi 10 citatov. Za področja, kjer se citate deli, to pomeni, da članek pri srednji vrednosti področja X=5 dobi 2 citata, na področju, kjer se citate množi, pa dobi članek 50 citatov.
      Hm. Pa v današnjem svetu, kjer je je toliko revij na razpolago, mislim, da kakšni izgovori o številu avtorjev in tako naprej, niso več relevantni. Kvečjemu bi lahko, glede na rastoče število revij in objav, ki jih je že nemogoče spremljati, lahko vsak citat upoštevali kot 1 citat in ne kot neko imaginarno število. Pa še v razmislek – katero revijo izbrati za objavo – tisto, ki je na področju, kjer so visoki faktorji in je s tem x tudi višji, ali tisto, ki je na slabšem področju in ima posledično tudi x nižji, a se bodo citati delili z nižjim faktorjem in se zato začeli prej “kopičiti”?

    PUSTITE KOMENTAR

    Vpiši svoj komentar!
    Prosimo vpišite svoje ime

    This site uses Akismet to reduce spam. Learn how your comment data is processed.