Za kratkočasenje ob pričakovanju rezultatov II. faze ARRS projektov (razpis v letu 2013), si poglejmo zanimivo zakonitost, ki je oblikovala napredovanje mnogih projektov skozi I. fazo razpisa. Poleg visoke ocene (in nekaj sreče), so si mnogi projekti namreč prislužili napredovanje tudi na podlagi dveh pravil, ki nista v povezavi s kakovostjo prijave. Ti dve pravili lahko povzamemo kot:
1) avtomatsko napredovanje v II. fazo za “povabljene prijavitelje”,
2) avtomatsko napredovanje podoktorskih projektov, ki so prijavljeni na “drugi ustanovi” z oceno > 15 (od 25, torej > 60% razpoložljivih točk).
Na I. fazo razpisa se je prijavilo 1217 projektov, izmed katerih jih je v II. fazo napredovalo le 276 (23%). Za financiranje vseh prijavljenih projektov potrebovali €106,900.000, torej kar 10x več, kot je vrednost razpisa (€11,000.000). Po mojem mnenju, si moramo kot znanstveni sektor sicer prizadevati za čim večji skupni proračun za raziskave, hkrati pa je nujno skrbeti, da se sredstva, ki so nam na razpolago, delijo najprej najbolj odličnim projektom z največjim potencialom za znanstvene rezultate. Pri izboru ARRS projektov je ozko grlo I. faza, kjer odpade največje število prijavljenih projektov. Pravila bi morala omogočati napredovanje najboljšim, brez preveč izjem, kar pa za trenutna pravila ne velja.
Izmed 276 projektov, ki so napredovali v II. fazo, jih je bilo le 158 (13%) izbranih na podlagi najboljših ocen prijav in kar 118 (10%) na podlagi zgoraj omenjenih pravil.
Še posebej sta pravili posegli na področja temeljnih, aplikativnih in podoktorskih projektov
(1) pri temeljnih projektih je napredovalo 61 avtomatsko izbranih, na podlagi ocen le 46 (izmed 429 prijavljenih).
(2) pri podoktorskih projektih je na podlagi pravila napredovalo 32 projektov in le 24 na podlagi ocen (izmed 296 prijavljenih). Povprečna ocena izbranih po oceni je 20.9, povprečna ocena izbranih po pravilu pa le 18.6.
Ukinitev pravila (2) pomeni pravično in enakopravno obravnavo vseh podoktorskih projektov. Avtomatsko napredovanje projektov, ki jih prijavitelji prijavijo na drugi ustanovi (npr. KI namesto FKKT, IJS namesto FMF, NIB namesto BF) je nesmiselno, saj to samo po sebi ni zagotovilo, da bo projekt kakovostnejši kot tisti, ki se izvaja v isti ustanovi. Takšno pravilo diskriminira prijavitelje iz podjetij in raziskovalce, ki so brezposelni, poleg tega pa je predmet zlorab. Mnogi raziskovalci so namreč ugotovili, da je prijava podoktorskega projekta na drugi ustanovi bližnjica v II. fazo.
Slovenski znanstveni sektor nujno potrebuje dogovor o bolj meritokratski in trajnostno naravnani delitvi sredstev. A ker je za korenite spremembe potreben čas in širši konsenz, lahko začnemo z manjšimi koraki. Predlagam, da znanstveni svet ARRS izbriše omenjeni pravili iz naslednjega ARRS razpisa, ki bo objavljen v prihodnjih mesecih.
Kaj ti pomaga projekt v II. fazi, če pa dejansko projekte izbere centralni komite ARRS. Oni najprej odločijo komu bodo dali določen projekt ocenjevati. Potem pa še odločijo katere ocene recenzentov bodo izločili in katerih ne. In to je čisto dovolj močan mehanizem, da so eni vedno rahlo nad mejo, drugi pa vedno tik pod…
Zadeva je sla letos se malo dlje in malo hujse, o cemer smo govorili tudi ze na tem blogu. Na nekaterih podrocjih je sel v drugi krog samo tisti projekt, ki je bil vnaprej povabljen, kar pomeni, da so takemu nosilcu avtomaticno prisodili projekt, brez tekmovalnega izbora, saj v drugem krogu ni imel nobene konkurence in je, ce je le napisal nekaj in vlogo oddal, dobil projekt (ce so na podrocju proste ure, kar je seveda dodatna anomalija celega sistema).
Jaz se še vedno zavzemam za to, da bi vodje programskih skupin sploh ne smeli kandidirati na razpisih za projekte – ne pa da so avtomatično uvrščeni v drugi krog! Naj raje kandidirajo tisti raziskovalci, za katere vodje programov nabirajo ure.
Kakršnikoli kozmetični popravki obstoječega sistema so blažev žegen. V teoriji projekte ocenjujejo neodvisni recenzenti. V praksi pa ARRS izbira te recenzente, in tam dobro vedo kateri recenzenti dajejo v povprečju visoke numerične ocene in kateri nizke. Če pa izbor recenzentov ne da rezultata, kakršnega hoče znanstveni svet agencije (ZSA), pa ima ZSA še možnost, da arbitrarno odloči o zavrnitvi katere od ocen recenzenta. Te dve orodji v rokah ZSA sta čisto dovolj močno orodje, da de facto ZSA odloča o tem kdo dobi projekt in kdo ne. Če bi hoteli imeti kolikortoliko pošten sistem, bi morali recenzenti ocenjevati projekt kvalitativno,… Beri dalje »
Anonimni, tvoja ideja se mi zdi zelo dobra, bi bilo vredno o njej razmisliti inj o pripraviti v taksno obliko, da bi jo lahko predlagali kot uradni predlog. Ena nadgradnja, ki bi jo jaz naredil je anonimiziranje opisnih ocen, ki bi jo v kvalitativno ocenjenvanje dobili clani panela, se pravi, da clani panela ne bi vedeli, na kateri projekt se ocene nanasajo. Mislim, da bi bilo to povsem izvedljivo, bi pa dodatno zagotovilo za objektivno delo panela.
Kdo so izbranci, ki se uvrstijo direktno v drugi krog? Imena bi morala biti javna in razlog za njihov izbor tudi. Ali morda so?
Urša
Kot vem, so kriterij famozne ARRS tocke, in na podrocjih, kjer je tisto leto na voljo denar, naj bi raziskovalec z najvec tockami dobil povabilo. Ce v resnici poteka vse tako transparentno pa ne vem, ze sam ta postopek pa je zagotovo problematicen, kot smo ze veckrat govorili tudi na tem blogu ARRS to ke zagotovo niso merilo raziskovalne uspesnosti v mednarodnem merilu in kot drugo, nekaterim posvecenim je dovoljeno spreminjati podrocja povsem poljubno, tako da kandidirajo eno leto na enem podrocju, drugo na drugem, pac tam kjer presodijo, da bodo najbolj verjetno uspesni. Tako npr. Nek kemik, ki ima… Beri dalje »
Pa se to, ze leta 2011 je mednarodna skupina evalvatorjev dela ARRS, s katero se direktor zelo rad hvala, opozorila, da je to vabljenje vnaprej lahko problematicno in ima veliko tveganje za korupcijo…a psi lajajo, karavana pa gre mirno dalje…
Ne da ima to vabljenje naprej korupcijsko tveganje, to je sistemska korupcija.
Točkovanje citatov: ali je točkovanje citatov kakorkoli matematično ali statistično podkrepljeno? Namreč, število citatov, ki ga dobi članek, se na nekaterih področjih deli s srednjo vrednostjo področja članka, medtem ko se na drugih področjih množi z neko vrednostjo. Ali lahko kdo razloži, čemu taka komplikacija? Ali ni en citat pač en citat? Na nekaterih področjih je tako potrebno zbrati 5 ali več citatov, da se prikaže v sistemu, da je bil nek članek citiran – točno 1-krat. Ali je to smiselno? Nasprotno pa na področjih, kjer se citati množijo, to pomeni, da 4 citati v realnem svetu (beri v Wosu… Beri dalje »