Analiza projektnega razpisa ARRS

Leto je skoraj že naokoli in kljub temu, da sem nameravala ta prispevek objaviti že poleti, se mi je zdelo bolj smiselno z njim počakati do novega razpisa za (so)financiranje raziskovalnih projektov, ki je sedaj odprt do začetka februarja.

To objavo sem si zamislila kot niz vprašanj in odgovorov, za katere upam, da bodo v pomoč tistim, ki boste nekaj naslednjih dni (tednov?) namenili pisanju vloge. Naredila sem analizo rezultatov lanskoletnega razpisa in kot že v prejšnjih objavah upoštevala le temeljne projekte (torej ne tudi aplikativnih). Že sedaj vsem prijaviteljem voščim srečno!

1. Kakšne so moje možnosti za pridobitev podoktorskega projekta?

Že vsa leta prej je veljalo, da je verjetnost za pridobitev podoktorskih projektov višja kot tista pri mladih doktorjih; enako je bilo tudi pri lanskem razpisu. Od 121 prijav jih je bilo namreč odobrenih 36, kar pomeni, da je bil delež vseh odobrenih projektov skoraj 30 %. Vsekakor pa je delež odobritve odvisen od posamezne vede. Najnižji je bil na vedi tehnika (24,2 %), kjer je bilo sprejetih 8 od 33 prijavljenih projektov. Podoben odstotek je bil na humanistiki, kjer je bilo sprejetih 8 od 31 projektov (25,8 %), najvišji pa je bil na vedi medicina (50,0 %), kjer je bilo sprejetih 5 od 10 prijavljenih projektov. Zanimivo je bil podoben trend že v letu 2019, z največjim deležem odobrenih podoktorskih projektov na medicini (54,5 %) ter najnižjim na humanistiki (16,7 %).

2. Kakšna pa je uspešnost pri mladih in izkušenih raziskovalcih?

Najprej naj definiram: mladi doktorji so tisti raziskovalci, ki so največ 10 let po letu zagovoru doktorata. V lanskem razpisnem letu je veljalo, da mora biti med izbranimi projekti vsaj 20 % takšnih, katerih nosilci so mladi doktorji. Odstotki uspešnosti pri temeljnih projektih so bili med mladimi doktorji in izkušenimi raziskovalci lani primerljivi: 18,5 % in 20,7 %. Za obe skupini velja, da je bila uspešnost najvišja na vedah medicine in družboslovja, najnižja pa pri mladih doktorjih na vedah naravoslovja in tehnike, kjer je bila uspešnost 13,7 % oz. 13,2 %, pri izkušenih raziskovalcih pa na vedi biotehnike, kjer je bilo odobrenih 7 od prijavljenih 50 projektov, kar pomeni, da je bila uspešnost 14,0 %.

3. Kako naj torej izberem vedo?

Izbor vede (oz bolj specifično področja, o tem več spodaj) je prepuščen prijavitelju, čigar cilj je čim bolj povečati svoje možnosti za uspeh. Takšne vrste kalkulacija je seveda sprevržena, saj nima niti korelacije, še manj pa vzročne povezave s kakovostnim raziskovalnim delom. Poleg ustreznih referenc dosedanjega dela, ki jih ima raziskovalec na tej vedi, ter kakovosti prijavljenega projekta (o obojem odločajo recenzenti, o tem kasneje) verjetnost uspeha pomembno določa delež sredstev, ki so za posamezno vedo na voljo. Razrez okvirnih sredstev je vsakič naveden v razpisni dokumentaciji. V primerjavi z lanskim razpisom so letos povečana sredstva na vedah naravoslovja in matematike, tehnike ter humanistike, znižana pa na vedah medicine, biotehnike ter družboslovja. Vendar pa se bistvo razreza ne skriva na vedah, temveč na področjih.

4. Področjih? Zakaj bi bilo to pomembno?

Vsaka veda je razdeljena na področja. In za vsako področje je ob vsakem razpisu napovedana okvirna količina sredstev. Vzemimo za primer področje etnologija, ki je uvrščena v vedo humanistika. V lanskem letu je bilo za to področje okvirno (!) predvidenih 120.000 €, kar pomeni, da se je pričakovalo, da se bo na tem področju financiral en projekt v vrednosti 100.000 €, oz dva ali mogoče trije polovični. Če pa pogledamo rezultate, lahko ugotovimo, da sta bila za financiranje izbrana dva projekta, katerih vodji sta mlada doktorja (eden izmed njih je bil ocenjen kar s 100 %, drugi pa z 98 %). Na zgodovinopisju je bila predvidena kapaciteta 300.000 €, podeljenih pa je bilo kar pet projektov, trije celi in dva polovična, najboljši z oceno 99,3 % in najslabši z oceno 88,0 %.

5. Aha, ali to pomeni, da se projekte odobri glede na odstotke znotraj enega področja ne glede na starost (podoktorski projekti/mladi/izkušeni)?

Včasih da, včasih ne. Poglejmo natančneje področje filozofija: predvidena kapaciteta področja je bila 210.000 €, odobreni pa so bili trije projekti. En podoktorski (polovičen, ocena 85,33 %), en mladi (ocena 98,0 %), ter en izkušeni (ocena 96,67 %). Naj poudarim, da recimo financiranja ni bil deležen projekt izkušenega vodje, ki je bil ocenjen s 96 %. Upoštevajoč oceno projekta je zaradi kapacitet področja in kvot tako možno oboje: nefinanciranje sicer vrhunsko ocenjenega projekta (97,33 %) ali financiranje povprečnega projekta (80,67 %).

6. Ali to pomeni, da je možno, da moj projekt ne bo izbran za financiranje četudi bo najbolje ocenjen med svojimi?

Tako je! Na geologiji med mladimi doktorji ni bilo izbranega nobenega projekta, kljub temu, da je imel najboljši oceno 93,33 %.

7. Ampak ali ni navedeno, da mora biti izbranih vsaj 20 % projektov mladih doktorjev?

Je, in to velja tudi letos. A ne za posamezno področje, temveč za celotno vedo, kar je bistvena razlika.

8. Na katerih področjih je uspešnost najnižja in kje najvišja?

Lani je bilo najbolj nesrečno področje vsekakor komunikacijska tehnologija, kjer ni bil od štirih prijavljenih projektov izbran nobeden. Kapaciteta področja je bila za lani 0 € (tako da so se prijavitelji že v osnovi trudili zaman. Čeprav še enkrat poudarjam, da so kapacitete področij le okvirni. V preteklosti se je namreč že dogajalo, da so bili odobreni projekti tudi na področjih z negativno kapaciteto). Najboljši projekt je bil sicer ocenjen z oceno 88,0 %, najslabši pa 79,3 %. Najuspešnejši področji pa sta informacijska znanost in bibliotekarstvo, kjer sta bila v financiranje izbrana oba prijavljena projekta (94,67 % in 89,33 %, oba sta bila sprejeta kot polovički). Enako velja za področje stomatologija (oceni odobrenih projektov sta bili 92,0 % in 88,0 %).

9. So katera področja na katerih je uspešnost še posebej nizka?

Da, poglejmo področja, na katerih je uspešnost temeljnih projektov nižja od 12 %. Na vedi naravoslovje takega področja ni, mu je pa najbližje kemija, kjer je bilo odobrenih 6 od 43 prijavljenih projektov (14,0 % uspešnost). Na vedi tehnika je bilo na področju materiali 55 prijav in 6 odobrenih projektov (10,9 % uspešnost) ter 2 projekta od 19 prijavljenih na področju proizvodne tehnologije in sistemi (10,5 % uspešnost). Na vedi medicina je bila lani najnižja uspešnost na področju nevrologija, kjer je bilo odobrenih 6 projektov od 32 (18,8 % uspešnost). Na vedi biotehnika je bila lani na področjih gozdarstvo, lesarstvo in papirništvo ter živalska produkcija in predelava 11,1 % uspešnost (na prvem recimo 18 prijav in 2 odobrena projekta). Na družboslovju je bilo najtesneje na ekonomiji, kjer so bili odobreni 3 projekti od 16 prijavljenih (18,75 % uspešnost). Na humanistiki je »ozkih grl« kar nekaj, omenimo antropologijo (odobren 1 projekt od 9), kulturologijo (odobren 1 projekt od 8) ter jezikoslovje (odobrena 2 projekta od 14).

10. Kako bodo moji znanstveni dosežki vplivali na končno oceno projekta?

Tretjino (pri temeljnih), oziroma četrtino (pri aplikativnih projektih) točk h končni oceni raziskovalnega projekta predstavlja kriterij B1 (znanstvena odličnost raziskovalcev), ki je določena v samem razpisu, metodologiji ocenjevanja prijav za razpise ter pravilniku o kriterijih za ugotavljanje izpolnjevanja pogojev za vodjo raziskovalnega projekta. Kot kazalniki so sicer navedeni izjemni dosežki, sposobnost samostojnega in ustvarjalnega razmišljanja ter sposobnost priprave predloga raziskave in vodenja raziskav.

11. In kako se to vrednoti?

Iz samih rezultatov razpisov prejšnjih let se tega ne da čisto predvideti. So pa zanimive nekatere primerjave med doseženimi točkami B1 in kvantitativnimi kazalniki, ki so dostopni na SICRISu. Na spodnjih grafih sem za razpisa iz let 2019 in 2020 primerjala dosežene točke B1 s točkami A1 (preračunane vrednosti iz kakovosti znanstvenih objav in števila soavtorjev – od 0 do 7) ter H10 (razmerje med številom publikacij in njihovo citiranostjo v zadnjih 10 letih, H-index) vodij projektov. Za odobritev projekta mora vodja izkazati oceno B1 med 3,5 in 5, oceno A1≥0,4 ter vsaj 1 čisti citat. V primerjavi ocene A1 ne kažejo prav nobene korelacije z ocenami B1, tako so se npr. našli projekti z oceno B1>4,5 ter sočasnim A1<1, po drugi strani pa tudi projekti z B1<4 ter sočasnim A1~7. Ocena H10 po drugi strani kaže bolj enostranska odstopanja: Konzorciji raziskovalcev (vodij) z nizko oceno B1 imajo praviloma tudi nizek H-indeks, po drugi strani pa imajo konzorciji z visoko oceno B1 lahko visok, ali nizek H-indeks.

12. Kaj to torej pomeni za mojo prijavo?

Očitno je, da se recenzenti na oceno A1 samega vodje ne ozirajo pri podeljevanju ocene, težko pa je reči, če h končni oceni prispevajo kvantitativni kazalniki drugih članov konzorcija. Če recenzenti SICRISa sploh ne upoštevajo, se zdi verjetno, da se osredotočajo na v prijavi navedene (relevantne) objave ter usposobljenost prijaviteljev primerjajo z rezultati na konkretnem področju in vsebino same prijave. To bi vsekakor veljalo kot dobra praksa, ki jo je potrebno spodbujati. Istočasno je to še ena potrditev, da sami kvantitativni kazalniki, ki jih navaja SICRIS, niso zares izpovedni za ocenjevanje znanstvene odličnosti.

13. Ali mi lahko pri uspešnosti na razpisu pomaga, če sem že vodja kakšnega ARRS projekta?

Ker lahko dostopam samo do podatkov o vodjah odobrenih projektov, ne pa tudi do podatkov raziskovalcev, ki na razpisu niso bili uspešni, ne morem analizirati, ali imajo raziskovalci, ki so bili že v preteklosti uspešni na razpisih ARRS, tudi na novih razpisih boljše možnosti. Zagotovo se je potrebno zavedati, da je število projektov, ki jih lahko vodi en raziskovalec, omejeno. Glede na razpisne pogoje lahko na letošnjem javnem razpisu sodelujejo le tisti raziskovalci, ki so eno leto po datumu za oddajo prijave vodje največ enega projekta (zanimivo je pri tem dodati, da tega pravila ni bilo v vseh razpisih zadnjih petih let).

Če pa vseeno pogledamo statistiko uspešnih prijav projektov za leto 2020, je bilo 205 projektov podeljenim 151 novim vodjem, 35 projektov je bilo podeljenih raziskovalcem, ki so imeli v obdobju 2015-2019 že 1 projekt, 15 projektov vodjem z že dvema in 4 projekti vodjem z že tremi v omenjenem obdobju. Raziskovalci, ki so že pridobili financiranje ARRS projektov so pri ponovnih prijavah torej relativno dobro uspešni.

14. Kaj pa če sem vodja programske skupine – imam boljše možnosti?

Začnimo s številkami – od 205 uspešnih projektov v letu 2020 jih je bilo 26 (12,7 %) podeljenih vodjem programskih skupin. To je dokaj visok odstotek, vseeno pa ne pomeni vzročne povezave med vodenjem programske skupine in uspešno pridobitvijo projekta. Zagotovo pri uspehu na razpisu vlogo igrajo pretekli znanstveni dosežki ter izkušnje pri pisanju projektne prijave, ki so najbrž tudi vzrok v zaupanju vodenja programske skupine.

15. Programska skupina v kateri delujem, je v preteklosti pridobila precej projektov. Je to pozitiven znak za prijavo na letošnji razpis?

Če pustimo ob strani prej omenjeno dilemo o tem, ali ob ocenjevanju znanstvene odličnosti recenzenti upoštevajo celoten konzorcij raziskovalcev ali samo uspešnost vodje, vseeno obstaja precejšnja povezava med preteklo uspešnostjo programske skupine in pridobivanjem novih projektov. Programske skupine, ki so bile v letih 2015–2019 najbolj uspešne na razpisih ARRS, so bile uspešne tudi v letu 2020. Za primer vzemimo najuspešnejše tri, ki so v letih 2015–2019 pridobile 12, 10 oziroma 8 odobrenih projektov. Z letom 2020 se je njihova bera (v istem zaporedju) povečala na 14, 11 in 9. Če je bila programska skupina že v preteklosti uspešna, ima torej dobre možnosti tudi letos.

16. Imaš še kakšen nasvet za letošnjo prijavo?

Glede na zgoraj povedano je na teh razpisih žal tako, da dobra ocena projekta ne zagotavlja tudi njegove odobritve. Prvi premislek je potreben pri izbiri področja, na karierno stopnjo pa ni mogoče vplivati (razen če kot vodjo projekta pišete svojega kolega, ki je mlajši doktor, in ima tako vsaj statistično malo več možnosti… Haha, hec. Kot da kdo to počne.). Zgoraj nisem omenjala interdisciplinarnih projektov in prijavo nanje v splošnem odsvetujem, saj je uspešnost precej nizka (na naravoslovju sta bila recimo odobrena 2 projekta od 25 prijavljenih pri izkušenih raziskovalcih, 1 od 5 pri mlajših doktorjih ter 1 od 4 pri podoktorandih).

17. Pa še zadnje vprašanje: tudi če dobim projekt, je moja zaposlitev v 2021 vprašljiva?

Glede na interpretacijo 60. člena Zakona o izvrševanju proračunov Republike Slovenije za leti 2021 in 2022 nisem ravno prepričana, saj se člen lahko bere tako, da nove zaposlitve iz projektnih ali tržnih sredstvih v 2021 (in 2022) ne bodo mogoče, saj se z novimi zaposlitvami lahko preseže število zaposlenih, kot je določeno v kadrovskih načrtih za leto 2020. Če je to res tako, ostajam brez besed. Moja prijava pa bo kljub temu morala šteti skupno 30 strani v slovenščini in angleščini. Absurd.

-