Kako poteka ocenjevanje projektov na razpisih ARRS

Te dni so bili objavljeni rezultati izbranih raziskovalnih projektov, ki bodo financirani naslednja tri oz. dve leti v višini 100.000 € oz. 50.000 € letno. Glede na razpoložljiva sredstva bo zelo malo zadovoljnih in zelo veliko nezadovoljnih, razočaranih in jeznih prijaviteljev. To je realnost v naši domači (in tudi mednarodni) raziskovalni sferi, kjer pičla sredstva za raziskave in razvoj ne omogočajo financiranja in posledično izvajanja večjega števila relativno dobrih raziskovanih projektov. Veliko je javnih kritik na evalvacijski proces projektov – kjer se izbira, kateri srečni nosilec projekta bo deležen financiranje pri posameznem razpisu.

Letos sem bila članica Občasnega strokovnega telesa (OST) za Javni razpis za financiranje raziskovalnih projektov za l. 2020 in želim predstaviti lastna opažanja izbirnega postopka. Na razpis je prispelo 934 projektov v različnih kategorijah (bazični, aplikativni, mladi doktorji in podoktorski projekti), na razpolago pa je bilo 16 milijonov € sredstev. Dodatno je bil še razpis za sklad Aleša Debeljaka v višini 1.2 milijonov € za financiranje raziskovalcev, ki so se pripravljeni vrniti iz tujine. Žal je bilo porabljenih le 0,8 milijonov € kar kaže na skromen interes slovenskih raziskovalcev v tujini za vrnitev v domačo raziskovalno realnost.

Projekti so bili porazdeljeni po posameznih znanstvenih vedah (naravoslovje, tehnika, medicina, biotehnika, družboslovje in humanistika) glede na izbiro prijavitelja, prav tako pa so bila porazdeljena tudi razpoložljiva sredstva po znanstvenih vedah in znotraj ved po različnih podpodročjih / disciplinah glede na sproščena sredstva od zaključenih projektov. S tem je bila določena kapaciteta vede oz. podpodročja in znotraj te kapacitete je bilo mogoče izbirati projekte. Ali je porazdelitev sredstev med vedami, ki se je v zadnjih 15 letih zelo malo spreminjala, pravična ali ne je seveda stvar resne razprave, ki se je že načenjala, vendar nikoli končala. Zato ostajajo tako imenovane »dote« ved determinante kapacitete posamezne znanstvene vede. 

Postopek evaluacije projektov je natančno določen s številnimi predpisi Javne agencije za raziskovalno dejavnost (arrs), ki so bili obravnavani na svetih posameznih znanstvenih ved in sprejeti s strani Znanstvenega sveta agencije. Člani teh svetov so izključno raziskovalci imenovani na predlog raziskovalnih institucij ali skupin raziskovalcev, torej so se pravila oblikovala “iz baze” raziskovalcev!

Strokovno telo (OST) za ocenjevanje prijav je bilo sestavljeno iz dveh člana za posamezno vedo in je imelo številne naloge od vodenja ocenjevanja prijav, imenovanja recenzentov, pregleda prijav in ocen recenzentov do sodelovanja v zaključnem panelu. Z delom smo začeli januarja in končali sredi avgusta 2020 z večjimi ali manjšimi prekinitvami. Najprej je bila na vrsti izbira izključno tujih recenzentov za posamezne projekte. Vsaka znanstvena veda razpolaga z naborom recenzentov, ki so bili predlagani s strani članov sveta vede.  Agencija je najprej povabila recenzente k sodelovanju  v evalvacijskem procesu in pridobila soglasje nekaterih recenzentov, nato pa smo člani strokovnega telesa začeli s pregledom prijav in izbiro recenzentov, ki so izkazovali ustrezne kvalifikacije (poznavanje področja projekta, objave v uglednih revijah, število citatov itd.) za posamezni projekt.

To delo je bilo relativno zahtevno prvenstveno zaradi pomanjkljivega nabora in slabi odzivnosti recenzentov. Za ilustracijo: na področju biotehniških ved, kjer sva s kolegom izbirala recenzente, je bilo povabljenih 200 recenzentov, pozitivno se je jih odzvalo 86 izmed katerih sva izbrala 50 ustreznih recenzentov, ki sva jim dodelila 184 prijav od sicer 92 projektov, ker je bil vsak projekt deležen najmanj dveh recenzij. Nekateri recenzenti so po prejemu prijav zaradi različnih razlogov tudi zavrnili recenziranje in potreben je bil ponoven izbor. 

Nizka odzivnost recenzentov, kar je bilo izpostavljeno tudi pri drugih vedah, je danes nekako razumljiva glede na preobremenjenost raziskovalcev, zahtevnostjo kakovostnega recenziranja, bombardiranjem s prošnjami za recenzije člankov s strani založniških hiš (kjer recenzij ne plačajo, kujejo pa precejšne dobičke) in glede na časovno perspektivo recenzije okoli petih projektov (sicer skromno plačano) v času pandemije kovida.

Nabor recenzentov, predstavljen v ogromni Excel tabeli, je vsaj pri biotehniških vedah pomanjkljiv v smislu ažurnosti (nekateri recenzenti iz nabora segajo v leto 2011 in marsikdo med njimi ni več znanstveno aktiven), odsotnosti raznolikosti (nekatera podpodročja vključujejo več disciplin kot npr. Biotehnologija, kjer je raznolikost prijav zelo velika – od medicine do biomaterialov) in pomanjkljivi informaciji (vsak recenzent bi moral biti opremljen s ključnimi -ne generičnimi- besedami svojega delovanja). Podobne težave so imeli tudi pri drugih vedah zato je OST sprejel priporočilo in poziv svetom znanstvenih ved, da izpopolnijo in izboljšajo nabor recenzentov. K temu dodajam še svoj poziv članom sveta ved – opravite svojo nalogo, predlagajte, nominirajte, imenujte kredibilne  recenzente, upoštevajte širino vede ali podopodročij, pozabite na svoje ozko raziskovalno področje in svoje znance ter poskušajte animirati širši krog raziskovalcev na podpodročju, katerega predstavnice (-ki) ste. Nepristranskost evalvacijskega procesa je odvisna od kakovosti recenzentov, zato je njihova nominacija izjemno pomembna!  

No, soočena s takšnim naborom recenzentov, sva s kolegom preverjala vsakega recenzenta ločeno na wos in scopus, da sva si oblikovala ustrezno kvalifikacijo recenzenta in nato določila skupino sorodnih projektov, ki jo je bil pripravljen recenzirati posamezen evalvator. Zame je to bil najtežji del evalvacijskega procesa glede na zavedanje, da je izbira recenzentov za dotično prijavo lahko usodna za uspeh oz. neuspeh prijavitelja. V splošnem pa menim, da smo člani OST pri vseh vedah delovali maksimalno odgovorno, strokovno in nepristransko, seveda v danih okoliščinah.

Recenzenti so ocenjevali projekte glede na navedeno odličnost raziskovalne skupine, znanstveno odličnost in inovativnost vsebine prijave, izvedljivosti projekta in pri aplikativnih projektih še glede na potencialno uporabo rezultatov. Podali so pisne in številčne ocene za posamezno prijavo, ki so jo v večini primerov uskladili med seboj tako, da je prijava imela enotno številčno oceno in v večini primerov tudi usklajeno tekstovno obrazložitev. Pri neusklajenih ocenah se je določil še tretji recenzent in vse tri ocene je nato obravnaval panel v zaključku ocenjevanja, pri čemer je obravnaval prijavo projekta, pisne utemeljitve in številčne ocene recenzentov kot tudi odgovore prijaviteljev in se odločil ali za izločitev ocene z odstopanji za več kot 2 točki od povprečja treh ocen ali za povprečje vseh treh ocen.

Po prejetih recenzijah so namreč prijavitelji lahko podali svoje komentarje na evalvacijske ocene. Večina pripomb, upravičenih ali neupravičenih, se je nanašala na neusklajenost med tekstovno utemeljitvijo recenzije in številčno oceno in na slabo poznavanje problematike obravnavanega projekta s strani recenzenta. Žal pa te komentarje na recenzije s strani prijaviteljev po pravilih Arrs ni mogoče upoštevati v evalvacijskem procesu – ocen recenzentov namreč ni dovoljeno spreminjati. Občasno strokovno telo je zato podalo pripombo oz. priporočilu arrs, da se v prihodnje pripombe prijaviteljev umaknejo iz evalvacijskega procesa.

Zaključno rangiranje projektov je potekalo na panelu v katerega so bili vključeni člani OST in tuji recenzenti za posamezne vede ter zunanji opazovalci, člani znanstvenih svetov. Tokrat je panel glede na znane razmere potekal preko zoom povezave od 10.-14. avg. 2020. Projekte smo razvrščali na prioritetno listo glede na doseženo številčno oceno, kapaciteto podpodorčja ter ob upoštevanju posebnih zahtev, ki so določala, da 20% od vseh prijav pripada  prijavam mladih doktorjev (do deset let po doktoratu), 10% od vseh prijav prejmejo podoktorski projekti in enako tudi interdisciplinarni projekti ter določen odstotek glede na vedo je bil  namenjam aplikativnim projektom. Za biotehniške vede je ta odstotek znašal 20% od vseh prijav in tukaj smo imeli nemalo težav zaradi nizkega števila in relativno slabo ocenjenih aplikativnih projektov, kljub prislovični aplikativnosti področij biotehniških ved. Panel je posvetil veliko časa projektom z neusklajenimi recenzijskimi ocenami ter izbiri med projekti z enakimi ocenami kar je ustrezno pisno utemeljil.

V okviru gornjih pogojev so paneli izdelali prioritetne liste projektov ter še listo petih rezervnih projektov in jih na zaključnem panelu predlagali v obravnavo Znanstvenemu svetu agencije, ki direktorju agencije predlaga Sklep o izboru prijav. Na področju biotehnike je bilo predlagano za financiranje 20% od vseh prijav. Izbrani so bili najboljši projekti, projekti s prepričljivo celovito zgodbo, vrhunskimi raziskovalci in razpoložljivo raziskovalno infrastrukturo. Veliko dobrih projektov pa je na žalost izpadlo iz financiranja glede na dane pogoje, vsekakor pa pozivam tokrat neuspešne raziskovalke (-ce), da naj vztrajajo s prijavami, ker če ne kupiš srečke, ne moreš zadeti nagradnega dobitka.

V tem evalvacijskem procesu si, po mojem mnenju, posebno zahvalo zasluži ARRS za svoje strokovno, profesionalno in ažurno delo. V.d. direktor ARRS sicer ni utegnil pozdraviti otvoritvenega oz. zaključnega panela, pa vendar, če bi imeli v celotni javni upravi tako predane in odgovorne javne uslužbence bi lahko bili več kot zadovoljni z javnim servisom.  

Ali je res evalvacijski proces prijavljenih projektov  javne agencije za raziskovalno delo (ARRS) slab, napačen in krivičen? Verjetno je še prostora za izboljšave in izpopolnitve, vendar med javnim razpisom ni mogoče spreminjati pravil. Sedanja metodologija se je izoblikovala skozi leta in pri tem so imeli odločilno vlogo sveti ved in svet agencije. Prepričana sem, da je ARRS odprt za vse nove pobude in predloge za izboljšanje metodologije izbora projektov, vendar jih je potrebno nasloviti na ustrezen naslov. Člani znanstvenih svetov morajo odigrati bolj proaktivno vlogo v smeri raziskovalne politike in se ne zadovoljiti samo s članstvom ali sedenjem v nekem svetu, kot tudi mora biti bolj premišljeno nominiranje članov za svete s strani raziskovalnih inštitucij.

Letošnji javni razpis je razkril ogromen raziskovani potencial (934 projektov) in skromna sredstva (16 milijonov €) iz katerih je nemogoče financirati vse, čeprav vrhunske projekte. Potrebno si je izboriti več raziskovalnega denarja in ne samo kritizirati znotraj obstoječih kvot. Skupnost dobrih raziskovalcev in raziskovalk v Slovenije je ogromna in predstavlja kakovosten potencial za usmeritve in razvoj države, samo slišati jih je potrebno tudi na mestih odločanja o razdelitvi državnega proračuna. S potrpežljivo, kakovostno in konstantno javno angažiranostjo razlage o pomenu znanosti in raziskovanja za družbo je potrebno zapolniti medijske banalnosti. Za letos kaže slabo, ker je znanost že izgubila 22 milijonov €!       

-