Vizija delovanja in razvoja ARRS

Objavljam Vizijo delovanja in razvoja ARRS (2020 – 2025), ki sem jo v okviru svoje kandidature za direktorico agencije za raziskovalno dejavnost pripravila znan. svet. dr. Urša Opara Krašovec.

»Velika skrivnost ciljev in vizij ni prihodnost, ki jo opisujejo, temveč sprememba sedanjosti, ki jo predstavljajo.« – David Allen, GTD

Dolgoletno spremljanje delovanja agencije, podroben pregled pravnih podlag ter odzivi strokovne javnosti so razkrili številne pomanjkljivosti v dosedanjem delovanju in vodenju agencije. Zato program dela za obdobje 2020 – 2025 poleg rednih aktivnosti vključuje izboljšave trenutnega delovanja agencije in ima za cilj vzpostavitev odzivnega sistema financiranja znanstvenoraziskovalnih aktivnosti, ki bo izpolnjeval nacionalne strateške usmeritve, vključeval dobre mednarodne prakse in bo oblikovan v dialogu s širšo znanstveno skupnostjo. Za dosego tega cilja je potrebna reorganizacijo dela agencije na način, da bo delovala skladno z aktom o ustanoviti in opravljala z zakonom določene naloge v javnem interesu z namenom, da zagotovi trajno, strokovno in neodvisno odločanje o izbiri (so)financiranja raziskovalnih aktivnosti, kot tudi učinkovit finančni in vsebinski nadzor nad izvajanjem aktivnosti, ki jih agencija financira.

Vizija (2020 – 2025) je slovenski znanstveni skupnosti zagotoviti agencijo, ki: (1.) ima vzpostavljen mednarodno primerljiv evalvacijski sistem, (2.) izpolnjuje nacionalne strateške cilje, (3.) nagrajuje odlično znanost, ki temelji na dobrih znanstvenih praksah tako raziskovalnih kot publicističnih in (4.) skrbi za ugled znanosti v družbi.

V nadaljevanju so h kritičnim točkam trenutnega sistema predlagani ukrepi za uresničevanje Vizije ARRS (2020 – 2025), bolj preglednega in učinkovitega delovanja ter razvoja agencije. Spremembe bodo uvedene postopno, v dogovoru z vodstvenimi in nadzornimi organi agencije in v dialogu z razširjenim naborom deležnikov.

Navzkrižje interesov

Uspešno obvladovanje navzkrižja interesov je osnova za nepristransko odločanje na razpisih in zamejitve prevlade partikularnih interesov soudeleženih v postopkih odločanja nad javnim interesom.

Stanje:

Agencija je s svojimi pravnimi akti legalizirala navzkrižje interesov. Posledično agencija ni zagotovila neodvisnega odločanja o izbiri na razpisih in s tem dopustila možnost prevlade partikularnih nad javnim interesom. Enako velja tudi za spremljanje izvajanje znanstvenoraziskovalnih aktivnosti, ki jih agencija financira. V nadaljevanju navajam primere trenutnega stanja.

Primer 1: Člani najvišjega strokovnega telesa agencije, Znanstvenega sveta Agencije – ZSA, brez omejitev sodelujejo na vseh razpisih, čeprav načrtujejo in oblikujejo znanstveno politiko, sodelujejo pri načrtovanju instrumentov – razpisov, oblikujejo in potrjujejo Metodologijo ocenjevanja, ki vključuje tudi vstopne pogoje, merila in postopke ocenjevanja in sodelujejo v evalvacijskem postopku. Med drugim potrjujejo sezname recenzentov in imenujejo člane Občasnega strokovnega telesa – OST, ki nato izbirajo recenzente k prijavnim vlogam. Člani ZSA so tudi končni odločevalci o vseh razpisih in potrjujejo predloge izbora.

Primer 2: Člani znanstvenih svetov ved brez omejitev sodelujejo na vseh razpisih, projektih in programih ter sočasno nadzorujejo njihovo vsebinsko izvajanje.

Ukrepi:

Sprememba pravnih aktov, tako da bodo vsebovali pravila za obvladovanje navzkrižja interesa na način, kot to urejajo agencije v drugih primerljivih državah in Evropska komisija.

Za primer sodelovanja v evalvacijskem postopku na razpisih bo predlagana uveljavitev dveh pravil in sicer, pravila »out of the room – zapusti sobo« v primeru posrednega navzkrižja interesov in pravila »out of the call – popolna prepoved sodelovanja v evalvacijskem postopku« v primeru neposrednega navzkrižja interesov. Primeri neposrednega navzkrižja interesov (seznam ni popoln): (i) če na razpisu sodeluješ kot član projektne/programske skupine ali vodja projektnega/programskega predloga, (ii) v primerih, da na razpisu sodelujejo tebi podrejeni raziskovalci in (iii) v primerih, če si sooblikoval razpisne pogoje.

Odzivnost

Odzivnost sistema na zaznane pomanjkljivosti s strani notranjih in zunanjih kontrol, kot tudi upravičenih pripomb zainteresirane javnosti, je ključna za pravočasno ukrepanje ter njihovo odpravo.

Stanje:

Zaznati je pomanjkanje kritične samoevalvacije, ki bi omogočila razpoznavo kritičnih elementov v sistemu – zaznavo napak oziroma pomanjkljivosti. Usmerjevalna skupina, imenovana 2019, ki naj bi izoblikovala predloge sprememb, je le še farsa – njena sestava je zožena na člane Upravnega odbora, Znanstvenega sveta (ZSA), predsednike Znanstvenih svetov ved in direktorja agencije, sestanki pa so povsem neredni.

Kritike in predlogi sprememb s strani širše akademske skupnosti so preslišani. Še več, tudi predlogi izboljšav, ki so jih predlagala strokovna telesa agencije, niso bili izvedeni.

Primer: V letu 2015 je Usmerjevalna skupina pritrdila dolgoletni kritiki s strani akademske skupnosti na dvofazne projektne razpise s favoriziranci in predlagala uvedbo enofaznega postopka. Navkljub temu, da sta predlogu pritrdila tako Upravni odbor kot direktor, je v Pravilniku, sprejetem v letu 2016, ostal dvofazni razpis, ki programskim skupinam omogoča uvrstitev določenega števila projektnih predlogov neposredno v drugo fazo. Odlično ocenjeni konkurenčni predlogi pa so bili izločeni.

Ukrepi:

Razširitev sestave Usmerjevalne skupine z vključitvijo širše akademske skupnosti. Kontinuirano delovanje Usmerjevalne skupine z rednimi javnimi srečanji, vsaj štirikrat letno. Spodbujanje vseh zainteresiranih k aktivnemu iskanju izboljšav. Uporaba spletnih platform za javno kritiko, razpravo in oblikovanje predlogov izboljšav.

Problematika internih aktov

Stanje:

Nepregledni pravni akti, v katerih pravila ostajajo nedoločena in posledično omogočajo arbitrarne izbire. Primer: na projektnih razpisih je višina sredstev določena na ravni področja (kapaciteta področja) znotraj posamezne vede, medtem ko so obvezni deleži glede na vrsto projekta (mlajši, aplikativni, podoktorski) določeni na ravni vede. Šele po objavi rezultatov evalvacije se izkaže, da za določeno vrsto projekta na nekaterih področjih sploh niso bila predvidena sredstva. Kdo odloči o tej delitvi, na podlagi katerih kriterijev in kdaj odloči, ni definirano.

Pravni akti so nekoherentni, brez jasne razmejitve, kaj kateri ureja. Primer: sprememba Metodologije (2. 12. 2019) definira sestavo Panela drugače kot krovni Pravilnik, na katerega se sklicuje (13. 11. 2019). Po Metodologiji Panel sestavljajo le tuji recenzenti, po Pravilniku pa člani strokovnega telesa in tuji recenzenti, ki jih je najmanj toliko kot članov strokovnega telesa.

Neuspešno obvladovanje navzkrižja interesov, kot je opisano že v poglavju »Navzkrižje interesov«.

Nenehno ad-hoc spreminjanje internih aktov vnaša dodatno zmedo, je povsem izven kakršnekoli kontrole in za prijavitelje na razpise pomeni dodatno izgubo časa. Primer: Metodologija za ocenjevanje na razpisih se spreminja za zaprtimi vrati ZSA in vodstva agencije praktično ob vsakem razpisu, in sicer brez obrazložitve in ne da bi bila akademska skupnost o spremembah obveščena prej kot z objavo novega razpisa. V zadnjih 5 letih se je Metodologija spremenila 32-krat.

V zadnjem času nekateri izpostavljajo tudi nezakonitosti oziroma celo protiustavnost internih aktov (Pravno mnenje odvetniške pisarne Čeferin v primeru Noč 2.0 in tudi drugih odvetniških pisarn, izgubljene tožbe na sodišču).

Ukrepi:

Celovita prenova podzakonskih aktov (Pravilnika, Metodologij, …) za zagotovitev jasno opredeljenih, preglednih in transparentnih evalvacijskih postopkov ter meril, odprava neskladnosti med posameznimi akti in uskladitev z zakonodajo.

Imenovanje nove Usmerjevalne skupine z razširjeno sestavo, ki izoblikuje predlog spremembe krovnega Pravilnika, in poziv širši javnosti k sodelovanju in posredovanju predlogov izboljšav med postopkom.

Optimizacija in razvoj novih instrumentov

Kriteriji in/ali vstopni pogoji na razpisih morajo biti postavljeni tako, da omogočajo zasledovanje nacionalnih strateških ciljev, ki jih razpis uresničuje.

Stanje:

Razpisni kriteriji ne ustrezajo zastavljenemu cilju, vstopni pogoji na posameznih razpisih pa predstavljajo neprimerno oviro za dosego cilja razpisa.

Primer 1: Cilj je zagotoviti najboljše mentorje najbolj perspektivnim mladim raziskovalcem. Pravilnik pa določa kvote mentorstev po raziskovalnih programih oziroma dodaten izbor mentorjev zgolj na podlagi A”. Uspešno mentorstvo mladim raziskovalcem nič ne šteje.

Primer 2: Cilj je pritegnitev uspešnih znanstvenikov iz tujine, a vstopni pogoji za prijavo nove programske skupine zahtevajo njihov predhodni angažma zgolj na ARRS (!) projektih.

Primer 3: Programska skupina, ki je uspešno delovala mnoga leta in je bila ukinjena, se ne more ponovno formirati, ker delo v okviru programske skupine ni upoštevano za zadostitev vstopnemu pogoju.

Primer 4: Odločanje o projektnih prijavah je prepočasno, skupaj s pritožbenim postopkom traja leto in več. Nato pa naj bi projekt začeli izvajati in zaposlili ljudi v nekaj dneh po sklepu ARRS.

Ukrepi:

Potrebno je prevetriti vstopne pogoje na vseh razpisih, da ne bodo predstavljali prepreke pri doseganju ciljev razpisa. Oblikovanje razpisnih kriterijev mora biti načrtovano tako, da bo skladno z zastavljenimi cilji. Načrtovanje novih instrumentov s ciljem zagotoviti uspešno reintegracijo uspešnih raziskovalcev iz tujine in/ali gospodarstva.

Kriteriji za ocenjevanje dolgoročnega financiranja (programske skupine) morajo sočasno zagotoviti ohranitev dobrih jeder in oblikovanje novih jeder, upoštevaje strateške usmeritve.

Kriteriji na projektnih razpisih morajo biti izoblikovani v podporo financiranju prebojnih idej.

Za projektne razpise bo predlagano: ločeni razpisi za podoktorske, aplikativne in temeljne projekte; razmislek o stalno odprtem razpisu po zgledu avstrijske agencije; zaključek pritožbenega postopka pred potrditvijo končnega seznama projektov, sprejetih v financiranje.

Prilagojen začetek financiranja z možnim zamikom začetka izvajanja v financiranje sprejetih aktivnosti, ki bo omogočil formiranje projektne/programske skupine. Ta ukrep je še posebno pomemben za vključevanje mlajših raziskovalcev in raziskovalcev iz gospodarstva in tujine.

Evalvacijski postopki

Agencija je skladno z ustanovnim aktom dolžna prijaviteljem zagotoviti strokovno in neodvisno odločanje o izbiri raziskovalnih aktivnosti, ki se financirajo iz davkoplačevalskih sredstev.

Stanje:

Trenutni evalvacijski sistem ima vrsto pomanjkljivosti in je le na prvi pogled primerljiv z evalvacijskimi sistemi v drugih evropskih državah. Kot že omenjeno, je eden izmed ključnih problemov neobvladovano navzkrižje interesov. Računsko sodišče je v revizijskem in porevizijskem poročilu v letu 2019 izpostavilo netransparenten in neučinkovit izbor ocenjevalcev. Pravne podlage, ki so ključne za evalvacijo, so objavljene le v slovenščini, evalvatorji pa so tujci, zato s postopki in predmetom razpisov niso dovolj podrobno seznanjeni. Usklajevanje ocen agencija vodi v smeri uskladitve številčne ocene namesto uskladitve argumentov, posledično številčna ocena ni v soglasju z navedenimi argumenti. Usklajeno poročilo vsebuje raznolike napake, kot npr. podvajanje negativnih mnenj, neutemeljene navedbe, zniževanje ocene na podlagi negativnih navedb, ki nimajo osnove v razpisnih kriterijih, ipd. (več tudi v analizi ocene Noč 1.0 kot tudi v analizi »Poštnega nabiralnika« Shoda za znanost 2019). Agencija ne preverja, ali je recenzent opravil svoje delo skladno z naročilom. Nad potekom evalvacije ni zunanjega nadzora in tudi ne zbiranja povratnih informacij evalvatorjev o zaznanih pomanjkljivostih sistema oziroma predlogih izboljšav.

Ukrepi:

Predlagana bo prenova evalvacijskega postopka po zgledu dobrih praks v tujini s ciljem prijavitelju zagotoviti neodvisno in strokovno utemeljeno oceno projektnega predloga, ki naslavlja prednosti in pomanjkljivosti vloge upoštevajoč razpisne kriterije. Primer je evalvacijski postopek za izbor projektov, kot ga uporablja Evropska komisija na programu Obzorje 2020. Nujna je vključitev neodvisnega zunanjega ocenjevalca (iz vrst izkušenih evalvatorjev), ki spremlja in nadzira potek evalvacije in zbira predloge izboljšav sistema.

Alternativna ali začasna možnost je lahko »naročilo« evalvacije v agenciji iz druge države, ki je tudi članica Science Europe. Na primer povezava z agencijami, s katerimi so že sklenjeni sporazumi – „Vodilna agencija“ (Avstrija – FWF, Madžarska – NKFIH, Švica – SWSF, Flandrija – FWO, …). Druga možnost je naročilo evalvacije pri Evropski znanstveni fundaciji – ESF (ARRS je že članica – Science Connect), ki to možnost nudi že od 2014. Pri tem velja izpostaviti, da ima ESF velik bazen evalvatorjev in veliko izkušenj, evalvacije je izvajala med drugim tudi za FCT – Portugalsko agencijo (2016) in FWO – agencijo iz Flandrije, Belgija (2018 – 2019).

Kriteriji za ocenjevanje posameznika

Stanje:

Agencija je razvila in vzpostavila metriko in unikatne algoritme za izračun »znanstvenih« točk posameznika (A”, A´, A1/2, A1), ki so izven meja Slovenije brez kakršnekoli vrednosti. V Sloveniji pa jih agencija na mnogih razpisih uporablja kot vstopni pogoj (projektni razpisi), na posameznih razpisih pa še vedno tudi kot edini (!) kriterij za izbor. Primer 1: na vseh bilateralnih razpisih je edini kriterij (A1). Primer 2: Pri razpisu MR⁺ je edini kriterij A”. Ob tem velja izpostaviti, da uporaba »znanstvenih« točk kot merila za izbor na razpisih ne spodbuja kakovosti objav, temveč v vedno večji meri neetične publicistične in raziskovalne prakse. Primeri: »salami« publikacije in samoplagiatorstvo s ciljem povečati število objav in pridobiti čim več točk, zloraba položaja vodilnih, ki si lastijo avtorstva podrejenih, zloraba uredniške funkcije in/ali recenzentske funkcije za neetično povečevanje citiranosti lastnih del.

Ukrepi:

Ukinitev slovenskih »znanstvenih« točk (A1, A“, A´,…) na ravni posameznika kot merila za izbor na kateremkoli razpisu. Predlagana bo razširitev nabora kriterijev, ki upošteva in sledi trenutno uveljavljenim mednarodnim smernicam za ocenjevanje posameznika_ce/skupine raziskovalcev in upošteva tudi specifiko znanstvenega področja/vede: San Francisco deklaracija – DORA (2013), Leiden manifest (2015), HKP – Hong Kong Principles (2019) – globalno usklajena načela, sprejeta na svetovnem kongresu »World congress on research integrity« WCRI–6, ki je potekal leta 2019 v Hong Kongu.

Agencija kot zanesljiv partner raziskovalne skupnosti

Stanje:

V zadnjem času vse pogosteje prihaja do zamikov načrtovanih rokov, in sicer bodisi do zamika predvidenih objav razpisov, zamika objave rezultatov razpisa ali zamika posredovanja odgovorov na pritožbo. Primer 1: zamik objave Projektnega razpisa 2020, katerega objava je bila napovedana za september 2019, po večkratni prestavitvi je bil razpis objavljen s trimesečno zamudo. Primer 2: V rokovniku projektnega razpisa 2019 predviden rok za posredovanje odgovorov na pritožbo prijaviteljev glede izbora na razpisu je bil večkrat prestavljen, namesto v juliju so bili odgovori posredovani v decembru, torej s 6 meseci zamude. Posledice za posameznika oziroma posameznico so lahko tudi usodne, prihaja tudi do odpovedi delovnega razmerja, oškodovanci si poiščejo službo drugje, tudi zunaj znanosti ali v tujini. Slovenska znanstvena skupnost tako izgublja človeški potencial.

Ukrepi:

Izboljšanje operativnega delovanja in načrtovanja dela, ki bo omogočilo realizacijo časovnih okvirov razpisov. Izboljšati odnos do uporabnikov in v primeru zamud objaviti javno obvestilo in opravičilo z navedbo razloga za zamudo.

Informacijska podpora

Stanje:

Nekateri podatki v SICRIS sistemu so nepopolni ali zavajajoči. Primer 1: pri nosilcih mednarodnih projektov so le za nekatere projekte navedeni vodje projekta; na posameznih razpisih pa so kot vodje navedene napačne osebe (primer COST akcij). V COBISS – SICRIS sistemu je mnogo informacij, ki jih zahteva tudi prijavna vloga na razpisih, a podatkovne povezave niso vzpostavljene.

Ukrepi:

Preveriti točnost podatkov v bazah, še posebej o mednarodnih projektih.

Vzpostavitev povezav, ki bi omogočile samoizpolnjevanje določenih informacij v projektni vlogi z možnostjo dopolnitve seznamov, kar bi prihranilo čas izpolnjevanja prijaviteljem ter sočasno zagotovilo verodostojnost in koherentnost podatkov. Primer: Prijavni obrazec bi lahko vseboval možnost samodejne izpolnitve informacije o mentorstvih doktorandom, o vodenju ali sodelovanju raziskovalcev na mednarodnih projektih. Ti podatki so namreč že v sistemu.

Dostopnost infrastrukture

Stanje:

Analiza je pokazala, da agencija ne preverja dostopnosti raziskovalne infrastrukture, ki jo je financirala.

Ukrep: Izboljšati kontrolo nad odprtim dostopom do raziskovalne infrastrukture.

Mednarodna vpetost in primerljivost

Stanje:

Agencija ni dovolj proaktivna v pridobivanju mednarodnih sredstev, ki bi bila, še posebej v obdobju recesije, v veliko pomoč pri implementaciji strateških ciljev. Primer: Na razpis Marie Sklodowska Curie Action – COFUND, s katerim bi lahko pridobili tudi več kot 10 mio. evrov evropskih sredstev, se je agencija prijavila le v letu 2017 in še to šele po javnem pritisku. Žal je bila pri tem neuspešna, razlog je iskati v pomanjkljivosti slovenskega evalvacijskega sistema.

Na področju etike in integritete agencija ni izkazovala aktivnosti.

Ukrepi:

Oblikovanje skupine za spremljanje razpisov programa Obzorje Evropa in priprava projektnih predlogov za pridobitev dodatnih sredstev za financiranje slovenske znanosti. Podlaga za uspešnost na razpisih tipa »COFUND« je odprava pomanjkljivosti evalvacijskega postopka.

Etika in integriteta: vpeljava pogodbene zaveze k spoštovanju Etičnega kodeksa za ravnanje (Evropski kodeks), kot to velja za vse aktivnosti, financirane v okviru programa Obzorje 2020. Pristop k članstvu ENRIO združenja/mreže; številne evropske nacionalne agencije so že članice (nemška, luksemburška, švicarska, poljska …).

Finančni in vsebinski nadzor nad izvajanjem aktivnosti, financiranih s strani agencije

Stanje:

Po opravljeni reviziji je Računsko sodišče (poročilo 2019) ocenilo, da agencija ne obvladuje tveganja, da raziskovalne organizacije sredstva agencije za raziskovalne projekte in programe porabljajo nenamensko oziroma navajajo porabo sredstev, kljub temu da stroški sploh niso nastali oziroma so nastali v manjših zneskih. Ocenili so, da bi morala agencija okrepiti tako finančne preglede namenske porabe sredstev kot tudi vsebinski nadzor nad izvajanjem projektov in programov. Agencija je v popravljalnih ukrepih zagotovila, da bo povečala tako finančni kot vsebinski nadzor, a računsko sodišče opozarja, da je v nadaljnjih letih potrebno vzdrževati trend povečanja števila oziroma obsega pregledov namenske porabe sredstev in vsebinskih nadzorov izvajanja programov in projektov.

Ukrepi:

Za zagotovitev boljšega nadzora nad namensko porabo sredstev bo predlagana pogodbena zaveza o predložitvi revizijskega poročila, ko celotna vrednost financirane aktivnosti preseže določeno vrednost.

Za vsebinski nadzora izvajanja raziskovalnih programov bo predlagano imenovanje zunanjih ekspertov, ki bodo nadzirali npr. 5 – 10% naključno izbranih programov z uporabo uteži na način, da več dodeljenih sredstev pomeni večjo verjetnost izbora.

Reorganizacija dela

Stanje:

Kot so pokazali primeri v prejšnjih poglavjih, so v vseh treh ključnih procesih dela, v evalvaciji, spremljanju in analizi ter načrtovanju, ugotovljene številne pomanjkljivosti, ki jih agencija ni zaznala in/ali odpravila. Procesi so nepovezani (Slika 1), proces »Spremljanje in analiza« je izrazito neučinkovit ali celo odsoten, kar je naredilo sistem zaprt in premalo odziven.

Primer: Računsko sodišče je ugotovilo, da agencija ni vzpostavila učinkovitih notranjih kontrol za spremljanje evalvacijskih postopkov, kot tudi ne nadzora namenske porabe sredstev agencije.

Ukrepi:

Poleg že predlaganih ukrepov je potrebna vpeljava primernih notranjih in zunanjih kontrol, ki niso namenjene le odpravljanju posameznih nepravilnosti pri izvajanju aktivnosti, ampak tudi spremljanju učinkov posameznih instrumentov, preverjanju učinkovitosti sistema in iskanju boljših rešitev.

-