Predlogi za izboljšanje delovanja ARRS

V kratkem tekstu so na strnjen način predstavljena kritična opažanja, ki se nanašajo na disfunkcije v delovanju evalvacijskega sistema na ARRS. Obenem so podane korekcije teh disfunkcij ter predlogi novih (možnih) rešitev[1]. Izpostavljam naslednje vidike:

1. Eden že dolgo nerešenih problemov je obsesivno točkovanje v Sicris bazi. To točkovanje –  ki daje v mnogih primerih zelo izkrivljeno sliko o uspešnosti raziskovalcev – je potrebno ukiniti, obdržati pa bibliografske in citatne podatke za vsakega raziskovalca. Poleg tega daje točkovanje napačen signal, ni važno kaj in kje objaviš, tudi ni važno ali te objave pridobivajo citate (so citabilne), ključne so točke. Še enkrat,  to ne pomeni odpravo kvantitativnih kriterijev, temveč le odpravo točkovanja (numerologije) v Sicris bazi (A1 ter A3 – zanimivo, A2 manjka oz. bi A3 moral biti A2; tudi A’ ter A” ne dajeta – vsaj v humanistiki in družboslovju – prave slike o  kvalitetnejših objavah. To seveda predpostavlja popravke v krovnem Pravilniku o postopkih sofinanciranja in ocenjevanja ter spremljanja… Večina raziskovalcev se na ta sistem le malo spozna, vendar se zavedam, da mnogi niso za ukinitev točkovanja. 

2. Prav tako ni razčiščeno vprašanje, kakšno naj bo razmerje med kvantitativnimi in kvalitativnim ocenjevanjem oz. kriteriji. Po nekaterih razlagah, naj bi ključno za presojo znanstvene uspešnosti (odličnosti) bila ocena petih najboljših del, ki jih predloži raziskovalec. Toda, ali recenzenti res berejo pet predloženih del?[2] Kakšno vlogo naj imajo citati? Sam menim naslednje: število citatov oz. citiranih del je še najboljši kazalnik znanstvene reputacije, odmevnosti in vizibilnosti. Ni pa edini. Toda, moramo upoštevati več citatnih baz, citate na monografije, upoštevati citate na avtorja, posebnosti ved, starost raziskovalca… Zgolj mehanično navajanje števila citatov (ki jo Sicris baza povzema iz WoS in Scopusa), ne zadostuje. Tudi tu mora biti neka vrsta kvalitativne presoje  kvantificiranih podatkov.

3. Pereče je tudi vprašanje razmerja med temeljnim raziskovanjem in aplikativnimi rezultati. Semantična (diskurzivna) analiza recenzije, ki jo je prejel dr. Noč, namreč kaže, da recenzenta menita, da je dr. Noč »well-known researcher« (kar ponovita dvakrat), da ima dobre objave in je nadpovprečno  citiran, vendar ne najdeta pravih podatkov o širši aplikabilnosti, upoštevajoč elemente obrazca, ki sta ga dobila od ARRS. Ta obrazec za recenzente – je mimogrede – precej zmeden in redundanten (pleonastičen) in jih  dodatno ovira, da se koncentrirajo na bistvene zadeve.

4. Pereč je postopek izbora oz. nabora recenzentov. Znanstvena odličnost je nujen kriterij, toda ni zadosten, gre za njihovo znanstveno Integriteto, poznavanje bibliometrije in profesionalno etiko. Večji problem je v družboslovju in humanistiki, kjer ideološki in svetovnonazorski dejavniki igrajo pomembno vlogo pri ocenjevanju kakovosti oz. se mešajo z znanstvenimi principi. Zato (in drugih razlogov) mora obstajati možnost ugovora na recenzentske ocene in komentarje. Sicer je recenziranje zamišljeno kot povratna informacija avtorju oz. prijavitelju projekta. Iz dobro utemeljene ocene, se  ta lahko dosti nauči. Sedaj to ni mogoče. Postopek je preveč formalen/birokratski. ARRS je treba ponovno pozvati k temu, da omogoči prijaviteljem, da se pritožijo na oceno.

5. Ne sme se dopustiti, da vlogo ocenjevalcev prevzamejo uslužbenci ARRS  (kot v primeru razpisa o dodatnih sredstvih za PS prejšnje leto) ali da so komisije za ugovore na ocene sestavljene izključno ali večinsko iz zaposlenih na ARRS, ki so udeleženi pri obravnavi prijave (kar se je dogajalo v razpisu za CRP – pri teh razpisih je možen interni ugovor na postopek, vendar je skoraj vedno avtomatično zavrnjen). Konflikt interesov je resen problem. Drugače bi bilo, če bi ARRS zaupali, da je nevtralna, profesionalna ustanova. Pa ni. Na žalost.

6. Ustanovitev komisije za etiko in integriteto v znanosti je nujna. Indikativno in simptomatično je, da so bile že pobude za njeno ustanovitev, pa so propadle (obstaja pa Komisija za etiko na UL). Ta bi obravnavala hujše primere kršitve znanstvene poštenost ter kršitve profesionalnega kodeksa. Po drugi strani pa bi tudi omogočila, da se raziskovalci pritožijo na zlonamerne recenzije ali samovoljne odločitve upravnih organov, ki moteče (v smislu diskriminacije ali neutemeljenih odločitev) vplivajo na njihovo raziskovalno delo. Delovala bi kot forum, ki daje možnost razčiščevanja etičnih, družbenih dilem v znanosti in  tehnoloških in družbeno-ekonomskih aplikacijah. Tega recimo Etična komisija na UL ne počenja oz. je oblikovana kot telo, ki občasno reagira na pritožbe institucij/fakultet. Njena dejavnost je skrivnostna. Do zdaj so menda obravnavali le dva primera (primer iz FDV ter doktorat o »spominu vode«).

7. ARRS bi morala biti drugače organizirana, to velja tudi za organizacijo  razpisov, ki jih ta institucija vedno težje »sprocesira« (v zadnjem, projektnem, je 780 prijaviteljev).  Izpeljati dober recenzentski postopek v takih okoliščinah je misija nemogoče. Uspešnost prijav pa je manj kot 10 odstotna (sicer odvisno od vede). Zmanjšati bi bilo treba  birokratski balast, improvizacije in hkrati pretirano reglementacijo. Na drugi strani pa imamo opravka z mnogimi enostranskimi (diskrecijskimi) odločitvami (ki se pokrijejo sicer z avtoriteto ZSA ali UO ali direktorja). Primer: preklic  ali ponovitev že potekajočega razpisa (v letu 2018 se je to trikrat zgodilo), retroaktivno delovanje novih pravilnikov (spremembe točkovanja daleč nazaj), hektično spreminjanje metodologij ocenjevanja, uporaba nepreverjenih obrazcev za prijave ali recenzije.

8. Pred kratkim je bilo spet opozorjeno (B. Turk iz IJS v SP Dela), da ARRS financira le 80 odstotkov polne zaposlenosti. Od RO zahteva, da ima polno zaposleni največ 1700 ur (kar je po njihovem en FTE), na plačnih listah ali v pogodbah o zaposlitvi pa morajo RO seveda navajati polno zaposlenost v višini 2080 ur. Tu gre za vprašanje, ali je to ravnanje ARRS oz. MIZŠ v skladu z zakonom (ZDR). Drugo pa so reperkusije, ki se kažejo v napačnem prikazovanju zaposlenosti  oz. števila FTE v RO in v celotni raziskovalni sferi.

9. Prav tako je vprašljivo, ali so v skladu z zakoni in ustavo določeni členi že omenjenega krovnega Pravilnika ter Pravilnika o normativih in standardih. Gre za diskriminacijo RO glede na njihov pravni status. Recimo, predvideno (zahtevano) je, da imajo JRO pravico v programskem financiranju do obsega najmanj 2.5 FTE, ne glede na uspešnost. Za ostale visokošolske RO in (zasebno-nepridobitne) RO, ki imajo koncesijo, pa ta obseg ni določen oz. je praviloma poljuben (precej manjši). Isto velja glede vloge direktorja.

10. Postavlja se vprašanje, kaj  je vodstvo ARRS naredilo v vseh teh letih, da bi se stanje normaliziralo. Kaj je (bila) vloga ZSA in ZSV in OST ali UO (tu je angažiranih kakih 70 raziskovalcev (sic!) iz vseh ved in področij)? Namreč, docela ISTI problemi so aktualni že 10 let!!  O tem priča tudi analiza Inženirske akademije (ki se časovno nanaša na obdobje nekako med 2008 in 2014).

11. Tudi vloga ti. OSIC(D) – ki nadzirajo vnašanje oz. klasificiranje objav v Cobiss-Sicris bazi – je v nekaterih primerih problematična. Pritožba tudi tu ni možna. Nasploh je večina gremijev na ARRS popolnoma neresponzivnih, delujejo kot da so sami namen in ne upoštevajo minimalne demokratične procedure oz. izključujejo ljudi, ki mislijo drugače. Kako je do tega prišlo? Eno je  prevlada birokratske logike, drugo pa so različni (ekskluzivni) lobiji, ki se bojujejo za svoje institucije.

12. V dosedanjem delovanju ARRS (od 2004 do danes) je bilo precej sprememb, toda le zato, da vse ostane isto? Mnoge stvari so absurdne. To, da imajo nekateri več tisoč točk v Sicris bazi (in mnogi med njimi nimajo pravih mednarodnih objav in citatov). Da ARRS porabi 2.2 milijona evrov na podlagi popolnoma nepreverjenega izračuna o sredstvih iz drugih projektov, s katerimi naj bi razpolagale programske skupine (o tem sem pisal v Kvarkadabri).  In to se vleče  vse do primera dr. Noč, ki edini (od 70 prijavljenih) dobi negativno recenzijo  in s tem izgubi možnost nadaljevanja programske skupine.

Povzetek in predlog rešitev

1. Ukiniti je treba sistem točkovanja, kot je zdaj prisoten v Sicris bazi. Takega sistema nimajo nikjer v Evropi. V bistvu gre za državno regulacijo znanosti, ta regulacija oz. že kar reglementacija zanika svobodo znanstvenega raziskovanja (kot je to definirano v Ustavi).
2. Raziskovalcem oz. prijaviteljem na razpisih je treba omogočiti, da se v določenih primerih lahko pritožijo tudi na vsebino oz. oceno recenzentov. Najboljše bi bilo, da je ta pritožba obravnavana na panelu, kjer je prisotnih več recenzentov. Odločitev o pritožbi pa mora biti sprejeta pred razglasitvijo rezultatov. Tak postopek je bil že uveljavljen in sicer l. 2007 (kot se spomnim se pozneje ni več prakticiral, pač pa je možna le pritožba na postopek – toda v primeru programskih skupin niti to ni možno!).
3. Ustanoviti bi bilo treba Komisijo za etiko in integriteto v raziskovanju. Ta bi omogočila, da se sankcionirajo raziskovalci, ki kršijo etična načela, obenem pa bi se raziskovalci lahko pritožili v primerih samovolje recenzentov ali organov ARRS[3]. To telo bi moralo delovati kot pobudnik razprave o družbeno-etični vlogi znanosti in ne kot birokratska ustanova.
4. Ustanoviti bi bilo treba novo fundacijo. ARRS (oz. pristojno ministrstvo) je že dolgo edini pomemben financer raziskovalnih projektov. Sicer od 1994 naprej obstaja tudi Slovenska znanstvena fundacija (SZF), vendar je do danes, zlasti v zadnjih dveh desetletjih, odigrala le vlogo promotorja znanosti, njen prispevek k financiranju projektov ali podeljevanju raziskovalnih štipendij pa je bil minimalen. V precejšnji meri je to posledica ignorance s strani pristojnega ministrstva (in ARRS). Doseči bi morali, da se ta (ali podobna) inštitucija uveljavi tudi  alternativa ARRS vsaj v minimalnem obsegu oz. da financira to, kar ARRS in tudi evropske fundacije/sheme  ne financirajo (dokončanje projektov, pregled in kritika rezultatov v smislu metaanalize, predstavitev izsledkov širši publiki…).

Pripravil: dr. Frane Adam, Inštitut za razvojne in strateške analize (IRSA) – www.institut-irsa.si

[1] Ta tekst je nastal na podlagi posvetov in okroglih miz. Prvo sta v začetku februarja organizirala IRSA ter INR, udeležili pa so so seje predstavniki vseh ved. Kot predstavnik IRSA sem bil povabljen na sejo Komisije za kulturo, izobraževanje in znanost v okviru Državnega sveta (6. marec). Na našem inštitutu smo sredi marca organizirali posvet o stanju in perspektivah družboslovja. Svoje videnje problematike sociološkega raziskovanja sem podal tudi na posvetu v okviru Sekcije za sociologijo časa, ki jo je konec marca organiziral akademik Zdravko Mlinar. Podatke/povzetke teh dogodkov se najde na spletni strani www.institut-irsa.si.

[2] Pred nekaj tedni sem imel dopisovanje z enim od članov aktualnega ZSA. Le-ta mi je zatrdil, da ARRS uveljavlja kvalitativno ocenjevanje in sicer v tem smislu, da recenzenti ocenijo pet najboljših del. Ko sem ga vprašal, ali se mu to zdi realno (to pomeni lahko nekaj sto strani teksta) in ali so recenzenti usposobljeni in motivirani za tak pristop, pa nisem dobil odgovora. Tudi v primeru dr. Noča (ko je bila v Kvarkadabri objavljena recenzija njegove prijave) se je videlo, da recenzenta nista prebrala teh del. Sta pa vedela zanje. Mi pa je zaupal, da ZSA (in on osebno) nima pregleda nad izbiro recenzentov in da tudi on ne ve, kako se recenzenti sploh izbirajo. Ko sem omenjenega člana ZSA vprašal, ali je možno da je neka objava priznana kot dobra ali odlična oz. ali se njena odmevnost ne meri s citati, je temu pritrdil (da se morajo citati upoštevati). Iz tega izhaja, da gre vedno za preplet kvantitativnih (numeričnih) in kvalitativnih (kontekstualnih) kriterijev ocenjevanja.

[3] Tu bi omenil, da tako zahteva po pritožbi kot tudi predlog za ustanovitev komisije za etiko oz. integriteto v raziskovanju, nista nekaj novega. O tem sem sam pisal že l. 2010 (v prilogi Znanost v Delu), ponatisnjeno je v knjižici Raziskovalna politika in dileme evalvacije v znanosti (IRSA, 2015).  Na seji Komisije za izobraževanje, kulturo in znanost Državnega sveta sem izvedel, da se ta komisija ustanavlja na SAZU. Dobil sem tudi pravilnik o delovanju te komisije. To, da je na SAZU je v redu,  je pa vprašljivo to, da bo delovala kot enotno telo oz. ni predvideno, da recimo v družboslovju obstaja etična problematika, ki jo je težko reševati brez kompetentnih raziskovalcev iz te vede. To se je pokazalo na primeru K.E. iz FDV pred dvemi leti. Ta primer je reševala Etična komisija UL, vendar dokaj neposrečeno. Vzrok: v komisiji ni bilo človeka, ki bi se spoznal na področje, ki ga je pokrivala K. E., ki je bila s strani FDV obtožena, da je fabricirala podatke, ki jih je uporabljala v svojih člankih. Komisija pa je bila mnenja, da ni dokazov o tem. O tem sem več povedal v intervjuju za Reporter (junij, 2018).

-