Odločitev ARRS, da ukine financiranje raziskovalnemu programu Nujna stanja v medicini, ki ga je vodil kardiolog Marko Noč, je v širši javnosti vzbudila burne odzive.

Da bo razprava potekala na ravni argumentov, z dovoljenjem vodje programa objavljamo recenzentsko oceno, ki je bila vzrok za ukinitev financiranja. Vsakdo se lahko tako iz prve roke pouči, katere vidike raziskovanja so recenzenti ocenjevali in kakšne argumente so navedli za konkretne ocene. (Scribd – Ocena raziskovalnega programa, ki ga je vodil kardiolog Marko Noč)

5 KOMENTARJI

  1. Res neverjetno kako je taka utemeljitev znanstvene odličnosti M. Noča in relevantnosti njegovega programa lahko prepričala odločevalce na ARRS. Sprašujem se, ali res nobena oseba oziroma organ ARRS ni prebral in preveril (i) ali je številčna ocena posameznega kriterija utemeljena, (ii) ali je utemeljitev relevantna in (iii) ali naslavlja razpisne kriterije. Še več, zakaj tudi po opozorilu, da je z oceno morda nekaj narobe, verodostojnosti ocene na ARRS ne želijo preveriti in še vedno vztrajajo pri oceni. Pa saj to je vendar edini program od 70-ih, ki je bil zavrnjen in še to z oceno na mejnem pragu!

    Razumem, da na ARRS nimajo pravice spreminjati ocene, nedvomno pa imajo organi, ki potrjujejo oceno (v primeru tega razpisa nedvomno ZSA) dolžnost nadzora pravilne uporabe razpisnih kriterijev pri ocenjevanju in dolžnost neutemeljeno oceno zavrniti. Ali ZSA res meni, da je primerno programu s področja medicine očitati, da ne prinaša dosežkov s področja kulturnih dejavnosti in da program nima patentnih prijav in s temi argumenti utemeljiti nižjo oceno relevantnosti programa? Ta ista napaka se pri petem kriteriju ocene ponovi, recenzent pa celo eksplicitno zapiše, da gre za njegovo mnenje in ne usklajeno oceno. Tudi brez vpogleda v prijavno vlogo in nepoznavanja področja medicine je moč ugotoviti, da v oceni mrgoli napak. V primeru takih napak, in še toliko bolj, ker gre za mejno negativno oceno, bi morali pristojni na ARRS recenzenta opozoriti na napake in ga pozvati k dodatni obrazložitvi, umiku nerelevantne kritike in ponovni uskladitvi ocene ali pa vsaj imenovati še enega recenzenta za presojo programa. To je standard v Evropi!

    Primer M. Noč je zopet pokazal, da politika ocenjevanja znanosti (razdeljevanja sredstev) v Sloveniji ni ok ter, da je sistem potreben temeljite prenove! Napake se dogajajo in se bodo tudi v bodoče, a prav zato so delujoči varovalni mehanizmi sposobni prepoznati napake in jih pravočasno odpraviti ključnega pomena. Le teh na ARRS očitno ni. ARRS ima tudi vedno znova problem že priznati napako in razumeti, da namen kritike ni osebni napad ampak ima cilj izboljšanje sistema.

  2. Kar je meni padlo v oči, da recenzija skupini očita, da ni delala s PhD kandidati medtem ko SICRIS izpis jasno izkaže 3 mentorstva in 1 somentorstvo zaključenih doktorskih disertacij. Enako velja za mednarodne projekte. Posledično sta kriterije, kamor ti 2 kategoriji spadata, ocenila z 2 in 3.

    Sicer se doktoranti navedejo v prijavi, ravno tako vsi relevantni mednarodni projekti. Neverjetno se mi zdi, da bi bil profesor Noč tako šlampast, da tega ne bi navedel v prijavi ker prijava vsebuje posebna polja za to. Predstavniki ARRS so včeraj na Komisiji za nadzor javnih financ trdili, da recenzent ocenjuje samo to, kar je v prijavi. Ker če je to v prijavi navedeno, recenzent pa napiše “there is no PhD program related to the project” potem je jasno, da gre za napako recenzenta, saj ocenjuje na podlagi napačnih dejstev. Tudi mi ni jasno, ali gre za eno recenzijo, ki je usklajena med dvema recenzentoma. Seveda, če je skupina bila pri prijavi šlampasta in tega ni navedla (kar se mi zdi neverjetno saj profesor Noč ima preveč dolgo kilometrino za kaj takega) potem je to druga stvar. Z objavo prijave bi bili vsi tovrstni dvomi odpravljeni in jasno bomo lahko ugotovili, da gre za “zlonamerno” recenzijo.

  3. Ker nisem videl prijave programa, težko ocenjujem njegovo kvaliteto, se pa strinjam s tem, kar so tu spodaj napisali predhodniki. Že dejstvo, da je to edina PS, ki ji letos niso podaljšali financiranja, je dovolj, da lahko upravičeno domnevamo, da zadeva “smrdi”. Je pa še en vidik, ki ga moramo upoštevati, ne glede na to, ali je bila ocena “zlonamerna” ali ne: tudi iz lastnih izkušenj namreč vem, da tuji recenzenti ARRS pogosto niso vedeli, kakšna so pravila pri prijavi programov oz. projektov. Ko sem v projektu med sodelavci navedel MR, seveda z 0 urami, kot je tudi edino pravilno, je recenzent v oceni zapisal, da ni jasno, kako je lahko nekdo v skupino vključen z 0 urami oz. kako bo potem sodeloval; zaradi tega mi je dal nekaj nižjo oceno pri enem od kriterijev. Podobnih zadev se je v zadnjih letih nabralo več, včasih zaradi slabe informiranosti recenzentov, včasih pa tudi zaradi očitno površnega branja prijave, in vedno sem na napake opozoril panel, če mi je bila dana možnost. Niti enkrat ni bila ocena popravljena niti nisem dobil od panela pojasnila oz. odgovora. Znotraj ARRS očitno ni želje, da bi recenzentski sistem izboljšali, zato upam, da jih bo “primer Noč” in njegova odmevnost v javnosti končno streznili.

    Ker sem tudi sam sodeloval kot recenzent v tujini, mi je po drugi strani jasno, da je kvaliteta recenzentske ocene pogosto odvisna prav od podpore agencije, ki ocenjevanje izvaja. ARRS tu očitno svojega dela ne opravlja dobro.

  4. Za Zoisa odličen, za agencijo preslab

    Akademiku prof. dr. Marku Noču kot edinemu med 70 pravilno prijavljenimi Agencija za raziskovalno dejavnost Republike Slovenije (ARRS) ni odobrila nadaljevanja raziskovalnega programa Nujna stanja v interni medicini. Kljub znanstveni odličnosti, ki je prof. dr. Noču prinesla Zoisovo nagrado, so tako odločitev sprejeli na osnovi neugodnih mnenj dveh anonimnih tujih recenzentov.

    Najprej kratko mnenje za bralko ali bralca, ki ga morda ne zanimajo podrobnosti dela ARRS: to je škandal, zaradi katerega bi moral odstopiti ali biti odstavljen direktor ARRS prof. dr. József Györkös. Če se to ne bo zgodilo, mora odgovornost za delo agencije prevzeti minister prof. dr. Jernej Pikalo. Prof. dr, Noč med raziskovalci še zdaleč ni edini, ki je hudo kritičen do dela ARRS in do načinov, kako agencija razporeja sredstva za programe in projekte, Njegov primer je dobra priložnost, da javno zahtevamo, naj se postopki spremenijo – naštevam konkretne predloge.

    Agencija je dolžna razumno razpolagati z denarjem, namenjenim raziskovalni dejavnosti. Ta zaveza pomeni, naj čim manj denarja porabi za administrativne namene. Vsakomur je jasno, da je nesmiselno izpeljati popoln postopek in plačevati za recenzije tujih strokovnjakov, če je končni rezultat, da med 70 programi zavrnejo enega, Mar ne bi bilo enostavneje, če bi opustili recenzije in s tem prihranili več denarja, kot ga prejme vsak program?

    Objektivnost ocenjevanja je v celoti odvisna od kompetentnosti recenzentov. Iz izjav dr, Györkösa na TV Slovenija v Odmevih 8. januarja ni jasno, ali direktor agencije sploh razume, kaj pomeni kompetentnost pri oceni znanstvenega dela: zanj je dovolj, da se dva tuja recenzenta med seboj uskladita. V prispodobi to pomeni, da bi se dva nogometna sodnika uskladila glede ocene skoka smučarskega skakalca. Kot je povedal prof. dr. Noč, on prav nikogar s spiska recenzentov ne pozna. Razumem, da mora ostati identiteta recenzentov prikrita prijavljenim na razpis, nobenega razloga pa ni, da bi bila prikrita znanstvenemu svetu agencije. Predsednika tega sveta prof, dr. Marka Topiča in predstavnico medicinskih znanosti v znanstvenem svetu prof. dr. Nino Zidar torej pozivam, da osebno preverita, kdo sta recenzenta, ki sta ocenjevala prijavo prof. dr. Noča, in javnosti sporočita, ali sta po svoji znanstveni dejavnosti primerna, da ocenita njegov program

    Dr. Györkös se je v oddaji Odmevi pohvalil, da pri več tisoč prijavah na razpise ni nobenih ugovorov: v zadnjih petih letih je bilo le 5 pritožb, pa še te so bile zavrnjene. Zanemarljivo število pritožb pa kaže le na njegovo nerazumevanje in na rigidnost agencije, ki sploh ne dopušča vsebinskih pritožb. Tak »severnokorejski« postopek je v bolečem nasprotju z upravnimi postopki v vseh demokratičnih družbah, pa seveda tudi s prakso ocenjevanja znanstvenega dela (»peer review), kjer ima ocenjevani vedno možnost, da odgovori na pripombe ocenjevalcev.

    Mnoge, ki smo že sodelovali na razpisih ARRS in tudi dobili kakšen program ali projekt, moti razkorak med postopkom prijave in postopkom ocenjevanja zaključenega dela. Raziskovalec ima z vsako prijavo več tednov, lahko tudi več mesecev dela, po oddani prijavi pa potrebuje agencija prav tako več mesecev za postopke ocenjevanja. Ko pa je čez leto, dve ali tri delo zaključeno, se z zaključnim poročilom nihče prav resno ne ukvarja. Kaj to pomeni? Za agencijo je tisto, kar obljubljaš, mnogo pomembneje kot to, kar z denarjem dejansko narediš. Izbira programov in projektov na osnovi obljub je v nasprotju z bistvom znanstvenega dela. Prava znanost je pot v neznano in pri pravi znanosti nikoli ne moremo vedeti, kakšen bo rezultat.

    Logično nadaljevanje prejšnjega odstavka je, da bi morali ločiti raziskovalce ali raziskovalne skupine, ki se na razpise prijavljajo prvič, od tistih, ki ponovno kandidirajo za raziskovalna sredstva, Pri novih prijaviteljih res ne gre drugače, kot da jih ocenjujemo po obljubljenem programu, vendar bi morala agencija zadnji obrok denarja plačati šele po ugodni oceni zaključnega poročila. Pri ponovnih prijavah pa je bistveno, kaj so prijavitelji doslej dosegli, kajti ocena že narejenega je bistveno objektivnejša od ocenjevanja obljub. Raziskovalna skupina, ki ima za seboj uspešno delo z mednarodno odmevnimi dosežki, bo torej agenciji »prodala« svoje preteklo delo in na osnovi preproste prijave dobila odobrena sredstva, s katerimi bo podprla bodoče raziskave. Je s tem kaj narobe?

    dr. Matjaž Zwitter
    Objavljeno v časopisu Delo, Sobotna priloga, pisma bralcev, 19. 1.2019.

    • S tem prodajanjem preteklega dela po eni strani ni nič narobe, ker so programske skupine edini zanesljivi sistemski in stabilni vir financiranja. Res pa je, da je ob omejeni količini denarja praktično nemogoče, da pride do novih programskih skupin (seveda, če vse aktivne kolikor toliko resno delajo) in da ustvarimo 2 kasti raziskovalcev, ki so v skupini in tistih, ki niso. Seveda so znani pogoji za vstop v PS in sam bil povabljen v PS sicer na drugi instituciji zato, ker sem imel rezultate, obstoječi člani pa jih niso imeli in se je vodja odločil za menjavo. Spet pa je razlika med mano in člani na matični instituciji saj jaz tukaj (in še sodelavka) dobiva praktično ločen denar (pripadajoči delež FTE skupaj z mat. stroški in amortizacijo) s katerim sama razpolagava, na matični ustanovi pa praktično o vsem odloča vodja.

      Zdaj, če PSje ukinemo in vse delimo na podlagi ARRS recenzentskega sistema, bo establišment požrl še več denarja in teh Nočovih zgodb bo še precej več. Sam praktično na nobenem rednem razpisu ARRS nisem bil uspešen zato več niti ne prijavljam, ker gre za jalov posel (dobiš 3 namesto 4 na podlagi nekih samo recenzentui znanih kriterijev in si zaključil zgodbo).

PUSTITE KOMENTAR

Vpiši svoj komentar!
Prosimo vpišite svoje ime

This site uses Akismet to reduce spam. Learn how your comment data is processed.