Imamo pravico vedeti, kdo je ocenjeval kateri projekt?

    Igor Geržina je odprl kar pomembno vprašanje glede tajnosti recenzentov raziskovalnih projektov na ARRS.

    Zgodovinar Igor Grdina opozarja, da želi Javna agencija za raziskovalno dejavnost Republike Slovenije (ARRS) s skrivanjem recenzentov, ki ocenjujejo delo posameznih raziskovalnih skupin in katerih ocena je ključna pri delitvi javnih sredstev, prikriti nestrokovnost svojega delovanja. Po njegovem se na “zelo čuden” način izrablja institut zaupnosti ocenjevalnih postopkov raziskovalnih programov.

    Obrnil se je na informacijsko pooblaščenko, ki je njegovi vlogi ugodila in odločitev pojasnila takole:

    “Takšen razlog bi lahko uveljavljal celoten javni sektor in tudi širše, saj je vselej mogoče, da zainteresirani posameznik ali subjekt želi vplivati na odločitev tistega, ki odloča o njegovih pravicah ali obveznostih, po drugi strani pa bi se ta, ki odloča, vselej želel ‘skriti’, kar bi mu dajalo možnost, da pri odločitvi ne ravna izključno strokovno, temveč tudi neobjektivno in pristransko. Pooblaščenec zato ocenjuje, da je strokovnost in integriteto recenzenta mogoče varovati s preglednostjo, ne pa z omejevanjem dostopa do navedene informacije,”

    Menda pa informacij, kdo konkretno je ocenjeval kateri projekt, ne izdajo tudi pri EU razpisih:

    Jana Kolar, v. d. direktorice direktorata za znanost in tehnologijo, je pojasnila, da Evropska komisija, preko katere se razdeli več kot 20 odstotkov kompetitivno razdeljenega denarja za raziskave in razvoj v Evropi, ne objavlja, kdo so recenzenti posameznih vlog. Objavijo sicer seznam vseh recenzentov v posameznih razpisih, ne pa, kdo je recenziral posamezno vlogo, s čimer naj bi se recenzenti zaščitili.

    Vir: Tokrat tajni sodelavci agencije za raziskovalno dejavnost, ne Sove

    Moje mnenje je, da gre v postopkih recenzentskega odločanja za izražanje argumentirane sodbe, pri čemer se mora konkretni recenzent potruditi, da se odloča neodvisno od vseh partikularnih interesov. Svojo odločitev mora znati tudi argumentirano zagovarjati. Zato ne vidim nobene težave v tem, da so imena recenzentov po koncu postopka javna. Tudi sodnik se pod sodbo podpiše, čeprav je bila izrečena v imenu ljudstva. Javnost recenzentov in njihovih mnenj bi samo dodatno pripomogla k transparentnosti in kakovosti odločanja.

    dodatek:

    8 KOMENTARJI

    1. Ce se ne motim je po koncanih ERC projektih mogoce zahtevati, da ti razkrijejo imena recenzentov (sam sicer tega nisem preverjal na straneh ERC, temvec za instrument vem le posredno od razjarjenega kolega, ki je sumil starejsega eminentneza s katerim sta imela trenja okoli citiranja).

    2. Se to: skrb pri razkrivanju recenzentov je, da pri tem prihaja do zamer, ki se poglabljajo spore med ljudmi. Prav tako se lahko dogodi, da bodo domaci recenzenti prizanesljivejsi do "politicno vplivnih" (ceprav je vprasanje, ali so ze tokrat recenzenti dovolj anonimni, da se lahko skrijejo pred "veljaki").

      Po drugi strani pa me dejansko najbolj zanima pri oceni mojega projekta to, ali ga je ocenjeval nekdo, ki sploh ve, kaj sem prijavil.

    3. Jure, ampak isti argument za anonimnost pred "veljaki" bi lahko uporabil tudi za sodnike, kjer gre v večini primerov za bistveno bolj usodne odločitve, kot je odobritev raziskovalnega projekta.

      Sam se zavzemam ne le za javnost imen recenzentov, ampak tudi za javnost njihovih ocen. Sama imena lahko sprožajo nezaupanje, zato je nujno treba poznati tudi argumente, kako utemeljujejo posamezno odločitev.

    4. Sodniki sodijo po zakonu. Pri ocenjevanju dobre znanosti pa si žal ne moremo pomagat z nobenim zakonom.

      Anonimnost recenzentov je trenutno pač standardna praksa v akademskem svetu. Ima dobre in slabe strani, je pa dejstvo, da se zaenkrat nobena druga rešitev "peer-to-peer" ocenjevanja še izkazala za boljšo.

      In kot vsako reč je mogoče tudi ocenjevanje z anonimnimi recenzenti izpeljati boljše ali slabše. Za ARRS se zdi, da to počne zelo slabo. Izbira nekompetente recenzente in dovoljuje, da se denar deli na osnovi slabih recenzij. In predvsem ni uspela izdelat nobenega mehanizma, ki bi to učinkovito preprečeval – še naprej veselo deluje po znanem slovenskem sistemu, ko v procesih odločanja ni jasna delitev odgovornosti. Če je kak denar očitno slabo razdeljen se ARRS sklicuje na "anonimonost recenzentov" in si opere roke, namesto da bi razmišljala, kako bo denar v prihodnje bolje razdelila.

      In da ne bo pomote – sem zelo skeptičen, da lahko sistem recenziranja v Sloveniji sploh dobro funkcionira – preveč je vej znanosti, kjer je pri nas le peščica strokovnjakov in kako naj ti ocenjujejo drug drugega? tuji recenzenti so tudi farsa (če njihovem iskanju ne nameniš veliko denarja).

      Edina rešitev za Slovenijo se zdi, da je: del denarja se razdeli sistemsko, brez anonimnih recenzentov, da lahko večina inštitutkov z njim nekako preživotari. poceni, a zagotavlja "kontinuiteto". del denarja pa se v velikih kosih deli s pomočjo res zunanjih recenzentov (npr ERC). To je sicer drago, a na ta način bi res imeli vsi enake možosti, da pokažejo svojo kvaliteto in od nje živijo.

    5. Se strinjam s komentarjem anonimnega, ki pravi, da je Slovenija zaradi majhnosti specifična. Po lastnih izkušnjah lahko rečem, da so imele anonimne recenzije in anonimno odločanje o sprejetju projektov med raziskovalci vedno negativen odziv. Kadar so bili vloženi projekti predstavljeni na področnih panelih in so bili recenzentje javni, je bilo bistveno manj negodovanja in pritož, hkrati pa je bila širša javnost seznanjena o vsebinah in ustrezni usposobljenosti recenzentov. V zadnjih letih ko se na letni ravni na nekaterih raziskovalnih poljih sprejme le še 5-10 % vloženih projektov pa govoriti o odličnosti in relevanci nima več nobenega smisla. Gre le še za lobiranje, recenzenti pa so večinoma posredno povezani z raziskovalcem ali raziskovalno skupino katere projekt ali program recenzirajo.

    6. Nekaj izvlečkov iz zanimivega članka, ki ga je zgoraj linkal Luka. Ne govori sicer o ocenjevanju projektov, ampak je vseeno v kontekstu.

      I Hate Your Paper – The Scientist – Many say the peer review system is broken. Here’s how some journals are trying to fix it.

      Problem #1: Reviewers are biased by personal motives
      Solution: Eliminate anonymous peer review ( Biology Direct, BMJ, BMC); run open peer review alongside traditional review (Atmospheric Chemistry and Physics); judge a paper based only on scientific soundness, not impact or scope (PLoS ONE)

      Problem #2: Peer review is too slow, affecting public health, grants, and credit for ideas
      Solution: Shorten publication time to a few days (PLoS Currents Influenza); bypass subsequent reviews (Journal of Biology); publish first drafts (European Geosciences Union journals)

      Problem #3: Too many papers to review
      Solution: Recycle reviews from journals that have rejected the manuscript (Neuroscience Peer Review Consortium); wait for volunteers (Chemical Physics Letters); reward reviewer efforts (Biology Direct, BMC, Frontiers, ACP)

    7. MVZT: ARRS je samostojna agencija, na katero MVZT nima neposrednega vpliva:
      "Parlamentarni odbor za visoko šolstvo, znanost in tehnološki razvoj se je 17. februarja na zahtevo poslanske skupine SDS sestal na nujni seji in obravnaval domnevno skrivanje informacij o imenih recenzentov na ARRS, na kar je pred nedavnim javno opozoril dr. Igor Grdina. Minister Gregor Golobič je uvodoma članice in člane odbora seznanil, da je ARRS samostojna agencija, na katero ministrstvo nima neposrednega vpliva. Sicer pa ministrstvo spoštuje mnenje informacijske pooblaščenke, zato so imena recenzentov na razpisih MVZT javna, in dodal, da bi bilo v izogib tovrstnim zapletom smiselno urediti postopke recenziranja znanstvenih del in razpise po vzoru EU.

      Direktor ARRS dr. Franci Demšar se z odločitvijo informacijske pooblaščenke, ki je konec januarja letos odloča, da mora ARRS zgodovinarju Grdini razkriti imena recenzentov, ki so ocenjevali delo posameznih raziskovalnih skupin, ne strinja, zato je danes napovedal,da bo ARRS v zvezi s tem vložil tožbo na upravno sodišče."

    PUSTITE KOMENTAR

    Vpiši svoj komentar!
    Prosimo vpišite svoje ime

    This site uses Akismet to reduce spam. Learn how your comment data is processed.