În acest text arăt câteva cauze structurale care duc la evaluări de slabă calitate și sugerez soluții. Miza este creșterea eficienței programelor și subprogramelor de cercetare implementate competitiv, prin apeluri la depunerea de proiecte, mai buna folosire a banilor publici.
În ultima vreme au apărut mai multe relatări în mass-media despre evaluări de slabă calitate ale proiectelor de cercetare la unele competiții. Orice evaluare de slabă calitate este făcută din interes, fie prin acceptarea evaluării pentru bani a unor proiecte în afara domeniului de competență, fie pentru a crea dificultăți unor proiecte pentru a avantaja altele în condițiile în care există o competiție foarte mare. Mai există și cazul unor idiosincrazii care duc la dorința de a bloca proiecte asociate a unei anumite școli sau tradiții de cercetare, când persoana evaluatore aparține alteia. Evaluatorii nu sunt oameni cu inteligență mică, ei știu foarte bine ce fac atunci când evaluează superficial sau incorect și se prevalează de faptul că sunt anonimi.
Reacțiile din mass media aruncă responsabilitatea situației pe evaluatori, sau eventual neagă relevanța fenomenului la scara întregului program, ca și cum s-ar limita numai la câteva cazuri izolate, cei care fac publice problemele. Ca persoană care a interacționat cu sistemul de evaluare în foarte multe situații în ultimii 22 de ani, pot să spun că situația e generală, dar rezultatul net al evaluărilor la nivel de cercetător individual sau al grupului de cercetare nu este influențat la o scară de timp de câteva competiții, ce vei pierde în unele, vei câștiga în altele, tot prin evaluare incorectă, dar de data aceasta care te avantajează: evaluatori care simpatizează cu tine, deși nu știi de ce, ei fiind anonimi, sau afli după ceva vreme din terțe surse că ți-au făcut un serviciu (unii au tendința să te informeze și înainte de paneluri, punându-te în situații etice delicate), evaluatori care vor să lovească în alții și te avantajează pe tine ca să moară capra acelui vecin, evaluatori care nu înțeleg în mod evident proiectul, dar fiind foarte lucrat, muncit, dau punctaj uriaș, deși după câțiva ani tu însuți ți-ai fi dat un punctaj mai mic înțelegând mai clar erorile din proiect în etapa de implementare; uneori observi diferențele dintre cine știe și nu știe ce evaluează când cu idei similare te duci succesiv la o competiție europeană, unde ratezi, iar apoi câștigi cu aproape maximul la una națională (dar am auzit că se poate și invers, pierzi în România și câștigi la ERC). Nu pot să dau exemple concrete, pentru că aș încălca regulile de confidențialitate și ar fi incorect, în logica actuală a sistemului, față de cei care uneori cred că fac bine dând un plus în lupta incorectă pe resurse, dar cam acestea sunt tipurile de situații. Una peste alta, grupurile care fac cercetare de performanță și au stomac tare sunt dispuse să “treacă prin zid”, cum se spune, au reziliență și dacă sunt date afară pe ușă intră pe fereastră la următoarea competiție, au învățat regulile jocului și vin cu o ploaie de proiecte în loc de unul, pe mai multe direcții, ca să scadă șansele să ajungă la cineva dispus să evalueze prost, finalmente poți obține finanțare și chiar să asiguri una pe termen lung.
Problema principală la care duce fenomenul schițat mai sus este ineficiența cheltuirii banilor de cercetare, ineficiența programelor în ansamblul lor și pe subdomenii. Pe de o parte multe resurse ajung la proiecte slabe, iar altele bune nu sunt finanțate, media proiectelor e mai jos decât ar putea fi, pe de altă parte cercetătorii finanțați pierd prea mult timp cu strategii de succes într-un sistem disfuncțional investind mai puțin în cercetarea efectivă (tehnic vorbind managementul consumă prea mult timp în ciclul de viață al proiectelor). Cu câteva schimbări de abordare cetățenii ar putea beneficia de servicii mult mai bune, de cunoaștere decisivă pentu situațiile decizionale relevante (cum a fost și criza pandemiei actuale, dar nu numai, tot timpul există nevoia de cunoaștere științifică aplicativă, sau fundamentală pregătitoare a celei aplicative).
Câteva probleme structurale care duc la evaluări de proastă calitate sunt următoarele și soluții ale lor pot fi:
- Bugetul prea mic alocat programelor în raport cu lista de proiecte. Când sub 10% din proiecte (uneori 4-5%) ajunge la finanțare competiția acerbă internă va duce la vicierea inevitabilă a procesului de evaluare. Soluții sunt fie creșterea bugetelor pe program, fie ridicarea pragurilor de eligibilitate pentru scădere numărului de proiecte participante. Când numărul de proiecte va fi mare și la praguri mari înalte eligibilitate se poate adopta sistemul de la DGXII cu un ofițer extern din partea programului care să controleze ce fac evaluatorii implicați științific (un fel de evaluator al procedurii, nu conținutului evaluării).
- Politizarea instituțiilor care fac cercetare, a tuturor categoriilor de instituții. Pentru a obține resurse și a supraviețui mulți cercetători, în special din zona de conducere, dar și dintre cei mediocri care nu pot face față competiției, intră în politică. Cei care nu sunt în partide au de luptat cu cei care sunt în partide și care se susțin reciproc pe linie de partid. Depolitizarea conducerii instituțiilor de cercetare la toate nivelurile manageriale (strategic, tactic și operațional) este singura soluție. Cum se poate face asta constituțional nu știu, dar fenomenul este dezastruos pentru eficiența chelturii banilor publici. Dacă nu se poate face direct se poate face prin controlul traficului de influență și abuzului în serviciu prin care funcționează aceste rețele, din partea penală. Problema e minoră la scara țării, dar poate că îi va veni și ei rândul după rezolvarea rețelelor de corupție care produc pagube mai mari.
- Amânarea pe termen nedefinit a reformării sistemului de educație superioară și cercetare în sensul creșterii performanței sale. Există polarizări puternice în comunitatea științifică între oamenii care vor să rămână lucrurile așa cum sunt și cei care vor schimbare, cu consecințe evidente și asupra procesului de evaluare a proiectelor, în sensul că cei care apără modul actual de funcționare au tendința să blocheze pe oricine vine cu standarde înalte sau publicații de nivel înalt, indiferent dacă are activitate publică sau nu, și mai ales dacă vin din diaspora, care e percepută ca un factor destabilizator al stării de fapt. În opinia mea, unele din situațiile raportate în mass-media se încadrează aici: acordul general informal al rețelelor corupte de cercetători pentru a bloca intrarea de resursă umană de valoare în sistem, pentru a nu se ajunge la masa critică pentru schimbări de fond.
Am schițat așadar tipurile de fenomene asociate evaluării slabe și am văzut că rezultatul net la scara unui cercetător sau al unei echipe în sensul câștigării de proiecte nu este foarte mare, dacă ai învățat cum funcționează, totuși, lucrurile în disfuncționalitatea lor instituțională. Apoi am văzut câteva acțiuni structurale posibile:
- echilibrarea raportului dintre bugetul unui program și numărul de proiecte potențiale aplicate (la nivelul agențiilor de finanțare a cercetării)
- acțiunea asupra rețelelor politizate care funcționează prin trafic de influență și abuz în serviciu (la nivelul procuraturii)
- finalizarea reformei sistemului de educație superioară și cercetare (la nivelul executivului și legislativului).
___
Despre Virgil Iordache:
Virgil Iordache predă și cercetează la Universitatea din București – Facultatea de Biologie, din 1993; este licențiat în biologie specializarea biochimie, doctor în ecologie pe probleme de ecotoxicologie și licențiat și în filosofie pe probleme de evoluția instituțiilor. Este autorul a numeroase cărți și articole, este directorul Centrului de Cercetare pentru Servicii Ecologice din Universitatea București.
Matei Pop
G4Media.ro
Raluca Pantazi
Redacția
Roxana Rusin