E se… 3. La valutazione della ricerca 2 aprile 2009
Inviato da Marco in : E se... (università e ricerca), Politiche della ricerca 8 commenti
E se… la ricerca di dipartimenti e persone – quella che dovrebbe servire a destinare fondi e incentivi – fosse valutata attraverso un processo di peer-reviewing anonimo e internazionale?
- Lasciamo perdere i numeri. Vorremmo assegnare una fetta consistente dei fondi di ricerca dei dipartimenti, o degli incentivi ai singoli ricercatori, in funzione della qualità e quantità della ricerca effettuata nel periodo precedente. Ci serve dunque un sistema per effettuare questa valutazione; sistema che sia efficace, imparziale, autonomo, robusto. Di solito la prima cosa che ci viene in mente è quella di affidarci a qualche tipo di estimatore oggettivo, per esempio un criterio bibliografico (quante pubblicazioni? Quante citazioni? Quanti interventi a conferenze?) più o meno complicato. Che ne dite dell’h-index? O del g-index? Vi rivelo un segreto: da soli, questi criteri non servono veramente a molto. La verità è che le variabili esterne sono troppe perché l’oggettività desiderata venga veramente raggiunta. Siamo per esempio sicuri di voler valutare meglio qualcuno che pubblica molto (magari però in modo non troppo approfondito) piuttosto che qualcuno più scrupoloso che pubblica meno? Se non siete convinti, vi prego di leggere Stop the number game, che analizza molto bene la situazione: vi ricrederete. Ma nel caso foste troppo pigri per affrontare un’analisi dettagliata, i fumetti ci vengono in aiuto: tre tavole di PhD Comics per smontare in uno sguardo l’affidabilità degli Impact Factor, del numero di Invited Talks, delle firme sugli articoli e della loro reale rappresentatività di chi ha fatto il lavoro. Ci rivediamo dopo le strisce.
- Non ci resta che il peer-reviewing. Peer-review significa letteralmente controllo dei pari: è quel meccanismo per cui un comitato di persone esperte nel campo in questione si assume la responsabilità di valurate la qualità di un lavoro scientifico. Per intenderci, è il processo che governa la selezione delle pubblicazioni sulle riviste scientifiche. Che ci crediamo o meno, soltanto affidando a un comitato di esperti la valutazione della ricerca otterrete dei risultati decenti e se possibile impaziali. Soltanto l’intellgenza delle persone sa farsi strada attraverso i freddi criteri bibliomtrici, e valutare il peso da dare ai numeri; e se va bene per le pubblicazioni (che dovrebbero essere la misura della produzione scientifica), perché non dovrebbe funzionare per la ricerca in sé? Ovviamente potete aggiungere tutti i dettagli che volete per condire lo scenario: divisione per aree tematiche, indicazione di aree di priorità, etc. Il concetto di base non cambia.
- Chi ha paura dell’anonimato? Un buon processo di peer-reviewing dovrebbe essere blinded, ovvero anonimo, per minimizzare le interferenze e i conflitti di interessi. Apparentemente in Italia questa cosa non si può fare. Perché? Abbiamo un problema culturale con l’anonimato dei revisori? Come possiamo garantire altrimenti l’imparzialità del giudizio da parte di persone che sono – proprio in quanto pari – inseriti a loro a loro volta nell’ambiente accademico e scientifico, e dunque potenzialmente soggetti a pressioni? Semplicemente non possiamo.
- E se ci mettessimo qualche straniero? Se proprio volessimo fare le cose per bene, potremmo immaginere di aggiungere al comitato dei revisori qualche ricercatore straniero di chiara fama e affermata eccellenza. Aggiungerebbe alla valutazione un occhio imparziale, distaccato e attento alla reale importanza del progetto di ricerca rispetto agli standard mondiale. Sarebbe possibile nel nostro paese? Chissà.
- Ehi! Ma noi questo sistema ce l’abbiamo (quasi) già. Con decreto legislativo del 1998 è stato istituito il Comitato di Indirizzo per la Valutazione della Ricerca (CIVR), che in linea di principio dovrebbe proprio occuparsi di questa benedetta valutazione. La domanda non è dunque tanto “come valutare la ricerca?” quanto piuttosto “perché dopo l’uscita del rapporto del CIVR non è successo nulla, e la ripartizione di fondi (e stipendi) per il periodo successivo non è stata minimamente differenziata in base ai risultati del rapporto?“. Possiamo passare anni a discutere anni di come incentivare il merito scientifico e di quali siano gli strumenti migliori per valutarlo, ma a nulla serve tutto questo se alla creazione dei mecanismi di valutazione non segue un’azione (politica) che (con coraggio) ne utilizzi i risultati per differenziare l’allocazione delle risorse.
- P.S. Manco a dirlo, il sito del CIVR è morto, e le copie del rapporto di valutazione che erano accessibili fino a poco tempo fa sembrano scomparse. Il che la dice lunga su come questo genere di esercizio di valutazione sia considerato importante nel nostro simpatico paese. Siamo onesti: noi non vogliamo essere valutati. In fondo l’allocazione indifferenziata delle risorse fa comodo a tutti, da una parte e dall’altra del tavolo.
Leggi le altre puntate:
