E se… 3. La valutazione della ricerca
Inviato da Marco in : E se... (università e ricerca), Politiche della ricerca , trackback
E se… la ricerca di dipartimenti e persone – quella che dovrebbe servire a destinare fondi e incentivi – fosse valutata attraverso un processo di peer-reviewing anonimo e internazionale?
- Lasciamo perdere i numeri. Vorremmo assegnare una fetta consistente dei fondi di ricerca dei dipartimenti, o degli incentivi ai singoli ricercatori, in funzione della qualità e quantità della ricerca effettuata nel periodo precedente. Ci serve dunque un sistema per effettuare questa valutazione; sistema che sia efficace, imparziale, autonomo, robusto. Di solito la prima cosa che ci viene in mente è quella di affidarci a qualche tipo di estimatore oggettivo, per esempio un criterio bibliografico (quante pubblicazioni? Quante citazioni? Quanti interventi a conferenze?) più o meno complicato. Che ne dite dell’h-index? O del g-index? Vi rivelo un segreto: da soli, questi criteri non servono veramente a molto. La verità è che le variabili esterne sono troppe perché l’oggettività desiderata venga veramente raggiunta. Siamo per esempio sicuri di voler valutare meglio qualcuno che pubblica molto (magari però in modo non troppo approfondito) piuttosto che qualcuno più scrupoloso che pubblica meno? Se non siete convinti, vi prego di leggere Stop the number game, che analizza molto bene la situazione: vi ricrederete. Ma nel caso foste troppo pigri per affrontare un’analisi dettagliata, i fumetti ci vengono in aiuto: tre tavole di PhD Comics per smontare in uno sguardo l’affidabilità degli Impact Factor, del numero di Invited Talks, delle firme sugli articoli e della loro reale rappresentatività di chi ha fatto il lavoro. Ci rivediamo dopo le strisce.
- Non ci resta che il peer-reviewing. Peer-review significa letteralmente controllo dei pari: è quel meccanismo per cui un comitato di persone esperte nel campo in questione si assume la responsabilità di valurate la qualità di un lavoro scientifico. Per intenderci, è il processo che governa la selezione delle pubblicazioni sulle riviste scientifiche. Che ci crediamo o meno, soltanto affidando a un comitato di esperti la valutazione della ricerca otterrete dei risultati decenti e se possibile impaziali. Soltanto l’intellgenza delle persone sa farsi strada attraverso i freddi criteri bibliomtrici, e valutare il peso da dare ai numeri; e se va bene per le pubblicazioni (che dovrebbero essere la misura della produzione scientifica), perché non dovrebbe funzionare per la ricerca in sé? Ovviamente potete aggiungere tutti i dettagli che volete per condire lo scenario: divisione per aree tematiche, indicazione di aree di priorità, etc. Il concetto di base non cambia.
- Chi ha paura dell’anonimato? Un buon processo di peer-reviewing dovrebbe essere blinded, ovvero anonimo, per minimizzare le interferenze e i conflitti di interessi. Apparentemente in Italia questa cosa non si può fare. Perché? Abbiamo un problema culturale con l’anonimato dei revisori? Come possiamo garantire altrimenti l’imparzialità del giudizio da parte di persone che sono – proprio in quanto pari – inseriti a loro a loro volta nell’ambiente accademico e scientifico, e dunque potenzialmente soggetti a pressioni? Semplicemente non possiamo.
- E se ci mettessimo qualche straniero? Se proprio volessimo fare le cose per bene, potremmo immaginere di aggiungere al comitato dei revisori qualche ricercatore straniero di chiara fama e affermata eccellenza. Aggiungerebbe alla valutazione un occhio imparziale, distaccato e attento alla reale importanza del progetto di ricerca rispetto agli standard mondiale. Sarebbe possibile nel nostro paese? Chissà.
- Ehi! Ma noi questo sistema ce l’abbiamo (quasi) già. Con decreto legislativo del 1998 è stato istituito il Comitato di Indirizzo per la Valutazione della Ricerca (CIVR), che in linea di principio dovrebbe proprio occuparsi di questa benedetta valutazione. La domanda non è dunque tanto “come valutare la ricerca?” quanto piuttosto “perché dopo l’uscita del rapporto del CIVR non è successo nulla, e la ripartizione di fondi (e stipendi) per il periodo successivo non è stata minimamente differenziata in base ai risultati del rapporto?“. Possiamo passare anni a discutere anni di come incentivare il merito scientifico e di quali siano gli strumenti migliori per valutarlo, ma a nulla serve tutto questo se alla creazione dei mecanismi di valutazione non segue un’azione (politica) che (con coraggio) ne utilizzi i risultati per differenziare l’allocazione delle risorse.
- P.S. Manco a dirlo, il sito del CIVR è morto, e le copie del rapporto di valutazione che erano accessibili fino a poco tempo fa sembrano scomparse. Il che la dice lunga su come questo genere di esercizio di valutazione sia considerato importante nel nostro simpatico paese. Siamo onesti: noi non vogliamo essere valutati. In fondo l’allocazione indifferenziata delle risorse fa comodo a tutti, da una parte e dall’altra del tavolo.
Leggi le altre puntate:
(Scritto il 2 aprile 2009)
Commenti»
Tutto sacrosanto, specialmente la non voglia, tutta italiana, di farsi valutare.
Quando lavoravo per una nota multinazionale con sede a Redmond, c’erano 2 momenti di valutazione: la valutazione semestrale degli obiettivi con il responsabile diretto e la valutazione da parte dei clienti.
La prima era abbastanza seria e obiettiva.
La seconda no: o il cliente mi chiamava e mi chiedeva cosa doveva rispondere, o rispondeva a prescindere che “non era soddisfatto”. In questo modo diventava tutto inutile
Quando spiego questa procedura nell’azienda dove lavoro adesso mi guardano come se venissi da Marte.
Tutto giustissimo! Ne avevamo già parlato qui (compresa la citazione del paper di Parnas!)
http://www.noisefromamerika.org/index.php/articoli/1237
Molto interessante qualcuno dei commenti ricevuti all’epoca.
Sottoscrivo al 100%. Aggiungo che oltre al peer-reviewing, dovrebbero contare anche le partecipazioni in progetti scientifici internazionali. Voglio dire un conto che uno svolge ricerca solo nel proprio dipartimento, un’altra cosa è partecipare a progetti internazionali con decine di “competitors” stranieri.
Ma mi sorge un dubbio: sicuro che in Italia si voglia un sistema di valutazione della ricerca obiettivo e “blinded”?
La vera rivoluzione prima che legislativa deve essere culturale e non sono tanto sicuro che la maggiorparte dei nostri centri di ricerca lo voglia davvero. Certo non tutti sono così, collaboro con l’ INFN e loro sarebbero i primi a incentivare questo tipo di valutazioni (ne ho parlato con il direttore dei LNF un giorno ed era d’accordissimo), ma tutti gli altri?
Ho la vaga idea che fuori dalle facoltà scientifiche la situazione non sia così limpida, e ci sono troppi interessi in mezzo per essere “disturbati” da qualche peer poco accomodante.
Io sono comunque perchè anche grezzi strumenti come le citazioni siano valutate.
Non sai che email girano nei settori disciplinari e che cosa si sta mettendo in piedi per non essere valutati neanche con IF.
“Rapporti con il territorio”, “rilevanza nazionale”, “congressi di settore”.
Bla bla bla.
Ah!
Anche all’estero fanno schifo, a parte il tuo prof americano: sai quanti collaboratori internazionali indicano i referee amici?
Ma valutazione della ricerca e peer-review non sono praticamente la stessa cosa ovvero la prima è basata sulla qualità e quantità della seconda?
Inoltre ho la testimonianza di un mio professore universitario che boccia la ‘meritocrazia’ ovvero il finaziamento proporzionale ai risultati perchè ritiene che la ricerca scientifica sià di fatto una ‘guerra aperta’ e anche investendo notevoli risorse intellettuali e finanziarie si possa fatalmente fallire:
per lui sarebbe quindi più giusto finanziare indiscriminatamente tutti…(forse si tratta di un Prof poco brillante)
Che ne pensa Marco a riguardo?
Inoltre che pensa lei Marco del fatto che le riviste internazionali possano decidere a priori la scelta del tipo di articolo da pubblicare in base alla propria linea editoriale?
E’ una cosa che ad esempio viene molto contestata nell’ambito della letteratura ufficiale sui Cambiamenti Climatici attuali che negherebbe importanza alla teorie ‘negazioniste’ dell’Effetto Serra…
C’è anche questo rischio nel peer-reviewing in generale o è solo relegato ad alcuni filoni di ricerca scientifca quale quello citato?
@Lorenzo: non credo che si possa giudicare il livello della ricerca effettuata separando qualità e quantità. Sarei decisamente a disagio a dire “migliore” un ricercatore o un ente che produce molto di scarsa qualità, o viceversa. Per questo penso che serva una mente umana – e non basti un algoritmo – per valutare in modo completo.
Rispetto alla meritocrazia come “guerra aperta”, sicuramente la competizione può diventare feroce – e questo non è probabilmente un bene – ma risolvere la questione finanziando indiscriminatamente tutti è sicuramente peggio! Penso che l’equilibrio stia nel finanziare una frazione (consistente, ma non totale) dei fondi in base ai risultati ottenuti: non si condanna a morte nessuno, ma allo stesso tempo si favorisce l’iniziativa e si lanciano messaggi chiari a chi dorme sugli allori.
Per finire, sul peer-reviewing editoriale e le riviste. Non sono un esperto di cambiamento climatico, quello che so è che le riviste serie – perlomeno nel mio campo – non hanno problemi a pubblicare articoli contraddittori tra loro, anzi è loro interesse ospitare il dibattito. In generale poi il processo di rewieving serve in primo luogo (e soprattutto) a verificare questioni di rilevanza e soprattutto di metodo. Nel caso del cambiamento climatico, purtroppo le ricerche “negazioniste” sono troppo spesso finanziate e orientate dai cartelli del petrolio, e in generale discutibili proprio sul metodo con cui i risultati sono ottenuti. Ma se un lavoro è buono e ben fondato, per quanto contraddittorio troverà sempre la sua strada verso il pubblico, specie in questo tempo di comunicazioni elettroniche. Anzi, è vero piuttosto il contrario: si fanno strada attraverso la rete anche troppe teorie “bufala”, proprio perché è ormai troppo facile pubblicare “in proprio” senza alcuna revisione editoriale. Ma di questo fenomeno magari riparliamo altrove, perché aprirebbe una discussione a sé.
Ciao Marco, commento con un ritardo mostruoso, dovuto al fatto che ti ho letto solo oggi.
Ti dico come faccio IO a valutare se una/un mia/o collega è scarsa/o-valida/o.
Premessa: sono ingegnere elettronico, e faccio ricerca nel settore “Photonics”.
Faccio così:
1. Cerco la sua pagina web personale scientifica. Se non ce l’ha, penso: “uhmmmm”. Se ce l’ha, guardo se sono elencati i progetti di ricerca cui ha partecipato, e l’ammontare complessivo dei finanziamenti raccolti (dato che quasi nessuno pubblica, ma che dà un’idea…)
2. Guardo la lista delle sue pubblicazioni su rivista, così per valutarne il numero, rapportato agli anni di attività. In genere ricerco su ISI – Web Of Knowledge. Valuto il numero di temi di ricerca, la loro varietà, e, ovviamente, la qualità delle riviste [al riguardo, vedere la *Nota* in fondo]
3. Elenco le pubblicazioni per numero di citazioini. Di fatto, valuto l’H-index
4. Non mi fermo qui, e vedo CHI ha citato gli articoli in questione. Varie opzioni:
4a. tante citazioni da autori diversi = bene, lavoro di interesse generale
4b. tante citazioni da autori che sono sempre gli stessi = lavoro di nicchia, oppure la/lo scienziata/o in questione lavora in un settore che fa dell’essere nicchia una forza
4c. tante citazioni da co-autori = “uhmmm”, siamo all’ultra-nicchia
4d. tante auto-citazioni (e poco altro) = vabbè, passiamo al prossimo paper
5. Alla fine, riesco ad avere un quadro abbbastanza attendibile del profilo scientifico. In genere, combino la fredda analisi dei paper con le impressioni che la persona mi ha fatto dal vivo, durante la sua presentazione, al lunch-break, durante o dopo la mia presentazione.
6. Il combinato disposto dei punti 1-5 consente di valutare la/lo scienziata/o. Che sia per decidere se scriverci un proposal insieme, o per assumerla/o presso il mio Istituto (faccio finta che funzioni così, nel mio Istituto…), oppure giusto per il gusto di valutare una/un collega.
*Nota*: Nel mio settore le riviste più prestigiose non sono più prestigiose come un tempo. Motivo per cui a volte occorre non solo guardare su QUALE rivista ha pubblicato, ma anche dare un’occhiata al paper per capire se è una cazzata. Spesso lo è. Negli ultimi 10-15 anni troppe persone nel mondo si sono dedicate alla ricerca scientifica, e la qualità media delle pubblicazioni si è inabissata.