• Passa alla navigazione primaria
  • Passa al contenuto principale
  • Passa alla barra laterale primaria
  • Passa alla barra laterale secondaria
  • Passa al piè di pagina
  • Home
  • Chi sono
  • Contatti
  • Tu che sei un fisico
  • Incontri e conferenze
  • Particelle familiari
  • Work

E se... 3. La valutazione della ricerca

2 Aprile 2009 8 commenti

what_if_03

E se... la ricerca di dipartimenti e persone - quella che dovrebbe servire a destinare fondi e incentivi - fosse valutata attraverso un processo di peer-reviewing anonimo e internazionale?

  • Lasciamo perdere i numeri. Vorremmo assegnare una fetta consistente dei fondi di ricerca dei dipartimenti, o degli incentivi ai singoli ricercatori, in funzione della qualità e quantità della ricerca effettuata nel periodo precedente. Ci serve dunque un sistema per effettuare questa valutazione; sistema che sia efficace, imparziale, autonomo, robusto. Di solito la prima cosa che ci viene in mente è quella di affidarci a qualche tipo di estimatore oggettivo, per esempio un criterio bibliografico (quante pubblicazioni? Quante citazioni? Quanti interventi a conferenze?) più o meno complicato. Che ne dite dell'h-index? O del g-index? Vi rivelo un segreto: da soli, questi criteri non servono veramente a molto. La verità è che le variabili esterne sono troppe perché l'oggettività desiderata venga veramente raggiunta. Siamo per esempio sicuri di voler valutare meglio qualcuno che pubblica molto (magari però in modo non troppo approfondito) piuttosto che qualcuno più scrupoloso che pubblica meno? Se non siete convinti, vi prego di leggere Stop the number game, che analizza molto bene la situazione: vi ricrederete. Ma nel caso foste troppo pigri per affrontare un'analisi dettagliata, i fumetti ci vengono in aiuto: tre tavole di PhD Comics per smontare in uno sguardo l'affidabilità degli Impact Factor, del numero di Invited Talks, delle firme sugli articoli e della loro reale rappresentatività di chi ha fatto il lavoro. Ci rivediamo dopo le strisce.

phd120808s
phd121908s
phd031305s

  • Non ci resta che il peer-reviewing. Peer-review significa letteralmente controllo dei pari: è quel meccanismo per cui un comitato di persone esperte nel campo in questione si assume la responsabilità di valurate la qualità di un lavoro scientifico. Per intenderci, è il processo che governa la selezione delle pubblicazioni sulle riviste scientifiche. Che ci crediamo o meno, soltanto affidando a un comitato di esperti la valutazione della ricerca otterrete dei risultati decenti e se possibile impaziali. Soltanto l'intellgenza delle persone sa farsi strada attraverso i freddi criteri bibliomtrici, e valutare il peso da dare ai numeri; e se va bene per le pubblicazioni (che dovrebbero essere la misura della produzione scientifica), perché non dovrebbe funzionare per la ricerca in sé? Ovviamente potete aggiungere tutti i dettagli che volete per condire lo scenario: divisione per aree tematiche, indicazione di aree di priorità, etc. Il concetto di base non cambia.
  • Chi ha paura dell'anonimato? Un buon processo di peer-reviewing dovrebbe essere blinded, ovvero anonimo, per minimizzare le interferenze e i conflitti di interessi. Apparentemente in Italia questa cosa non si può fare. Perché? Abbiamo un problema culturale con l'anonimato dei revisori? Come possiamo garantire altrimenti l'imparzialità del giudizio da parte di persone che sono - proprio in quanto pari - inseriti a loro a loro volta nell'ambiente accademico e scientifico, e dunque potenzialmente soggetti a pressioni? Semplicemente non possiamo.
  • E se ci mettessimo qualche straniero? Se proprio volessimo fare le cose per bene, potremmo immaginere di aggiungere al comitato dei revisori qualche ricercatore straniero di chiara fama e affermata eccellenza. Aggiungerebbe alla valutazione un occhio imparziale, distaccato e attento alla reale importanza del progetto di ricerca rispetto agli standard mondiale. Sarebbe possibile nel nostro paese? Chissà.
  • Ehi! Ma noi questo sistema ce l'abbiamo (quasi) già. Con decreto legislativo del 1998 è stato istituito il Comitato di Indirizzo per la Valutazione della Ricerca (CIVR), che in linea di principio dovrebbe proprio occuparsi di questa benedetta valutazione. La domanda non è dunque tanto "come valutare la ricerca?" quanto piuttosto "perché dopo l'uscita del rapporto del CIVR non è successo nulla, e la ripartizione di fondi (e stipendi) per il periodo successivo non è stata minimamente differenziata in base ai risultati del rapporto?". Possiamo passare anni a discutere anni di come incentivare il merito scientifico e di quali siano gli strumenti migliori per valutarlo, ma a nulla serve tutto questo se alla creazione dei mecanismi di valutazione non segue un'azione (politica) che (con coraggio) ne utilizzi i risultati per differenziare l'allocazione delle risorse.
  • P.S. Manco a dirlo, il sito del CIVR è morto, e le copie del rapporto di valutazione che erano accessibili fino a poco tempo fa sembrano scomparse. Il che la dice lunga su come questo genere di esercizio di valutazione sia considerato importante nel nostro simpatico paese. Siamo onesti: noi non vogliamo essere valutati. In fondo l'allocazione indifferenziata delle risorse fa comodo a tutti, da una parte e dall'altra del tavolo.

Leggi le altre puntate:

  • E se… 2. I finanziamenti
  • E se… 1. I concorsi

Condividi:

  • Fai clic per condividere su Facebook (Si apre in una nuova finestra) Facebook
  • Fai clic per condividere su X (Si apre in una nuova finestra) X
  • Fai clic per inviare un link a un amico via e-mail (Si apre in una nuova finestra) E-mail
  • Altro
  • Fai clic qui per stampare (Si apre in una nuova finestra) Stampa

Correlati

Archiviato in:Militanza Contrassegnato con: CIVR, criteri bibliografici, E se... (università e ricerca), peer review, politiche della ricerca, ricerca, università, valutazione

Interazioni del lettore

Commenti

  1. IgorB dice

    2 Aprile 2009 alle 13:17

    Tutto sacrosanto, specialmente la non voglia, tutta italiana, di farsi valutare.
    Quando lavoravo per una nota multinazionale con sede a Redmond, c'erano 2 momenti di valutazione: la valutazione semestrale degli obiettivi con il responsabile diretto e la valutazione da parte dei clienti.
    La prima era abbastanza seria e obiettiva.
    La seconda no: o il cliente mi chiamava e mi chiedeva cosa doveva rispondere, o rispondeva a prescindere che "non era soddisfatto". In questo modo diventava tutto inutile

    Quando spiego questa procedura nell'azienda dove lavoro adesso mi guardano come se venissi da Marte.

    Rispondi
  2. knulp dice

    2 Aprile 2009 alle 19:12

    Tutto giustissimo! Ne avevamo già parlato qui (compresa la citazione del paper di Parnas!)

    http://www.noisefromamerika.org/index.php/articoli/1237

    Molto interessante qualcuno dei commenti ricevuti all'epoca.

    Rispondi
  3. Antonio dice

    3 Aprile 2009 alle 08:11

    Sottoscrivo al 100%. Aggiungo che oltre al peer-reviewing, dovrebbero contare anche le partecipazioni in progetti scientifici internazionali. Voglio dire un conto che uno svolge ricerca solo nel proprio dipartimento, un'altra cosa è partecipare a progetti internazionali con decine di "competitors" stranieri.

    Ma mi sorge un dubbio: sicuro che in Italia si voglia un sistema di valutazione della ricerca obiettivo e "blinded"?
    La vera rivoluzione prima che legislativa deve essere culturale e non sono tanto sicuro che la maggiorparte dei nostri centri di ricerca lo voglia davvero. Certo non tutti sono così, collaboro con l' INFN e loro sarebbero i primi a incentivare questo tipo di valutazioni (ne ho parlato con il direttore dei LNF un giorno ed era d'accordissimo), ma tutti gli altri?
    Ho la vaga idea che fuori dalle facoltà scientifiche la situazione non sia così limpida, e ci sono troppi interessi in mezzo per essere "disturbati" da qualche peer poco accomodante.

    Rispondi
  4. capemaster dice

    3 Aprile 2009 alle 17:31

    Io sono comunque perchè anche grezzi strumenti come le citazioni siano valutate.

    Non sai che email girano nei settori disciplinari e che cosa si sta mettendo in piedi per non essere valutati neanche con IF.
    "Rapporti con il territorio", "rilevanza nazionale", "congressi di settore".
    Bla bla bla.

    Ah!
    Anche all'estero fanno schifo, a parte il tuo prof americano: sai quanti collaboratori internazionali indicano i referee amici?

    Rispondi
  5. Lorenzo Fiori dice

    4 Aprile 2009 alle 20:26

    Ma valutazione della ricerca e peer-review non sono praticamente la stessa cosa ovvero la prima è basata sulla qualità e quantità della seconda?

    Inoltre ho la testimonianza di un mio professore universitario che boccia la 'meritocrazia' ovvero il finaziamento proporzionale ai risultati perchè ritiene che la ricerca scientifica sià di fatto una 'guerra aperta' e anche investendo notevoli risorse intellettuali e finanziarie si possa fatalmente fallire:
    per lui sarebbe quindi più giusto finanziare indiscriminatamente tutti...(forse si tratta di un Prof poco brillante)
    Che ne pensa Marco a riguardo?

    Rispondi
  6. Lorenzo Fiori dice

    4 Aprile 2009 alle 20:35

    Inoltre che pensa lei Marco del fatto che le riviste internazionali possano decidere a priori la scelta del tipo di articolo da pubblicare in base alla propria linea editoriale?
    E' una cosa che ad esempio viene molto contestata nell'ambito della letteratura ufficiale sui Cambiamenti Climatici attuali che negherebbe importanza alla teorie 'negazioniste' dell'Effetto Serra...

    C'è anche questo rischio nel peer-reviewing in generale o è solo relegato ad alcuni filoni di ricerca scientifca quale quello citato?

    Rispondi
  7. Marco dice

    6 Aprile 2009 alle 08:13

    @Lorenzo: non credo che si possa giudicare il livello della ricerca effettuata separando qualità e quantità. Sarei decisamente a disagio a dire "migliore" un ricercatore o un ente che produce molto di scarsa qualità, o viceversa. Per questo penso che serva una mente umana - e non basti un algoritmo - per valutare in modo completo.

    Rispetto alla meritocrazia come "guerra aperta", sicuramente la competizione può diventare feroce - e questo non è probabilmente un bene - ma risolvere la questione finanziando indiscriminatamente tutti è sicuramente peggio! Penso che l'equilibrio stia nel finanziare una frazione (consistente, ma non totale) dei fondi in base ai risultati ottenuti: non si condanna a morte nessuno, ma allo stesso tempo si favorisce l'iniziativa e si lanciano messaggi chiari a chi dorme sugli allori.

    Per finire, sul peer-reviewing editoriale e le riviste. Non sono un esperto di cambiamento climatico, quello che so è che le riviste serie - perlomeno nel mio campo - non hanno problemi a pubblicare articoli contraddittori tra loro, anzi è loro interesse ospitare il dibattito. In generale poi il processo di rewieving serve in primo luogo (e soprattutto) a verificare questioni di rilevanza e soprattutto di metodo. Nel caso del cambiamento climatico, purtroppo le ricerche "negazioniste" sono troppo spesso finanziate e orientate dai cartelli del petrolio, e in generale discutibili proprio sul metodo con cui i risultati sono ottenuti. Ma se un lavoro è buono e ben fondato, per quanto contraddittorio troverà sempre la sua strada verso il pubblico, specie in questo tempo di comunicazioni elettroniche. Anzi, è vero piuttosto il contrario: si fanno strada attraverso la rete anche troppe teorie "bufala", proprio perché è ormai troppo facile pubblicare "in proprio" senza alcuna revisione editoriale. Ma di questo fenomeno magari riparliamo altrove, perché aprirebbe una discussione a sé.

    Rispondi
  8. Guido Giuliani dice

    12 Ottobre 2009 alle 02:12

    Ciao Marco, commento con un ritardo mostruoso, dovuto al fatto che ti ho letto solo oggi.
    Ti dico come faccio IO a valutare se una/un mia/o collega è scarsa/o-valida/o.
    Premessa: sono ingegnere elettronico, e faccio ricerca nel settore "Photonics".
    Faccio così:
    1. Cerco la sua pagina web personale scientifica. Se non ce l'ha, penso: "uhmmmm". Se ce l'ha, guardo se sono elencati i progetti di ricerca cui ha partecipato, e l'ammontare complessivo dei finanziamenti raccolti (dato che quasi nessuno pubblica, ma che dà un'idea...)
    2. Guardo la lista delle sue pubblicazioni su rivista, così per valutarne il numero, rapportato agli anni di attività. In genere ricerco su ISI - Web Of Knowledge. Valuto il numero di temi di ricerca, la loro varietà, e, ovviamente, la qualità delle riviste [al riguardo, vedere la *Nota* in fondo]
    3. Elenco le pubblicazioni per numero di citazioini. Di fatto, valuto l'H-index
    4. Non mi fermo qui, e vedo CHI ha citato gli articoli in questione. Varie opzioni:
    4a. tante citazioni da autori diversi = bene, lavoro di interesse generale
    4b. tante citazioni da autori che sono sempre gli stessi = lavoro di nicchia, oppure la/lo scienziata/o in questione lavora in un settore che fa dell'essere nicchia una forza
    4c. tante citazioni da co-autori = "uhmmm", siamo all'ultra-nicchia
    4d. tante auto-citazioni (e poco altro) = vabbè, passiamo al prossimo paper
    5. Alla fine, riesco ad avere un quadro abbbastanza attendibile del profilo scientifico. In genere, combino la fredda analisi dei paper con le impressioni che la persona mi ha fatto dal vivo, durante la sua presentazione, al lunch-break, durante o dopo la mia presentazione.
    6. Il combinato disposto dei punti 1-5 consente di valutare la/lo scienziata/o. Che sia per decidere se scriverci un proposal insieme, o per assumerla/o presso il mio Istituto (faccio finta che funzioni così, nel mio Istituto...), oppure giusto per il gusto di valutare una/un collega.
    *Nota*: Nel mio settore le riviste più prestigiose non sono più prestigiose come un tempo. Motivo per cui a volte occorre non solo guardare su QUALE rivista ha pubblicato, ma anche dare un'occhiata al paper per capire se è una cazzata. Spesso lo è. Negli ultimi 10-15 anni troppe persone nel mondo si sono dedicate alla ricerca scientifica, e la qualità media delle pubblicazioni si è inabissata.

    Rispondi

Lascia un commento Annulla risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.

Barra laterale primaria

Marco Delmastro Mi chiamo Marco Delmastro, sono un fisico delle particelle che lavora all'esperimento ATLAS al CERN di Ginevra. Su Borborigmi di un fisico renitente divago di vita all'estero lontani dall'Italia, fisica delle particelle e divulgazione scientifica, ricerca fondamentale, tecnologia e comunicazione nel mondo digitale, educazione, militanza quotidiana e altre amenità. Ho scritto un libro, Particelle familiari, che prova a raccontare cosa faccio di mestiere, e perché. Per qualche tempo ho risposto a domande di fisica (e non solo) sul podcast Tu che sei un fisico (e prima o poi potrei riprendere).

Barra laterale secondaria

Argomenti

  • Scienza
    • Fisica
    • Raccontare la scienza
    • Scienza e dintorni
  • Opinioni
    • Militanza
    • Mezzi e messaggi
    • Intenzioni educative
  • Sulla frontiera
    • Vita di frontiera
    • Letture e riflessioni
    • Geeking & Hacking
  • English posts
This blog is primarely written in Italian. On the other hand, physics is an international entrerprise, and its main language is English, so some of the posts have been translated: you can find them in the English post category. If you wish to read those posts that are still only in Italian, an automatic translation is a good a bet!

Footer

Iscriviti al blog tramite email

Non perderti neanche un aggiornamento! Inserisci il tuo indirizzo email per ricevere un messaggio ogni volta che un nuovo articolo viene pubblicato:

Trattamento dei dati, cookie e affiliate link

Questo sito fa uso di cookie: qui ti spiego quali sono e perché li uso, così puoi decidere se ti va bene. Uso anche Google Analytics per l'analisi delle visite e del traffico; per saperne di più, leggi la pagina sulla privacy, dove ti spiego anche come gestisco i tuoi dati se decidi di iscriverti al sito o di lasciare un commento. In certi post, alcuni dei link a prodotti venduti su Amazon sono affiliate link.

Qualche diritto riservato

I contenuti di Borborigmi di un fisico renitente sono rilasciati sotto licenza Creative Commons Attribuzione-Non Commerciale-Non opere derivate. Fatene buon uso.

Licenza Creative Commons

Copyright © by Marco Delmastro · Qualche diritto riservato

  • Facebook
  • Twitter
  • Instagram
  • Youtube
  • Linkedin
  • Github
Borborigmi di un fisico renitente usa alcuni cookie per funzionare al meglio. Se continui leggere o scorrere queste pagine dò per scontato che la cosa ti vada a genio. Ok! Dimmi di più
Politica dei cookie

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these cookies, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may have an effect on your browsing experience.
Necessary
Sempre abilitato
Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
Non-necessary
Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
ACCETTA E SALVA