Titolo

Perché il DDL Gelmini non è (era?) tutto da buttar via

2 commenti (espandi tutti)

Ho già espresso più volte le mie opinioni in merito ai criteri bibliometrici per la valutazione scientifica. Mi limito qui a citare un documento tecnico della International Mathematical Unione e dell'International Institute of Statistic, che dvrebbe essere almeno preso in considerazione (per confutarlo?)

http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

Ho la sensazione di aver risposto in passato, ma approfitto della seconda chance.  Le critiche ai criteri bibliometrici sono bene accette ma lo sono ancora di piu' se sono accompagnate con proposte alternative su come valutare il ritorno sociale della spesa per universita' e ricerca a livello individuale, dipartimentale, dell'universita' di uno Stato nel suo complesso. Una valutazione e' necessaria, come dimostra il livello insoddisfacente del sistema universitario italiano, caratterizzato da una sostanziale assenza e/o inefficacia degli effetti di qualsivoglia valutazione.

Io sono convinto che i criteri bibliometrici siano imperfetti e che come per ogni altro indicatore quantitativo richiedano il tradizionale grano di sale nell'interpretazione, tuttavia ritengo che possano essere ragionevolmente accurati per valutare l'attivita' di un Dipartimento composto da una pluralita' di ricercatori per un periodo di 5+ anni, anche per un periodo inferiore se il numero delle persone e' sufficientemente elevato.  Mi sembra che anche l'IMU e l'IIS in fin dei conti accettino l'uso dei criteri bibliografici, a patto che si riconosca che hanno pur sempre margini di incertezza e imprecisione. Cito:

We do not dismiss citation statistics as a tool for assessing the quality of research  - citation data and statistics can provide some valuable information. We recognize that assessment must be practical, and for this reason easily‐derived citation statistics almost surely will be part of the process. But citation data provide only a limited and incomplete view of research quality, and the statistics derived from citation data are sometimes poorly understood and misused. Research is too important to measure its value with only a single coarse tool.

Per complementare gli indicatori bibliografici ritengo sia utile accompagnarli da peer review che possono essere basate sia sull'analisi di esperti della produzione scientifica sia da semplici sondaggi di opinione condotto da numersi campioni casuali scelti tra le universita' di riconosciuta fama mondiale diverse da quelle esaminate.  L'analisi statistica comparata di vari indicatori potrebbe anche produrre metodi piu' raffinati per stimare la produzione scientifica attraverso gli indicatori bibliometrici.

 

Francamente trovo lunare questa discussione. Come già scritto nel post, sono perfettamente conscio dei limiti  delle valutazioni bibliometriche. In un mondo ideale, sarebbe indubbiamente opportuno integrarli o sostituirli con una valutazione soggettiva di esperti imparziali. In fondo il RAE inglese ha funzionato molto bene in questa maniera. Il problema è che l'università italiana, con la possibile eccezione di Fisica Teorica e Matematica, dove sono tutti notoriamente santi, non è un mondo ideale. E' un mondo dove un ben preciso gruppo di persone, tecnicamente note come professori di I fascia, per i giornali Baroni, esercitano il potere accademico in riti di passaggio tribali noti come valutazioni comparative, per i giornali concorsi, basandosi esclusivamente su valutazioni soggettive. Nei concorsi, i commissari possono formulare giudizi scientifici totalmente arbitrari. Molti di loro usano questa possibilità per promuovere i candidati preferiti e provano grande soddisfazione in caso di successo. Essi quindi presumibilmente trasferirebbero questa prassi anche negli eventuali organi di valutazione della ricerca, che quindi produrrebbero risultati arbitrari. I commissari ANVUR potrebbero dedicarsi a valutazione arbitrarie direttamente se, come quelli RAE, dovessero valutare le strutture in prima persona. Potrebbero farlo indirettamente, scegliendo i referee giusti se invece come nel CIVR italiano, dovessero chiedere un parere esterno. E' molto probabile che il risultato sarebbe una promozione en masse - forse con qualche eccezione da scegliere fra i nemici accademici dei commissari stessi. Il discorso vale per gli  esperti stranieri. E' ragionevole ipotizzare che essi vengano reclutati fra gli amici dei commissari ANVUR, magari da qualche università di second'ordine e che quindi finiscano per sottoscrivere qualsiasi decisione presa dai loro referenti italiani. In questo modo la valutazione diventerebbe l'ennesima buffonata all'italiana. E' molto probabile che lo diventi, dati i forti incentivi in tal senso e la mancanza di un movimento che la appoggi. Mi sembra che spaccare il capello in quattro sempre con in mente il caso particolare della propria disciplina, dove sono tutti santi, non aiuti molto.