Titolo

Perché il DDL Gelmini non è (era?) tutto da buttar via

5 commenti (espandi tutti)

Ho già espresso più volte le mie opinioni in merito ai criteri bibliometrici per la valutazione scientifica. Mi limito qui a citare un documento tecnico della International Mathematical Unione e dell'International Institute of Statistic, che dvrebbe essere almeno preso in considerazione (per confutarlo?)

http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

Ho già espresso più volte le mie opinioni in merito ai criteri bibliometrici per la valutazione scientifica. Mi limito qui a citare un documento tecnico della International Mathematical Unione e dell'International Institute of Statistic, che dvrebbe essere almeno preso in considerazione (per confutarlo?)

http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

Ho la sensazione di aver risposto in passato, ma approfitto della seconda chance.  Le critiche ai criteri bibliometrici sono bene accette ma lo sono ancora di piu' se sono accompagnate con proposte alternative su come valutare il ritorno sociale della spesa per universita' e ricerca a livello individuale, dipartimentale, dell'universita' di uno Stato nel suo complesso. Una valutazione e' necessaria, come dimostra il livello insoddisfacente del sistema universitario italiano, caratterizzato da una sostanziale assenza e/o inefficacia degli effetti di qualsivoglia valutazione.

Io sono convinto che i criteri bibliometrici siano imperfetti e che come per ogni altro indicatore quantitativo richiedano il tradizionale grano di sale nell'interpretazione, tuttavia ritengo che possano essere ragionevolmente accurati per valutare l'attivita' di un Dipartimento composto da una pluralita' di ricercatori per un periodo di 5+ anni, anche per un periodo inferiore se il numero delle persone e' sufficientemente elevato.  Mi sembra che anche l'IMU e l'IIS in fin dei conti accettino l'uso dei criteri bibliografici, a patto che si riconosca che hanno pur sempre margini di incertezza e imprecisione. Cito:

We do not dismiss citation statistics as a tool for assessing the quality of research  - citation data and statistics can provide some valuable information. We recognize that assessment must be practical, and for this reason easily‐derived citation statistics almost surely will be part of the process. But citation data provide only a limited and incomplete view of research quality, and the statistics derived from citation data are sometimes poorly understood and misused. Research is too important to measure its value with only a single coarse tool.

Per complementare gli indicatori bibliografici ritengo sia utile accompagnarli da peer review che possono essere basate sia sull'analisi di esperti della produzione scientifica sia da semplici sondaggi di opinione condotto da numersi campioni casuali scelti tra le universita' di riconosciuta fama mondiale diverse da quelle esaminate.  L'analisi statistica comparata di vari indicatori potrebbe anche produrre metodi piu' raffinati per stimare la produzione scientifica attraverso gli indicatori bibliometrici.

 

Francamente trovo lunare questa discussione. Come già scritto nel post, sono perfettamente conscio dei limiti  delle valutazioni bibliometriche. In un mondo ideale, sarebbe indubbiamente opportuno integrarli o sostituirli con una valutazione soggettiva di esperti imparziali. In fondo il RAE inglese ha funzionato molto bene in questa maniera. Il problema è che l'università italiana, con la possibile eccezione di Fisica Teorica e Matematica, dove sono tutti notoriamente santi, non è un mondo ideale. E' un mondo dove un ben preciso gruppo di persone, tecnicamente note come professori di I fascia, per i giornali Baroni, esercitano il potere accademico in riti di passaggio tribali noti come valutazioni comparative, per i giornali concorsi, basandosi esclusivamente su valutazioni soggettive. Nei concorsi, i commissari possono formulare giudizi scientifici totalmente arbitrari. Molti di loro usano questa possibilità per promuovere i candidati preferiti e provano grande soddisfazione in caso di successo. Essi quindi presumibilmente trasferirebbero questa prassi anche negli eventuali organi di valutazione della ricerca, che quindi produrrebbero risultati arbitrari. I commissari ANVUR potrebbero dedicarsi a valutazione arbitrarie direttamente se, come quelli RAE, dovessero valutare le strutture in prima persona. Potrebbero farlo indirettamente, scegliendo i referee giusti se invece come nel CIVR italiano, dovessero chiedere un parere esterno. E' molto probabile che il risultato sarebbe una promozione en masse - forse con qualche eccezione da scegliere fra i nemici accademici dei commissari stessi. Il discorso vale per gli  esperti stranieri. E' ragionevole ipotizzare che essi vengano reclutati fra gli amici dei commissari ANVUR, magari da qualche università di second'ordine e che quindi finiscano per sottoscrivere qualsiasi decisione presa dai loro referenti italiani. In questo modo la valutazione diventerebbe l'ennesima buffonata all'italiana. E' molto probabile che lo diventi, dati i forti incentivi in tal senso e la mancanza di un movimento che la appoggi. Mi sembra che spaccare il capello in quattro sempre con in mente il caso particolare della propria disciplina, dove sono tutti santi, non aiuti molto.

Caro Federico,

continuo ad essere d'accordo con AFT. A parte la difficoltà attuale nell'istituire parametri di misurazione automatica sufficientemente robusti per tutte le discipline, compito immane. A parte questo piccolo problemuccio, una valutazione completamente automatizzata è ingannabile e aggirabile con semplicità disarmante. Un sistema complesso si adatta immediatamente alle regole; nel caso in esame, si assisterebbe immediatamente all'apertura di journal compiacenti dall'IF alto in ogni disciplina. Cosa che in parte è già successa e che continuerà a succedere.

Ti racconto una storiella. Il journal IEEE Transaction in Industrial Electronics ha sempre avuto storicamente un IF basso. Da due anni a questa parte, invece, l'IF ha avuto un notevole e improvviso balzo verso l'alto. Che è successo? E' arrivato un nuovo editor? E' incrementata drammaticamente la qualità dei paper?

Ma no. Quello che è successo è che da due anni a questa parte al momento della submission del tuo paper ti invitano a compilare un questionario. Dopo parecchie domande generiche, arriva la serie di domande chiave: "How many citation in your paper?" "How many citations to papers published in the last two years?" "How many citations to papers published in this journal?" "How many citations to papers published in this journal in the last two years?"

Sembra brutto mettere 0 nelle ultime due caselle, vero? Non si sa mai che l'editor la prenda male. Fatto sta che il 99% dei ricercatori torna indietro a modificare il paper per inserire pubblicazioni più o meno attinenti a paper del journal. E l'IF si impenna!!

E se ci pensi bene: quale stimolo economico impedisce alle case editrici come Elsevier o la stessa IEEE di aprire sempre nuovi journal? E' chiaro che in tutto il mondo il numero di ricercatori è enormemente aumentato negli ultimi 15-20 anni. Soprattutto, c'è un numero enorme di ricercatori indiani e cinesi in cerca di gloria. E' il publish or perish, baby, questa gente ha bisogno di pubblicare, e tanto, per fare carriera. E quindi preme fortemente per l'istituzione di nuovi journal, nuovi simposi e conferenze, nuove opportunità di pubblicazione. E poi essere editor è prestigioso, lo metti nel curriculum. E allora è semplice. Vai da Elsevier e proponi l'apertura di un journal per una nuova branca, magari insieme a un gruppo di amici: oppure una special issue per un journal esistente. Vedrai che raramente ti diranno di no. Nota che la maggior parte dell'income viene da fondi pubblici. Quale forza economica impedisce a queste case editrici di prosperare in maniera non completamente corretta? Sai che giro di affari ha la Elsevier, vero? Ci sono mercati in espansione che aspettano di essere conquistati!

Valutazione automatica? IMHO it's flawed, forget about it.

No, no e no.

Sono in totale e scornato disaccordo con questo argomento. Siamo tutti d'accordo che non può esistere l'indice perfetto, che gli indici bibliometrici hanno solamente un valore statistico e non possono essere applicati ciecamente in ogni singola circostanza. Ma questa è una banalità.

Nel sistema italiano è esperienza comune di moltissimi precari e giovani ricercatori l'essere costretti a dire molti sì a professori di prima fascia i cui indici bibliometrici possono essere tipo un decimo dei tuoi. Gente che magari non sa spiegarsi in inglese (e in italiano stenta) e il cui nome all'estero genera espressioni facciali confuse del tipo "davvero esiste un tale con quel nome nel mio campo?"

Queste nullità decidono del tuo futuro di precario, e del futuro dell'Università tutta. Cominciamo a introdurre l'uso dei parametri bibliometrici per uscire dalla palude. Poi ci sarà tempo di affinare un metodo che non sia solo vagamente razionale, ma addirittura buono. Ma i parametri bibliometrici saranno sempre meglio della selezione del mediocre servile che è oggi la norma in molti dipartimenti.