Titolo

Perché il DDL Gelmini non è (era?) tutto da buttar via

11 commenti (espandi tutti)

Fausto è un insegnante universitario di matematica, che ha al suo attivo almeno un risultato veramente sorprendente. E' difficile per un matematico accettare che, per colpire il malcostume dei professori universitari di medicina, sia necessario introdurre metodi di valutazione che nuocciono allo sviluppo della nostra scienza. Ma forse i pericoli sono sopravvalutati: i matematici veri, quelli che, spinti solo dalla curiosità, finiscono per trovare risultati sorprendenti, continueranno a lavorare ignorando le valutazioni bibliometriche automatiche, e le classifiche per numero di citazioni.

Effettivamente non occorreva essere uno specialista per sapere chi sia Fausto: basta sapere usare google e, magari, anche i famosi indicatori bibliometrici automatici ;)

Io facevo notare che non conosce la situazione universitaria e i comportamenti tribali dei  Baroni italiani. Mi sembra un problema comune a molti matematici

non ho mai usato uno di questi famosi indicatori, l'ho fatto adesso per la prima volta su me stesso, dopo che carminat ha sollevato il punto

(non ho capito che cosa carminat voleva dire con quella icona messa alla fine del suo intervento, ma forse quella icona significar per verba non si poria; del resto viviamo nella civilta' dell'immagine)

e ho trovato questo usando ``quad search'', che non so cosa sia e non lo voglio sapere, ma l'idea di poter concludere qualcosa su di me, voglio dire, sul contributo che ho dato allo scibile umano, da questi due grafici desta, come si dice in accademichese, qualche perplessita'

ma fate vobis

non stupisce che i politici tentino di importare l'ultima moda dall'estero per fare colpo sull'opinione pubblica, senza sapere che nel frattempo non e' piu' l'ultima moda, perche' dall'estero si sono levate nel frattempo tante voci contro, ma sono stupido da altre cose ...

la mossa di riportare, come risposta al mio intervento, un dialogo intercettato, che documenta transazioni poco belle, dimostra ancora una volta che questo e' diventato un riflesso condizionato: e' come stare in guerra: sei non sei amico, sei nemico: una specie di bipolarismo mentale diventato uno stile cognitivo (o forse e' il risultato di anni di quiz televisivi: vero o falso?) ``ma allora sei dalla parte del malcostume!'' nella variante: ``ma allora non sai nemmeno che cosa succede qui da noi!''

non vivo in un paradiso, e ho avuto modo di vedere cose poco belle, e nel mio piccolo ho fatto quello che ho potuto per oppormi in situazioni concrete, ma io non sono il ministro, e nemmeno il consigliere del ministro, e non devo decidere su due piedi entro domani o entro un mese come risolvere questo problema della valutazione nel suo complesso

usare la logica dell'emergenza per giustificare misure affrettatamente importate dall'estero (proprio mentre dall'estero si sentono voci critiche verso queste misure) e' tipico di un politico, che pensa a breve termine, mentre mi sembra che lo spirito di NfA sia un altro

forse forse forse questi indicatori possono riconoscere il grano dal loglio in alcuni casi, in alcune situazioni, in alcune discipline, e svolgere cosi' una azione moralizzatrice in alcune situazioni: forse; non posso escluderlo; da quello che dite mi sembra plausibile in alcune situazioni, forse in alcune zone o aree particolarmente depresse e degradate; ma visto che qui facciamo finta di essere, idealmente, consiglieri di un ministro ma senza dover decidere entro domani, e visto che dovremmo avere l'ambizione di cercare soluzioni meno contingenti, non sarebbe il caso di farsi venire idee migliori? di cercare idee migliori? invece di adagiarci verso la penultima moda che viene dall'estero? non dico che la soluzione la debba trovare X o Y; stiamo discutendo in maniera disinteressata, mi sembra, nello spirito di NfA

ma un consiglio chiaro da dare al ministro ce l'ho: fare in modo che l'art. 6 del d.m. 270 sia implementato in maniera seria da tutte le universita', a pena di sanzioni sul ffo; non c'entra nulla con la valutazione ma avrebbe un effetto positivo sulla formazione dei giovani; invece il ministro ha sfornato un nuovo d.m. il 22 settembre 2010, che se non mi sbaglio e' alla corte dei conti, e che ci obbliga, dopo appena un anno dalla implementazione del d.m. 270, a rimettere mano sui piani di studio su basi puramente numerologiche; cosa c'e' di male? il male e' questo: questi criteri sono puramente numerologici, sono basati su quelli che vengono chiamati ``requisiti minimi'', e non riconoscono il grano dal loglio, perche' i numeri non pensano, e non sono quindi in grado di riconoscere le situazioni veramente irrazionali;

e de hoc satis

 

 

non stupisce che i politici tentino di importare l'ultima moda dall'estero per fare colpo sull'opinione pubblica, senza sapere che nel frattempo non e' piu' l'ultima moda, perche' dall'estero si sono levate nel frattempo tante voci contro,

Bisognerebbe far circolare di più la notizia che nel Regno Unito il prossimo esercizio di valutazione sarà condotto con il medesimo sistema di peer-review "umano" usato nel passato, dopo che una proposta di uso massiccio della bibliometria "in modo automatico" è stata scartata in favore della semplice "messa a disposizione dei dati" per i singoli panel.

Anzi, siccome lì fanno le cose seriamente (e non potrebbe essere diversamente, vista la torta at stake), il processo di riflessione e di consultazione che ha accompagnato la preparazione del nuovo esercizio è stato schietto e profondo, e i risultati sono consultabili pubblicamente sull'apposito sito (REF 2014), a disposizione del mondo intero, aggratis.

Faccio notare che dove è scritto "We expect that some of the panels will make use of citation information to inform their review of outputs" si intende quello che ho detto poc'anzi, cioè l'uso umano dei dati. Il rapporto dove si legge l'esito della consultazione per l'uso della bibliometria è questo, e il punto centrale è così riassunto nell'executive summary:

8.   Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review.

Comunque è certo che in Italia la numerologia è già fra noi, come Lei ha sottolineato per quanto riguarda la defizione dei "requisiti minimi" per i corsi di studi, ecc. ecc. una cosa per cui siamo diventati la macchietta del mondo intero. Sull'uso per la distribuzione delle risorse, pure - come ho già scritto in questo articolo per il mio blog con riferimento in particolare ad un certo indicatore "problematico".

La migliore spiegazione per questo stato di cose l'ha messa nero su bianco Matteo Turri nel suo libro "La valutazione dell'Università", per il cui coraggio sempre sia lodato

«Affrontando il tema della valutazione nelle università occorre innanzitutto chiarire cosa si intende con il termine valutazione. […] Nella pratica quotidiana accade che tale lacuna sia sanata mediante l’applicazione, da parte dei diversi attori dell’organizzazione universitaria, dei concetti di valutazione che sono loro più familiari. Il risultato è una situazione variegata, priva di un’identità univoca, spesso contraddittoria, dove abbondano le contrapposizioni. Imporre il proprio concetto di valutazione corrisponde, infatti, a imporre i propri riferimenti culturali e dunque ad acquisire un vantaggio competitivo nei confronti di colleghi di discipline differenti. Oltretutto, se la valutazione assume i principi di una disciplina, proprio gli esperti di questa disciplina saranno chiamati ad assumere il ruolo di valutatori. A questo proposito il panorama universitario italiano presenta almeno due testimonianze di “usurpazione” del concetto di valutazione: - il ruolo rilevante assunto da studiosi di scienze statistiche presso il CNVSU (Comitato nazionale  per la valutazione del sistema universitario) e a cascata nella maggior parte dei nuclei di  valutazione degli atenei italiani ha fatto sì che tutto il sistema nazionale, caso unico in Europa, sia impostato sull’idea che valutare le università e le attività universitarie significhi raccogliere, mediante sofisticate tecniche statistiche, una gran mole di dati; - l’attivazione, da parte della Conferenza dei Presidi della Facoltà di Ingegneria, di un Sistema Nazionale di Accreditamento dei Corsi di Studio di Ingegneria (SI.N.A.I.) tra il 1999 e 2000 su 9 corsi di diploma, sfociata in seguito nelle esperienze, promosse dalla Conferenza dei Rettori delle università italiane (C.R.U.I.), Campus e Campusone, ha innescato un dibattito promosso da accademici dell’area di ingegneria circa l’opportunità di introdurre sistemi di valutazione ispirati alle norme ISO 9000 mutuando direttamente dai settori produttivi modelli che sono presso le stesse imprese oggetto di una riflessione critica.»

Se devo scegliere con chi allearmi, in ogni caso, scelgo gli ingegneri (anzi ho già scelto) che almeno sono più vicini al concetto più corretto ed utile.

RR

 

So what (e allora, per gli italiani)?
Questi sono inglesi, mica Baroni italiani

 

 

Mah, qualcuno diceva che si trattava di guardare a' modelli anglosassoni.

Io ho cercato di capire e spiegare questi modelli, e la sottostante realtà. Anche perchè li trovo decisamente interessanti.

Poi sono sempre stato il primo dire che, in ambiti diversi, tutti i modelli vanno usati come "cassetta per gli attrezzi" per discutere, e non come cut and paste. Del resto il popolo tedesco non è uguale al popolo greco. Ma la soluzione non sta nel dire che per il popolo greco le cose possono migliorare continuando a comportarsi come si è sempre comportato, ed evitare di affrontare il cambiamento.

Ora leggo che bisogna considerare le differenze fra il barone italiano e quello inglese. Appunto, ma se un cuoco italiano non sa fare gli antipasti, e invece viene pagato anche per quello, cosa facciamo, chiamiamo uno statistico a farli?

Veramente non so più che bussola stia prendendo questo paese.

RR

Effettivamente non occorreva essere uno specialista per sapere chi sia Fausto: basta sapere usare google e, magari, anche i famosi indicatori bibliometrici automatici ;)

(non ho capito che cosa carminat voleva dire con quella icona messa alla fine del suo intervento, ma forse quella icona significar per verba non si poria; del resto viviamo nella civilta' dell'immagine)

L'icona voleva evidenziare il seguente paradosso:  chi predica l'utilizzo degli indicatori bibliometrici non fa nemmeno la modesta fatica di utilizzarli prima di dare giudizi impliciti su una persona sconosciuta, che lavora su un soggetto non facilmente valutabile da un profano.

Non so se gli indicatori bibliometrici potranno determinare una nuova eta' dell'oro per la ricerca italiana (personalmente temo che contino di piu' certe condizioni al contorno) ma sicuramente potrebbero aiutare ad evitare grossolani errori di valutazione.

 Scuasa ma cosa c'entra? Uno puo' essere un matematico geniale e non capire nulla di problemi organizzativi dell'universita', come puo' essere un ingegnere sommo e far perdere soldi alla sua azienda.

In ogni caso, aspetto da voi matematici alternative agli indici bibliometrici. Tutti voi siete bravvisimi a criticarli, ma non aveta anciora prodotto uno straccio di idea che funzioni e che sia automatica, cioe' che non comporti una valutazione soggettiva da parte di Baroni. A questo proposito, aggiungo che gli esperti stranieri non sono una soluzione. Tutti i Baroni hanno un amico all'estero a cui chiedere, in cambio di una vacanza in Italia, di sottoscrivere le proprie decisioni in merio alle promozioni.

 Quindi

i) o mi producete questa idea (almeno in fornma embrionale) e poi ne discutiamo, con grande piacere

ii) o mi convincete che la valutazione soggettiva della qualita' della ricerca, cioe' il modello attuale, funziona e non solo a Matematica o Fisica Teorica, ma anche a Medicina, Legge, Lettere etc. Piu' precisamente

ii a) sostenete che ha funzionato finora e l'universita' italiana ha reclutato sempre i migliori (piu' o meno errore casuale). Auguri

oppure

ii b) ammettete che finora il sistema della valutazione soggettiva non ha funzionato (salvo, ovviamente, che a Matematica e Fisica Teorica ed in pochissimi altri SSD) e indicate il modo per farlo funzionare - ovviamente qualcosa di concreto. Astenersi da retorici richiami alla cultura della valutazione, alla deontologia professionale, al senso di responsabilita' dei docenti e amenita' di questo genere.

Aspetto fiducioso.

Cordiali saluti

 

Cosa io pensi degli indici bibliometrici l'ho spiegato qui, anche se si tratta solo di un punto di vista particolare  (ovvero la situazione a matematica, che ci dicono essere un'isola felice). Non sono certamente contrario all'uso degli indici, ma penso che una certa cautela sia  cosa saggia (non esiste alcuna formula magica per risolvere i problemi).

E' anche per questo che trovo fuori luogo il tono un po' supponente e sgarbato (per usare un eufemismo) di alcune risposte verso persone che sollevano perplessita' sull'uso di questi indicatori.

Trovo abbastanza ridicoli pure certi diverbi accesissimi ed interminabili, come se fosse questa la questa sede in cui si sta decidendo come avverra' la valutazione nei prossimi anni.

P.S. Insisto: quel che dice qui Renzino mi sembra interessante; e mi sembra che questo sia  l'unico provvedimento che ha una minima probabilita' di venire implementato (sempre lo si voglia). Sbaglio?

non stupisce che i politici tentino di importare l'ultima moda dall'estero per fare colpo sull'opinione pubblica, senza sapere che nel frattempo non e' piu' l'ultima moda, perche' dall'estero si sono levate nel frattempo tante voci contro, ma sono stupido da altre cose ...

Ma G.Federico non e' un politico e non mi sembra proprio che il suo scopo sia fare colpo sull'opinione pubblica.  Inoltre ha anche spiegato perche' impiegare indici bibliometrici (imperfetti ma meno manipolabili di altre valutazioni, non per seguire la penultima moda in vigore all'estero).