Titolo

Perché il DDL Gelmini non è (era?) tutto da buttar via

21 commenti (espandi tutti)

…astenersi da retorici richiami alla cultura della valutazione, alla deontologia professionale, al senso di responsabilita' dei docenti e amenita' di questo genere…

come dire che se il problema e' che manca l'etica, non lo si può risolvere invocando proprio ciò che manca (l'etica)

good point

no, when you think about it it's not a good point

perché se il problema e' cha manche l'etica, nemmeno lo si può risolvere mettendoci al suo posto una macchina automatica, perché le macchine automatiche non sanno pensare, mentre i Baroni la cui etica lascia a desiderare sanno pensare eccome, e trovano facilmente il modo di continuare a fare cose poco belle con l'ausilio di queste macchine automatiche (vedi fonti citate in un precedente intervento: ad esempio

Aardvark et al.: quality journals and gamesmanship in management studies. Journal of Information Science. Journal of Information Science  December 2007   vol. 33  no. 6  702-717

http://jis.sagepub.com/content/33/6/702

dove la parola chiave e' gamesmanship

vedi anche

Integrity Under Attack:
The State of Scholarly Publishing
By Douglas N. Arnold. SIAM NEWS. Volume 42/Number 10 December 2009

http://www.siam.org/news/news.php?id=1663

Do Pressures to Publish Increase Scientists' Bias? An Empirical Support from US States Data. Daniele Fanelli.

http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0010271

Why the impact factor of journals should not be used for evaluating research. Per O Seglen. BMJ 1997;314:497.

http://www.bmj.com/content/314/7079/497.1.full

e un intero numero della rivista

Ethics in Science and Environmental Politics

http://www.int-res.com/abstracts/esep/v8/n1/)

…In ogni caso, aspetto da voi matematici alternative agli indici bibliometrici. Tutti voi siete bravissimi a criticarli, ma non aveta ancora prodotto uno straccio di idea che funzioni e che sia automatica, cioe' che non comporti una valutazione soggettiva da parte di Baroni. A questo proposito, aggiungo che gli esperti stranieri non sono una soluzione. Tutti i Baroni hanno un amico all'estero a cui chiedere, in cambio di una vacanza in Italia, di sottoscrivere le proprie decisioni in merito alle promozioni…

1. Israel (loc.cit.) ha promesso un capitolo secondo con alcune proposte concrete. Vediamo cosa ha da dire.

2. Come dice la relazione finale del gruppo di lavoro congiunto dell'IMU, IMS, e ICIAM, a qualche livello e' inevitabile che ci sia un intervento umano e quindi soggettivo, anche se ci piace pensare che non sia soggettivo. La stessa cosa la fa notare Israel e molti altri. Temo proprio che questo sogno di tipo Leibniz di una macchina che pensa per noi (calculemus!) sia ancora lontano. Del resto a me questa visione fa pensare a quel film di fantascienza, come si chiamava? Brazil, si chiamava Brazil. Terribile.

Con questo non voglio dire che allora siamo condannati. E nemmeno voglio difendere o dare modo, a chi e' abituato a fare cose poco belle, di continuare come prima. E non voglio dire che sono contro la valutazione. E non voglio dire che la qualità scientifica si debba giudicare su altro che non sia ciò che uno ha scritto. Ma che questo processo si possa ``automatizzare'' e rendere ``oggettivo'' e' stato messo in dubbio da tante parti. Cauchy ha bocciato il giovane Galois all'esame di ammissione (alla scuola politecnica, mi sembra). Galois gli parlava del logaritmo come di un omomorfismo dal gruppo moltiplicativo dei numeri positivi al gruppo additivo di tutti i numeri (positivi e negativi, razionali e irrazionali) messi insieme, e Cauchy non capiva che cosa questo giovane gli stesse dicendo.  E' stato il suo un giudizio soggettivo o oggettivo? Siamo oggi in grado di concepire un procedimento automatico e oggettivo per evitare il ripetersi di questi incidenti? E Cauchy non era in cattiva fede. Non e' che dovesse far passare un suo protetto mediocre al posto di Galois.

3. non si capisce perche' l'onere di trovare soluzioni migliori debba ricadere interamente su coloro che avanzano alcune critiche

io non ho interessi nascosti da difendere, come non li ha chi si e' innamorato di questi indici e crede che siano la soluzione (a parte naturalmente gli azionisti della ditta che produce questi indici: costoro hanno interessi da difendere, e sicuramente sono contenti se l'uso di questi indici si estende a tutto il mondo)

dunque nessuno in questa discussione ha interessi nascosti da difendere: in un dialogo platonico, disinteressato, nessuno e' attaccato a una idea aprioristicamente, e se qualcuno gli fa notare che l'idea non e' convincente, la risposta in genere non e': allora dimmi tu qual'e' la verita'; la risposta e': cerchiamo tutti insieme una soluzione migliore;

 

Io come dice Carminat sarò supponente e sgarbato, ma perchè non leggete i post? Io ho scritto

Bisogna usare parametri oggettivi, tipo l’IF medio, l’indice di Hirsch etc. Dove non ci sono (come a Lettere o a Legge) bisogna crearli.  Scrivo questo perfettamente consapevole che questi indici non funzionano bene e quindi vi prego di evitare lunghe discussioni sui loro difetti. Le alternative sono  peggiori.

Aggiungo che, come già detto in altro post, o in una risposta, io ho passato parecchie ore della mia vita a costruire un indice per lettere su incarico della SISSCO (la società di Storia Contemporanea), non basato sulle citazioni ma sulla sede di pubblicazione. Quindi l'accusa è ingenerosa. Ed a questo punto, francamente, rinuncio. Mi rifiuto di continuare, mi arrendo, alzo bandiera biance...Se voi non capite quale è la situazione al di fuori della vostra isola felice, non ci posso fare nulla. Aspetto con curiosità i brillanti contributi di Israel o Suo o di chiunque altro.


Provo a rianimare la discussione, cercando di ripartire da zero.

O meglio, da tre: provo ad individuare tre questioni attorno alle quali, secondo me, potrebbe valer la pena di continuare a dibattere (anche se non mi aspetto che si raggiungera' mai l'unanimita').

1) DDL. Qual'e' lo stato del DDL, quale la sua probabile evoluzione?Insomma, realisticamente, quali sono le prospettive?

2) Valutazione. Tutti sono favorevoli alla valutazione (anche se non tutti intendiamo la medesima cosa). Elementi di valutazione sono gia' presenti in leggi gia' promulgate. Come agire per fare in modo che dalla teoria si passi alla pratica?

3) Indici bibliometrici. Forse gli indici bibliometrici  non sono una bacchetta magica, ma certamente possono essere uno strumento molto utile (criteri automatici stabiliti a priori hanno il pregio di essere imparziali). Bisogna capire quali indici usare e, soprattutto, come utilizzarli (da soli, per qualsiasi valutazione? in accoppiata con una valutazione  qualitativa? da soli, ma solo per valutazioni aggregate?) E' realisticamente possibile trovare un accordo su una proposta (magari non perfetta ma) condivisa?

Mi piacerebbe in particolare capire quali potrebbero essere i percorsi politici per ottenere concretamente qualche piccolo risultato positivo (non nascondo che, vista la situazione politica, non sono molto ottimista).

Caro Carminat

Francamente mi sembra troppo tardi.  Io ho tentato di creare un dibattito, ma tanto scriviamo solo in tre, su un sito di outsiders, e ci accapigliamo su aspetti marginali. Non credo proprio che ci sia spazio per una iniziativa politica in senso riformatore, sopratutto dopo l'emendamento Valditara. I Baroni non vogliono la valutazione, per le ragioni che ho spiegato molte volte. I precari ed i ricercatori (o almeno quelli che protestano e si danno da fare) cercano solo il proprio piattino di lenticchie, che sarà loro generosamente elargito dai Baroni, rigorosamente ad personam. Ormai è passata l'idea che il problema dell'università sia dare soldi per aumentare il numero di posti e/o far far carriera ai docenti. Non so se Tremonti scucirà o no ma francamente mi sembra irrilevante. 

Cordiali saluti

Giovanni Federico

Dice il saggio che c'è un accordo per cominciare la discussione in Aula alla Camera il 18 Novembre, e voto finale il 25.

RR

1) DDL. Qual'e' lo stato del DDL, quale la sua probabile evoluzione?Insomma, realisticamente, quali sono le prospettive?

Non riesco a seguire i dettagli, mi sembra che nell'ultima versione abbia trovato spazio l'assunzione (che poi e' intesa essere primariamente promozione di ricercatori) di 1500 associati all'anno extra per 5 anni, mi pare di capire con le vecchie regole ma continuando a fare i sorteggi che sembrano ormai il tratto distintivo e qualificante dell'accademia italiana rispetto al resto del mondo civile.  La mia previsione e' che non siano possibili grandi cambiamenti come regime generale, perche' il Parlamento ha gia' speso del tempo, vuole concludere, e non ci sono i margini per fare stravolgimenti.  Approvato il disegno di legge delega ci saranno comunque margini di miglioramento perche' sara' il governo, quindi il ministro Gelmini, entro il quadro definito dal DDLD, a dover scrivere la legge vera e propria, e avranno la possibilita' di decidere su molti dettagli.

2) Valutazione. Tutti sono favorevoli alla valutazione (anche se non tutti intendiamo la medesima cosa). Elementi di valutazione sono gia' presenti in leggi gia' promulgate. Come agire per fare in modo che dalla teoria si passi alla pratica?

Siamo piu' o meno nelle mani dell'attivismo del ministro su questo tema. Sembra che il movimento sia incerto e farraginoso. Secondo me possiamo ridurrei danni e favorire un'evoluzione positiva sottolineando quali sistemi di valutazione e incentivi funzionano davvero in altri Paesi comparabili con noi e se e come possono essere calati nel contesto italiano.

3) Indici bibliometrici. Forse gli indici bibliometrici  non sono una bacchetta magica, ma certamente possono essere uno strumento molto utile (criteri automatici stabiliti a priori hanno il pregio di essere imparziali). Bisogna capire quali indici usare e, soprattutto, come utilizzarli (da soli, per qualsiasi valutazione? in accoppiata con una valutazione  qualitativa? da soli, ma solo per valutazioni aggregate?) E' realisticamente possibile trovare un accordo su una proposta (magari non perfetta ma) condivisa?

Secondo me bisogna contrastare l'idea ingenua e sbagliata che sia possibile fare una valutazione individuale accurata con indici bibliometrici.  Bisogna sottolineare che e' possibile fare valutazioni ragionevoli di aggregati (es. Dipartimenti), pur sempre con margini di incertezza.  Va sottolineato come fa G.Federico che in presenza di peer review che empiricamente, nello specifico contesto italiano, risultano complessivamente inattendibili o poco attendibili, e' giustificato assegnare almeno in una fase iniziale piu' valore agli indici bibliometrici rispetto ai Paesi come UK dove la peer review appare funzionare in maniera efficace. In ogni caso anche in UK ritengono che sia bene esaminare e conoscere gli indici come ausilio pur all'interno di una valutazione organizzata sulla peer review. Per attenuare le incertezze dall'uso di indici bibliometrici si puo' proporre che la ripartizione delle risorse non sia drastica (come in UK dove il 70% degli Atenei riceve zero dei fondi connessi col RAE, e il restante 30% riceve tutti i fondi) ma attenuata, tuttavia deve essere percettibile perche' sia efficace.

Poi nello specifico caso italiano sono personalmente contrario a fare confronti di Atenei e anche assegnazioni di fondi indivise agli Atenei, come in UK, bisogna invece fare confronti e assegnazioni organizzati sui Dipartimenti e/o assegnazioni competitive a piccoli gruppi di ricerca tipo PRIN.  In UK si agisce al livello di Ateneo perche' storicamente gli Atenei sono Fondazioni autonome dallo Stato, in Italia non c'e' questa compatimentazione e gli universitari sono dipendenti pubblici dello Stato, non dipendenti privati degli Atenei come in UK.

Secondo me bisogna contrastare l'idea ingenua e sbagliata che sia possibile fare una valutazione individuale accurata con indici bibliometrici.

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

Forse per persone abbastanza avanti nella carriera l'h-index puo' costituire una valutazione ragionevole, rispetto alla disciplina di appartenenza.  Dubito pero' che si possano reclutare ricercatori (o assistant professor) in base a confronti di h-index.  Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Ho già premesso che si possono fare correzioni agli indici che fanno riferimento a situazioni specifiche, si possono costruire indici composti e via discorrendo. Spiegami piuttosto perchè ci sono ricercatori con H index elevati che ancora non sono professori e ordinari con H index imbarazzante, piuttosto.

Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Non saprei. Tu hai conoscenza di sistemi simili al RAE ben funzionanti e precedenti al RAE?

Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Non saprei. Tu hai conoscenza di sistemi simili al RAE ben funzionanti e precedenti al RAE?

Francamente no, il RAE e' un po' atipico per il suo carattere fortemente statal-centralista, mi sembra che nei Paesi avanzati l'allocazione delle risorse in funzione del merito si faccia in maniera diversa, composita (privati, tasse universitarie, enti finanziatori statali, finanziamenti privati) e non incentrata sugli Atenei ma semmai sui gruppi di ricerca o sui Dipartimenti. Tuttavia sia il RAE sia gli altri sistemi avanzati sembra a me usino piu' le peer review che non gli indici per valutare attivita' e progetti.

Infine non e' che a me il RAE piaccia particolarmente, e' troppo statal-centralista per i miei gusti, preferirei il sistema USA dove i finanziamenti sono assegnati su base competitiva a piccoli gruppi all'interno di ogni Dipartimento da enti finanziatori come NSF e DOE. Il pregio del RAE e' che appare funzionare e che per la sua natura statal-centralista sembra plausibile per uno Stato demenzial-statal-centralista come l'Italia.

il RAE e' un po' atipico per il suo carattere fortemente statal-centralista, mi sembra che nei Paesi avanzati l'allocazione delle risorse in funzione del merito si faccia in maniera diversa, composita (privati, tasse universitarie, enti finanziatori statali, finanziamenti privati) e non incentrata sugli Atenei ma semmai sui gruppi di ricerca o sui Dipartimenti.

Esatto, ma il punto è questo (come ho già cercato di spiegare in altri post), che (1) anche in UK, come nel resto del mondo, tranne in Italia, esiste una forte componente di finanziamento a progetto (dico quella pubblica, in primis, dei Research Councils), e (2) esiste in UK una politica di sistema per la concentrazione della capacità di ricerca in un numero (più) limitato di Università, che si esprime poi in concreto nell'uso del RAE.

La combinazione di (1) + (2) è detta, appunto, sistema duale di finanziamento della ricerca in UK. Appunto di questo si dovrebbe discutere (eventualmente, volendo), dei suoi contenuti, dei suoi presupposti giuridico-istituzionali, e di quelli sociali (di norme, pratiche sociali, intendo). Invece si evita accuratamente di parlare di politica (policy), e gli economisti di lingua italiana o gli opinionisti che propinano le loro ricette ideologiche danno tutto per chiaro, evidente, scontato. Comunque voglio dare un acknowledgement al tuo intervento, alberto, perchè invece, almeno, entra nei contenuti della questione e del problema

Sullo statal-centralismo: beh, si tratta di decidere una politica, un certo comportamento dello Stato, no? I soldi pubblici vanni usati così e così, e viene usata una certa politica. Se poi volevi sottolineare il punto del centralismo per criticare la riconduzione della valutazione ad un unico set di criteri, valevoli per tutti i prodotti di ricerca, hai invece centrato un problema, una questione reale. Infatti ogni valutazione significa confronto di un oggetto, o di sue qualità, con dei criteri che andranno evidentemente definiti da qualcuno. E' una definizione di norme, anche quella.

Quindi due volte complimenti, alberto.

RR

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10?

vedi la relazione preparata dal gruppo di lavoro dell'International Mathematical Union, in collaborazione con l'Institute of Mathematical Statistics e l'International Council of Industrial and Applied Mathematics, che si trova al seguente indirizzo: http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf La relazione e' stata preparata da uomini che hanno una dimestichezza non occasionale con i numeri: sono professionisti dei numeri

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

vedi (le numerose fonti citate nel)la discussione gia' svolta su questo sito (dice il Poeta: ``qualcosa rifluisce, e torna al proprio punto di partenza, perche' nulla va perduto'')

 

Solo una curiosita': che h-index hanno quegli uomini che possiedono una grande dimestichezza con i numeri?

A me, che comunque sono un mero fisico teorico, interessa che abbiano dimestichezza con i concetti matematici. E questo basti a qualificarli.

RR

Si, lo so... La mia era una più che altro una provocazione. Questo perchè spesso i numeri si girano dalla parte dove conviene. Pertanto mi aspetto che chi ha un alto h-index spinga in quel senso, chi invece ha un basso h-index spinga ovviamente per altri tipi di "numeri" in cui si sentono meno penalizzati.

La fantasia "baronale" (chiamiamola così) nel saper assecondare i numeri e le formule al proprio intreresse è proverbiale.

Detto questo, ben vengano dei tentativi e delle proposte di quantificare il merito, data la scarsa capacità mostrata in passato dalla categoria. Almeno è un inizio. Il rischio è che poi si leghi troppo la produttività a questi fattori, condizionando troppo le scelte sul "cosa fare" e "dove pubblicare" e, in definitiva, con chi collaborare (questo almeno in campo scientifico). Pertanto eviterei di dare un valore "assoluto" a cose tipo h-index, anche se dovrebbero essere considerate (e con un buon peso) nella valutazione meritocratica.

Non dimentichiamoci poi che questi h-index variano moltissimo da disciplina a disciplina. In biologia, epr es., non è difficile trovare giornali con impact-factor superiore a 20...

Non dimentichiamoci poi che questi h-index variano moltissimo da disciplina a disciplina.

 

Questi sono problemi facilmente superabili con opportune correzioni agli indici, come ho detto sopra, vedi p. es. qui. In realtà c'è in atto una mobilitazine di chi vuol mantenere il proprio potere discrezionale e preme perchè i cambiamenti siano gattopardeschi.

In realtà c'è in atto una mobilitazine di chi vuol mantenere il proprio potere discrezionale e preme perchè i cambiamenti siano gattopardeschi.

o forse la mobilitazione e' degli amministratori delegati delle ditte che fabbricano questi indici?

Ad ogni modo, se mi stai accusando di far parte di una mobilitazione gattopardesca come la descrivi tu, firmati con tutte le tue generalita' e daro' subito mandato al mio avvocato di adire le vie legali.

Se invece non mi accusi di questo, sarebbe meglio discutere nel merito invece di lanciare accuse infamanti non si sa bene a chi. Sembra di stare in guerra: se non sei con me sei contro di me, se non sei a favore dell'uso dell'impact factor allora sei a favore di un abuso di potere a fini clientelari e disonesti, ecc. Basta. Questa mi sembra una tattica di pressione psicologica pianificata a tavolino. Puo' funzionare sui giornali o in una trasmissione televisiva, ma non funziona su questo sito.

 

Ad ogni modo, se mi stai accusando di far parte di una mobilitazione gattopardesca come la descrivi tu, firmati con tutte le tue generalita' e daro' subito mandato al mio avvocato di adire le vie legali.

E 'sti cazzi!

A parte che m'importa sega delle minacce, chi ti ha detto che mi riferivo a te, che manco ti conosco, o a qualcun'altro di nFA? La tua reazione parossistica e autoreferenziale mi induce a pensare che o hai qualche disturbo istrionico della personalità o hai la coda di paglia. In ogni caso hai un problema.

Bon, tenetevi le vostre belle commissioni and good luck. Beam me up, Scotty.

Beam me up, Scotty.

Tipica reazione da ossessionato-nFA contro chi esprime posizioni non allineate all'ideologia "ufficiale".

Poi si spendono MB a scrivere sul come e sul perchè l'Italia è messa male.

RR

Scusate, ma non capisco tutte queste polemiche. Questo e' un luogo di discussione (le decisioni vengon prese altrove) pertanto dovrebbe essere chiaro che tutte le opinioni sono basate sulla buona fede.

Non penso ci sia alcun complotto pro o contro gli indici bibliometrici. Questi sono solo uno strumento (proabilmente ancora molto imperfetto); per alcuni utilizzi possono essere adeguati (p.es. per valutazioni aggregate o per scremare i casi da valutare in maniera analitica), per altri utilizzi sembrano a molti ancora troppo grezzi.

 

Non riesco a seguire i dettagli, mi sembra che nell'ultima versione abbia trovato spazio l'assunzione (che poi e' intesa essere primariamente promozione di ricercatori) di 1500 associati all'anno extra per 5 anni, mi pare di capire con le vecchie regole ma continuando a fare i sorteggi che sembrano ormai il tratto distintivo e qualificante dell'accademia italiana rispetto al resto del mondo civile.  La mia previsione e' che non siano possibili grandi cambiamenti come regime generale, perche' il Parlamento ha gia' speso del tempo, vuole concludere, e non ci sono i margini per fare stravolgimenti.  Approvato il disegno di legge delega ci saranno comunque margini di miglioramento perche' sara' il governo, quindi il ministro Gelmini, entro il quadro definito dal DDLD, a dover scrivere la legge vera e propria, e avranno la possibilita' di decidere su molti dettagli.

C'e' un problema: se, come sembra, si va al voto a marzo, che succede?
Io vedo che sono gia' tutti in campagna elettorale...

Il mio timore e' che finiremo per subire tutti i difetti del DDL (tutto il potere a *questi* ordinari) senza mai arrivare a vedere alcuna traccia di meritocrazia (almeno nel medio periodo).
Son troppo pessimista?