Titolo

Perché il DDL Gelmini non è (era?) tutto da buttar via

20 commenti (espandi tutti)

Io come dice Carminat sarò supponente e sgarbato, ma perchè non leggete i post? Io ho scritto

Bisogna usare parametri oggettivi, tipo l’IF medio, l’indice di Hirsch etc. Dove non ci sono (come a Lettere o a Legge) bisogna crearli.  Scrivo questo perfettamente consapevole che questi indici non funzionano bene e quindi vi prego di evitare lunghe discussioni sui loro difetti. Le alternative sono  peggiori.

Aggiungo che, come già detto in altro post, o in una risposta, io ho passato parecchie ore della mia vita a costruire un indice per lettere su incarico della SISSCO (la società di Storia Contemporanea), non basato sulle citazioni ma sulla sede di pubblicazione. Quindi l'accusa è ingenerosa. Ed a questo punto, francamente, rinuncio. Mi rifiuto di continuare, mi arrendo, alzo bandiera biance...Se voi non capite quale è la situazione al di fuori della vostra isola felice, non ci posso fare nulla. Aspetto con curiosità i brillanti contributi di Israel o Suo o di chiunque altro.


Provo a rianimare la discussione, cercando di ripartire da zero.

O meglio, da tre: provo ad individuare tre questioni attorno alle quali, secondo me, potrebbe valer la pena di continuare a dibattere (anche se non mi aspetto che si raggiungera' mai l'unanimita').

1) DDL. Qual'e' lo stato del DDL, quale la sua probabile evoluzione?Insomma, realisticamente, quali sono le prospettive?

2) Valutazione. Tutti sono favorevoli alla valutazione (anche se non tutti intendiamo la medesima cosa). Elementi di valutazione sono gia' presenti in leggi gia' promulgate. Come agire per fare in modo che dalla teoria si passi alla pratica?

3) Indici bibliometrici. Forse gli indici bibliometrici  non sono una bacchetta magica, ma certamente possono essere uno strumento molto utile (criteri automatici stabiliti a priori hanno il pregio di essere imparziali). Bisogna capire quali indici usare e, soprattutto, come utilizzarli (da soli, per qualsiasi valutazione? in accoppiata con una valutazione  qualitativa? da soli, ma solo per valutazioni aggregate?) E' realisticamente possibile trovare un accordo su una proposta (magari non perfetta ma) condivisa?

Mi piacerebbe in particolare capire quali potrebbero essere i percorsi politici per ottenere concretamente qualche piccolo risultato positivo (non nascondo che, vista la situazione politica, non sono molto ottimista).

Caro Carminat

Francamente mi sembra troppo tardi.  Io ho tentato di creare un dibattito, ma tanto scriviamo solo in tre, su un sito di outsiders, e ci accapigliamo su aspetti marginali. Non credo proprio che ci sia spazio per una iniziativa politica in senso riformatore, sopratutto dopo l'emendamento Valditara. I Baroni non vogliono la valutazione, per le ragioni che ho spiegato molte volte. I precari ed i ricercatori (o almeno quelli che protestano e si danno da fare) cercano solo il proprio piattino di lenticchie, che sarà loro generosamente elargito dai Baroni, rigorosamente ad personam. Ormai è passata l'idea che il problema dell'università sia dare soldi per aumentare il numero di posti e/o far far carriera ai docenti. Non so se Tremonti scucirà o no ma francamente mi sembra irrilevante. 

Cordiali saluti

Giovanni Federico

Dice il saggio che c'è un accordo per cominciare la discussione in Aula alla Camera il 18 Novembre, e voto finale il 25.

RR

1) DDL. Qual'e' lo stato del DDL, quale la sua probabile evoluzione?Insomma, realisticamente, quali sono le prospettive?

Non riesco a seguire i dettagli, mi sembra che nell'ultima versione abbia trovato spazio l'assunzione (che poi e' intesa essere primariamente promozione di ricercatori) di 1500 associati all'anno extra per 5 anni, mi pare di capire con le vecchie regole ma continuando a fare i sorteggi che sembrano ormai il tratto distintivo e qualificante dell'accademia italiana rispetto al resto del mondo civile.  La mia previsione e' che non siano possibili grandi cambiamenti come regime generale, perche' il Parlamento ha gia' speso del tempo, vuole concludere, e non ci sono i margini per fare stravolgimenti.  Approvato il disegno di legge delega ci saranno comunque margini di miglioramento perche' sara' il governo, quindi il ministro Gelmini, entro il quadro definito dal DDLD, a dover scrivere la legge vera e propria, e avranno la possibilita' di decidere su molti dettagli.

2) Valutazione. Tutti sono favorevoli alla valutazione (anche se non tutti intendiamo la medesima cosa). Elementi di valutazione sono gia' presenti in leggi gia' promulgate. Come agire per fare in modo che dalla teoria si passi alla pratica?

Siamo piu' o meno nelle mani dell'attivismo del ministro su questo tema. Sembra che il movimento sia incerto e farraginoso. Secondo me possiamo ridurrei danni e favorire un'evoluzione positiva sottolineando quali sistemi di valutazione e incentivi funzionano davvero in altri Paesi comparabili con noi e se e come possono essere calati nel contesto italiano.

3) Indici bibliometrici. Forse gli indici bibliometrici  non sono una bacchetta magica, ma certamente possono essere uno strumento molto utile (criteri automatici stabiliti a priori hanno il pregio di essere imparziali). Bisogna capire quali indici usare e, soprattutto, come utilizzarli (da soli, per qualsiasi valutazione? in accoppiata con una valutazione  qualitativa? da soli, ma solo per valutazioni aggregate?) E' realisticamente possibile trovare un accordo su una proposta (magari non perfetta ma) condivisa?

Secondo me bisogna contrastare l'idea ingenua e sbagliata che sia possibile fare una valutazione individuale accurata con indici bibliometrici.  Bisogna sottolineare che e' possibile fare valutazioni ragionevoli di aggregati (es. Dipartimenti), pur sempre con margini di incertezza.  Va sottolineato come fa G.Federico che in presenza di peer review che empiricamente, nello specifico contesto italiano, risultano complessivamente inattendibili o poco attendibili, e' giustificato assegnare almeno in una fase iniziale piu' valore agli indici bibliometrici rispetto ai Paesi come UK dove la peer review appare funzionare in maniera efficace. In ogni caso anche in UK ritengono che sia bene esaminare e conoscere gli indici come ausilio pur all'interno di una valutazione organizzata sulla peer review. Per attenuare le incertezze dall'uso di indici bibliometrici si puo' proporre che la ripartizione delle risorse non sia drastica (come in UK dove il 70% degli Atenei riceve zero dei fondi connessi col RAE, e il restante 30% riceve tutti i fondi) ma attenuata, tuttavia deve essere percettibile perche' sia efficace.

Poi nello specifico caso italiano sono personalmente contrario a fare confronti di Atenei e anche assegnazioni di fondi indivise agli Atenei, come in UK, bisogna invece fare confronti e assegnazioni organizzati sui Dipartimenti e/o assegnazioni competitive a piccoli gruppi di ricerca tipo PRIN.  In UK si agisce al livello di Ateneo perche' storicamente gli Atenei sono Fondazioni autonome dallo Stato, in Italia non c'e' questa compatimentazione e gli universitari sono dipendenti pubblici dello Stato, non dipendenti privati degli Atenei come in UK.

Secondo me bisogna contrastare l'idea ingenua e sbagliata che sia possibile fare una valutazione individuale accurata con indici bibliometrici.

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

Forse per persone abbastanza avanti nella carriera l'h-index puo' costituire una valutazione ragionevole, rispetto alla disciplina di appartenenza.  Dubito pero' che si possano reclutare ricercatori (o assistant professor) in base a confronti di h-index.  Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Ho già premesso che si possono fare correzioni agli indici che fanno riferimento a situazioni specifiche, si possono costruire indici composti e via discorrendo. Spiegami piuttosto perchè ci sono ricercatori con H index elevati che ancora non sono professori e ordinari con H index imbarazzante, piuttosto.

Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Non saprei. Tu hai conoscenza di sistemi simili al RAE ben funzionanti e precedenti al RAE?

Hai conoscenza di sistemi accademici ben funzionanti che usino indici bibliometrici per fare valutazioni individuali?

Non saprei. Tu hai conoscenza di sistemi simili al RAE ben funzionanti e precedenti al RAE?

Francamente no, il RAE e' un po' atipico per il suo carattere fortemente statal-centralista, mi sembra che nei Paesi avanzati l'allocazione delle risorse in funzione del merito si faccia in maniera diversa, composita (privati, tasse universitarie, enti finanziatori statali, finanziamenti privati) e non incentrata sugli Atenei ma semmai sui gruppi di ricerca o sui Dipartimenti. Tuttavia sia il RAE sia gli altri sistemi avanzati sembra a me usino piu' le peer review che non gli indici per valutare attivita' e progetti.

Infine non e' che a me il RAE piaccia particolarmente, e' troppo statal-centralista per i miei gusti, preferirei il sistema USA dove i finanziamenti sono assegnati su base competitiva a piccoli gruppi all'interno di ogni Dipartimento da enti finanziatori come NSF e DOE. Il pregio del RAE e' che appare funzionare e che per la sua natura statal-centralista sembra plausibile per uno Stato demenzial-statal-centralista come l'Italia.

il RAE e' un po' atipico per il suo carattere fortemente statal-centralista, mi sembra che nei Paesi avanzati l'allocazione delle risorse in funzione del merito si faccia in maniera diversa, composita (privati, tasse universitarie, enti finanziatori statali, finanziamenti privati) e non incentrata sugli Atenei ma semmai sui gruppi di ricerca o sui Dipartimenti.

Esatto, ma il punto è questo (come ho già cercato di spiegare in altri post), che (1) anche in UK, come nel resto del mondo, tranne in Italia, esiste una forte componente di finanziamento a progetto (dico quella pubblica, in primis, dei Research Councils), e (2) esiste in UK una politica di sistema per la concentrazione della capacità di ricerca in un numero (più) limitato di Università, che si esprime poi in concreto nell'uso del RAE.

La combinazione di (1) + (2) è detta, appunto, sistema duale di finanziamento della ricerca in UK. Appunto di questo si dovrebbe discutere (eventualmente, volendo), dei suoi contenuti, dei suoi presupposti giuridico-istituzionali, e di quelli sociali (di norme, pratiche sociali, intendo). Invece si evita accuratamente di parlare di politica (policy), e gli economisti di lingua italiana o gli opinionisti che propinano le loro ricette ideologiche danno tutto per chiaro, evidente, scontato. Comunque voglio dare un acknowledgement al tuo intervento, alberto, perchè invece, almeno, entra nei contenuti della questione e del problema

Sullo statal-centralismo: beh, si tratta di decidere una politica, un certo comportamento dello Stato, no? I soldi pubblici vanni usati così e così, e viene usata una certa politica. Se poi volevi sottolineare il punto del centralismo per criticare la riconduzione della valutazione ad un unico set di criteri, valevoli per tutti i prodotti di ricerca, hai invece centrato un problema, una questione reale. Infatti ogni valutazione significa confronto di un oggetto, o di sue qualità, con dei criteri che andranno evidentemente definiti da qualcuno. E' una definizione di norme, anche quella.

Quindi due volte complimenti, alberto.

RR

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10?

vedi la relazione preparata dal gruppo di lavoro dell'International Mathematical Union, in collaborazione con l'Institute of Mathematical Statistics e l'International Council of Industrial and Applied Mathematics, che si trova al seguente indirizzo: http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf La relazione e' stata preparata da uomini che hanno una dimestichezza non occasionale con i numeri: sono professionisti dei numeri

Perchè no? E' un caso che i premi nobel abbiano H index > 20 e medio ~ 40? E' un caso che i redattori di del blog abbiano H index > 10? Si possono fare correzioni che tengano in considerazione l'età, la popolazione delle comunità scientifiche etc. ma non vedo per quali motivi non si potrebbe costruire una metrica oggettiva. Mi sembra un'affermazione aprioristica.

vedi (le numerose fonti citate nel)la discussione gia' svolta su questo sito (dice il Poeta: ``qualcosa rifluisce, e torna al proprio punto di partenza, perche' nulla va perduto'')

 

Solo una curiosita': che h-index hanno quegli uomini che possiedono una grande dimestichezza con i numeri?

A me, che comunque sono un mero fisico teorico, interessa che abbiano dimestichezza con i concetti matematici. E questo basti a qualificarli.

RR

Si, lo so... La mia era una più che altro una provocazione. Questo perchè spesso i numeri si girano dalla parte dove conviene. Pertanto mi aspetto che chi ha un alto h-index spinga in quel senso, chi invece ha un basso h-index spinga ovviamente per altri tipi di "numeri" in cui si sentono meno penalizzati.

La fantasia "baronale" (chiamiamola così) nel saper assecondare i numeri e le formule al proprio intreresse è proverbiale.

Detto questo, ben vengano dei tentativi e delle proposte di quantificare il merito, data la scarsa capacità mostrata in passato dalla categoria. Almeno è un inizio. Il rischio è che poi si leghi troppo la produttività a questi fattori, condizionando troppo le scelte sul "cosa fare" e "dove pubblicare" e, in definitiva, con chi collaborare (questo almeno in campo scientifico). Pertanto eviterei di dare un valore "assoluto" a cose tipo h-index, anche se dovrebbero essere considerate (e con un buon peso) nella valutazione meritocratica.

Non dimentichiamoci poi che questi h-index variano moltissimo da disciplina a disciplina. In biologia, epr es., non è difficile trovare giornali con impact-factor superiore a 20...

Non dimentichiamoci poi che questi h-index variano moltissimo da disciplina a disciplina.

 

Questi sono problemi facilmente superabili con opportune correzioni agli indici, come ho detto sopra, vedi p. es. qui. In realtà c'è in atto una mobilitazine di chi vuol mantenere il proprio potere discrezionale e preme perchè i cambiamenti siano gattopardeschi.

In realtà c'è in atto una mobilitazine di chi vuol mantenere il proprio potere discrezionale e preme perchè i cambiamenti siano gattopardeschi.

o forse la mobilitazione e' degli amministratori delegati delle ditte che fabbricano questi indici?

Ad ogni modo, se mi stai accusando di far parte di una mobilitazione gattopardesca come la descrivi tu, firmati con tutte le tue generalita' e daro' subito mandato al mio avvocato di adire le vie legali.

Se invece non mi accusi di questo, sarebbe meglio discutere nel merito invece di lanciare accuse infamanti non si sa bene a chi. Sembra di stare in guerra: se non sei con me sei contro di me, se non sei a favore dell'uso dell'impact factor allora sei a favore di un abuso di potere a fini clientelari e disonesti, ecc. Basta. Questa mi sembra una tattica di pressione psicologica pianificata a tavolino. Puo' funzionare sui giornali o in una trasmissione televisiva, ma non funziona su questo sito.

 

Ad ogni modo, se mi stai accusando di far parte di una mobilitazione gattopardesca come la descrivi tu, firmati con tutte le tue generalita' e daro' subito mandato al mio avvocato di adire le vie legali.

E 'sti cazzi!

A parte che m'importa sega delle minacce, chi ti ha detto che mi riferivo a te, che manco ti conosco, o a qualcun'altro di nFA? La tua reazione parossistica e autoreferenziale mi induce a pensare che o hai qualche disturbo istrionico della personalità o hai la coda di paglia. In ogni caso hai un problema.

Bon, tenetevi le vostre belle commissioni and good luck. Beam me up, Scotty.

Beam me up, Scotty.

Tipica reazione da ossessionato-nFA contro chi esprime posizioni non allineate all'ideologia "ufficiale".

Poi si spendono MB a scrivere sul come e sul perchè l'Italia è messa male.

RR

Scusate, ma non capisco tutte queste polemiche. Questo e' un luogo di discussione (le decisioni vengon prese altrove) pertanto dovrebbe essere chiaro che tutte le opinioni sono basate sulla buona fede.

Non penso ci sia alcun complotto pro o contro gli indici bibliometrici. Questi sono solo uno strumento (proabilmente ancora molto imperfetto); per alcuni utilizzi possono essere adeguati (p.es. per valutazioni aggregate o per scremare i casi da valutare in maniera analitica), per altri utilizzi sembrano a molti ancora troppo grezzi.

 

Non riesco a seguire i dettagli, mi sembra che nell'ultima versione abbia trovato spazio l'assunzione (che poi e' intesa essere primariamente promozione di ricercatori) di 1500 associati all'anno extra per 5 anni, mi pare di capire con le vecchie regole ma continuando a fare i sorteggi che sembrano ormai il tratto distintivo e qualificante dell'accademia italiana rispetto al resto del mondo civile.  La mia previsione e' che non siano possibili grandi cambiamenti come regime generale, perche' il Parlamento ha gia' speso del tempo, vuole concludere, e non ci sono i margini per fare stravolgimenti.  Approvato il disegno di legge delega ci saranno comunque margini di miglioramento perche' sara' il governo, quindi il ministro Gelmini, entro il quadro definito dal DDLD, a dover scrivere la legge vera e propria, e avranno la possibilita' di decidere su molti dettagli.

C'e' un problema: se, come sembra, si va al voto a marzo, che succede?
Io vedo che sono gia' tutti in campagna elettorale...

Il mio timore e' che finiremo per subire tutti i difetti del DDL (tutto il potere a *questi* ordinari) senza mai arrivare a vedere alcuna traccia di meritocrazia (almeno nel medio periodo).
Son troppo pessimista?