Mission: Impossible! Come valutare i professori

27 novembre 2008 Giuseppe Lipari

Ormai tutti parlano di "meritocrazia". Ma come si fa valutare la produttività di un docente universitario? Proviamo a seguire insieme le "Linee Guida" del Ministero per l'Università e la Ricerca.

La recente "riforma Gelmini" ha posto, almeno per il momento, il sistema universitario al centro dell'attenzione mediatica. Commentatori di professione dalle colonne dei maggiori giornali si sono da tempo lanciati all'attacco dell'attuale sistema universitario, nell'ottica di riformarlo e introdurre criteri meritocratici nei meccanismi di gestione.

Criticare è molto facile: e criticare un'istituzione decrepita, inefficiente, in moltissimi e documentatissimi casi teatro di malcostume e malversazioni da parte dei cosidetti "baroni", è particolarmente facile. Quando però si arriva al momento di mettere sul tavolo concrete proposte di riforma, il caos e il dilettantismo sembrano farla da padrone. Mentre tutti concordano sulla necessità di introdurre un astratto concetto di meritocrazia, passare poi ai provvedimenti da attuare concretamente è tutto un altro paio di maniche.

Una delle proposte che sta sul tavolo da tempo, ormai stabilmente nei desiderata del ministero, è quella di legare lo stipendio di ogni docente alla sua "produttività". Ne parlano, ad esempio, i colleghi Jappelli e Checchi su Lavoce.info:

Andrebbe una volta per tutte definito lo stato giuridico dei docenti, con indicazioni precise sul carico didattico e verifiche periodiche della produttività scientifica, cui condizionare la progressione economica, adesso solo basata sull'anzianità di servizio.

Ne parlano illustri docenti e ne parlano gli studenti (vedi la puntata di Annozero sull'Università di qualche giorno fa). Soprattutto, tale proposta si trova nelle Linee Guida del governo per l'università:

D.1 rivedere il meccanismo degli automatismi stipendiali, che non necessariamente premia la qualità della ricerca e l'impegno nella didattica, sostituendolo gradualmente con valutazioni periodiche dell'attività svolta;

D.2 elaborare parametri condivisi di qualificazione scientifica per l'accesso ai diversi ruoli della docenza, anche con l'utilizzo, ove possibile, di indicatori di qualità scientifica internazionalmente riconosciuti (impact factor; citation index): il CUN è già al lavoro in questo senso;"

Tutti d'accordo, quindi: gli scatti di anzianità automatici verranno presto sostituiti da verifiche periodiche centralizzate, al cui risultato legare la progressione di stipendio (incidentalmente, vi prego di notare che queste valutazioni periodiche sarebbero in aggiunta alle valutazioni periodiche delle università e dei dipartimenti: mentre con le prime si controlla lo stipendio dei docenti, con le seconde si controlla la quantità di fondi da destinare a ciascuna Università).

Siamo sicuri che sia una buona idea? Roberto Perotti pensa di no:

[...] molti perseguono in forme più o meno esplicite, una differenziazione degli stipendi diretta dal centro, sulla base di parametri rigidamente definiti. Ma una differenziazione centralizzata non può funzionare: è impossibile stabilire a priori quanto vale un ricercatore in ogni possibile situazione e circostanza. Anche l'unico criterio minimamente oggettivo, quello bibliometrico, può essere un utile aiuto, ma sarebbe insensato e pericoloso utilizzarlo meccanicamente come unica determinante degli stipendi.

Roberto Perotti, L'Università truccata, Gli struzzi Einaudi, 2008, pag 112

Forse Perotti esagera. Preso dal suo furore liberista, vuole liberalizzare financo l'ultimo caposaldo dell'università statale, ovvero la centralizzazione degli stipendi? In fondo se così tanti autorevoli personaggi ci dicono che è la soluzione giusta, e sta nelle linee guida del governo...

Poichè mi hanno insegnato a non fidarmi troppo di quello che mi dicono, proverò comunque a fare qui un piccolo esercizio di stile. Supponiamo che il ministro Gelmini mi chiami domani come consulente del ministero:

"Giuseppe, trovami il modo di implementare la linea guida D1!" (della D2 se ne occupa già il CUN).

"Ok, ministro, ma è un lavoro difficile e pericoloso, mi attirerò le critiche di tutti!"

"In cambio ti ricoprirò d'oro."

"Allora, accetto!". Per il bene della patria, naturalmente.

OBIETTIVO DELLA MISSIONE

Nelle linee guida, in effetti, c'è scritto pochino. Allora facciamo che gli obiettivi e le specifiche me li scrivo da solo, saranno forse più facili da raggiungere!

A che serve questa riforma? Ad aumentare la produttività dei docenti italiani, inserendo un meccanismo premiante direttamente sullo stipendio. Sarà quindi questo il principale parametro di valutazione delle nostre regolette: dovremo controllare alla fine se la produttività sarà aumentata.

Di quanti soldi stiamo parlando? Qui si va a senso. Direi che se l'obiettivo è di sostituire gradualmente il meccanismo degli scatti di anzianità con un meccanismo basato sulla valutazione (come recitano le linee guida), più o meno stiamo parlando dello stesso ordine di grandezza: invece di darteli automaticamente con il passare del tempo, ti sottopongo a una valutazione.

Si va solo a salire o anche a scendere? Se dobbiamo sostituire l'anzianità "as it is", convengono scatti piccoli solo a salire. Non mi sembra però una grande idea. Infatti, se l'incremento fosse in percentuale sullo stipendio, come è adesso lo scatto di anzianità, l'età giocherebbe comunque un fattore determinante: premierebbe chi da tempo fa ricerca, mentre il giovane ricercatore dopo la prima valutazione avrebbe comunque con uno stipendio limitato, anche se si trattasse di un novello Einstein.

Forse, per stimolare maggiormente la qualità, sarebbe meglio legare una parte sostanziale dello stipendio alla valutazione e prevedere che si possa anche scendere la volta dopo. Ad esempio, ogni 3 anni ti valuto: se vali, ti do un bel po' di stipendio in più per i prossimi 3 anni (per esempio il 30%-40% in più); se non vali, niente. Dopo altri 3 anni, però si ricomincia da zero. E si possono naturalmente avere sistemi misti. Inoltre, conviene che l'incremento di stipendio sia proporzionale al risultato. Si potrebbe assegnare ad ogni docente un voto da 1 a 10, da utilizzare poi per calcolare l'ammontare dell'aumento.

Naturalmente, il sistema deve essere "fair", cioè quanto più possibile equo. Devo effettivamente evitare di invertire la scala di valori fra due ricercatori, onde evitare ingiustizie, recriminazioni, faide. Stiamo andando a mettere le mani nelle tasche dei docenti italiani, dopo tutto (chissà perché, questa frase mi sembra di averla già sentita). Non dico che debba essere perfetto, ma insomma, quasi.

Dopo cinque minuti mi richiama il ministro: "dimenticavo di dirti che, qualunque cosa tu decida di fare, deve essere a costo zero per il paese: ogni euro speso nella valutazione verrà preso dal Fondo di Finanziamento Ordinario (FFO)".

Chissà perché, me l'aspettavo.

VALUTARE UN DOCENTE

Un docente viene valutato in base a tre attività fondamentali:

1) Qualità e quantità della didattica.
2) Ricerca.
3) Attività organizzative.

Nell'ultimo punto, per comodità, metteremo tutte quelle attività non direttamente classificabili nei punti 1 e 2, come ad esempio coordinamento di progetti di ricerca, fund raising, editing di riviste internazionali, peer review, organizzazione di conferenze, partecipazione agli organi decisionali dell'Università (riunioni di facoltà, ecc.).

Tutti e tre gli aspetti sono importanti, naturalmente. Per quanto riguarda la didattica, c'è chi dice (ad esempio Perotti, ibidem) che in un sistema universitario funzionante non tocca alle istituzioni valutare puntualmente la didattica, perché il mercato degli studenti valuterebbe da se. Non so quanto questo sia vero, ma il tema è decisamente dibattuto e lo lascerò da parte per il momento.

Il punto 3 è il più controverso. Per esperienza personale si arriva a lotte intestine piuttosto aspre tra dipartimenti scientifici e tecnici (ingegneria in primis) da una parte, che riescono ad attirare fondi in gran quantità da enti pubblici e privati, e dipartimenti umanistici sempre cronicamente a corto di fondi dall'altra. Inserire la voce quantità di fondi di ricerca raccolti nella valutazione di ogni singolo docente potrebbe portare a notevoli distorsioni, oltre che ad asprissime polemiche. Eviterò quindi di prendere per ora in considerazione questa voce.

Concentriamoci quindi sulla ricerca.

LA VALUTAZIONE DELLA RICERCA

"Ci sono ormai metodi accettati a livello internazionale per misurare la produttività scientifica di un ricercatore".

Questa frase è stabilmente sulla bocca di tutti i fautori della meritocrazia (quindi praticamente di tutti). Sembrerebbe quindi un compito banale: usiamo questi benedetti indicatori. Purtroppo pochi di quelli che la pronunciano ne hanno mai visto in faccia uno.

Sostanzialmente, si misurano il numero di articoli pubblicati da un ricercatore su riviste o su atti di conferenze, e il numero di volte che ciascuno di questi articoli è stato citato in articoli simili da altri ricercatori. Il semplice numero di articoli è una mera misura quantitativa, che non dice niente sulla qualità; il numero di citazioni invece indica (o dovrebbe indicare) indirettamente il "gradimento" che ha ricevuto l'articolo nella comunità scientifica internazionale. A partire da queste due misure, si costruiscono indici bibliometrici più o meno complicati. Eccone alcuni qui.

I limiti di questi indici sono notevoli e ben conosciuti. Innanzitutto, la base di dati su cui fare le misurazioni non è univoca. Nelle materie scientifiche c'è ISI. Un altro è Scopus. In economia hanno Econlit. Purtroppo nessuno di questi copre bene Scienze dell'Informazione e Ingegneria. Esistono sistemi "liberi" come Google Scholar o Citeseer. Ma nessuno copre tutto lo scibile umano. E in tutti ci sono errori, omissioni, zone d'ombra. Se due database coprono lo stesso campo, la probabilità che diano la stessa misura sullo stesso ricercatore è praticamente nulla.

Inoltre, campi scientifico/disciplinari diversi hanno regole diverse: in alcuni campi si pubblicano di solito articoli con pochi autori, in altri il numero di autori è di solito elevatissimo. Ci sono campi per cui hanno valore soprattutto le riviste (vedi Economia, ma anche Scienze), mentre in altri campi certe conferenze hanno un prestigio a volte superiore alle riviste (vedi Computer Science & Engineering). Insomma, districarsi è complicato. Si potrebbe pensare un sistema diverso per ogni settore. Già mi immagino il disciplinare: centinaia o addirittura migliaia di pagine di regolamenti! (solo per scriverli ci vorranno anni di lavoro...)

Anche concentrandosi su un campo specifico, ci sono delle difficoltà tecniche non indifferenti. Supponiamo ad esempio di valutare un docente ogni tre anni per gli ultimi 3 anni di pubblicazioni. Se cominciassimo a valutare le mie pubblicazioni a febbraio 2009, prendendo in considerazione il triennio 2005-2008, quasi sicuramente la maggior parte degli articoli avrà un numero di citazioni praticamente prossimo allo zero. Lo so, sono un ricercatore scarso. Ma magari dipende anche dal fatto che, se ho pubblicato un articolo nel 2008, le probabilità che qualcuno lo abbia letto, lo abbia citato in un suo articolo che sia stato poi accettato da un processo di peer-review su un altra rivista e sia stato pubblicato e messo nel database, è praticamente nulla. In genere passano almeno 5-6 mesi dalla scrittura dell'articolo alla sua pubblicazione (e in certi casi si supera abbondantemente l'anno). Peggio: il processo di reviewing ha tempo variabile a seconda del settore! In Fisica sono di solito velocissimi; in Ingegneria sono di solito lentissimi (anche 2 anni).

Bisognerà quindi valutare ricerca più vecchia. Ma così facendo si riduce l'effetto del "premio". Essere premiato oggi per un articolo di 5-10 anni prima può fare piacere, ma forse non funziona tanto bene come meccanismo premiante. Più che altro premierebbe la carriera.

Anche contare il numero di citazioni può essere fuorviante. In alcuni rari casi succede che un articolo riceva un enorme numero di citazioni perché contiene un errore, che tutti citano come da correggere. Non è certo un articolo da premiare. In molti casi, un articolo riceve citazioni "negative" da ricercatori che contestano aspramente il metodo seguito. È molto comune il caso di articoli che riassumono lo stato dell'arte in un campo: sono citatissimi da tutti, ma non contengono alcun contributo originale.

Inoltre, certi indici si possono in qualche modo manipolare artificialmente. Per esempio mettendosi d'accordo fra due gruppi per citarsi tutti gli articoli a vicenda. È poi pratica comune (e scorretta) in molti dipartimenti che il "capo" firmi comunque gli articoli di tutti i suoi sottoposti, anche se non li ha mai neanche letti. Egli si beccherebbe gli onori (e gli incrementi di stipendio) al pari dei suoi sottoposti, anche non facendo ricerca da decenni. Oppure, un lavoro importante potrebbe essere diviso in più articoli, ognuno propone un piccolo incremento rispetto al precedente. Con un lavoro vengono fuori 5-6 articoli minimo.

L'utilizzo esclusivo di sistemi automatici di misurazione è quindi da sconsigliare. David Parnas lo dice molto francamente in un suo recente articolo ("Stop the numbers game: Counting papers slows the rate of scientific progress.", Communications of the ACM, Volume 50, Number 11 (2007), Pages 19-21, web link):

Paper-count-based ranking schemes are often defended as "objective." They are also less time-consuming and less expensive than procedures that involve careful reading. Unfortunately, an objective measure of contribution is frequently contribution-independent.

e ancora:

The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research [...] It encourages repetition [...] It encourages small, insignificant studies [...]

e infine:

Evaluation by counting the number of published papers corrupts our scientists; they learn to "play the game by the rules." [...] Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied.

In pratica: se utilizziamo esclusivamente sistemi automatici di misurazione, invece di incoraggiare la ricerca di eccellenza rischiamo di incoraggiare ricerca mediocre, o addirittura sporchi trucchetti per manipolare i numeri. Non è certo quello che vogliamo.

Due note prima di passare oltre. Primo: non si sta qui sostenendo che la bibliometria sia una disciplina inutile. Tutt'altro: essa ci da un enorme ed utilissimo supporto per rilevazioni statistiche a livello di paese, o per confrontare istituzioni anche di altri paesi. Anche nella valutazione del curriculum di un docente gli indici bibliografici danno un primo inquadramento, una valutazione di massima. Tale valutazione va però sempre e comunque integrata da un'attenta lettura delle pubblicazioni da parte di esperti del settore, proprio per evitare di prendere cantonate e per scremare il grano dal loglio. Un utilizzo scorretto degli indici bibliografici avrebbe alla lunga effetti negativi sulla valutazione stessa.

Seconda nota: non sembra che al ministero siano al corrente del pensiero di Parnas, dato che hanno incaricato il CUN di studiare modalità per inserire gli indici bibliometrici nei regolamenti dei concorsi!

Con gli indici ci è andata male. Rimane solo il peer-review. Ovvero la valutazione da parte dei "pari". Per ogni docente facciamo una commissione di tre esperti del settore che valutano la produzione scientifica. Mi sembra già di sentirvi: "una commissione per ogni docente? composta da docenti? finirà che tutti valuteranno tutti gli altri! I docenti italiani si valuteranno tutti da soli a vicenda! E quale sarà il risultato più probabile? Si auto-promuoveranno tutti!". Ammetto che il rischio è molto concreto. Potremmo inserire degli esperti stranieri... ma quelli non vengono a fare i valutatori in Italia in cambio di un semplice "grazie tante". Bisognerà pagarli. E poi chi ci assicura che questi stranieri siano bravi valutatori? Dite che bisogna chiamare i migliori? Comincia a diventare troppo costoso.

E poi la valutazione non sarebbe uniforme e oggettiva: ci sono valutatori buoni che tendono a dare sempre buoni voti e valutatori carogna che scarterebbero anche Shannon (è successo veramente!). L'equità andrebbe a farsi benedire. Tanto vale tirare dei dadi.

E allora come si fa? Forse che aveva ragione Perotti?

EPILOGO

"Caro Ministro. L'unica cosa che può funzionare è che ogni docente venga valutato dalla sua stessa Università. Se l'Università riceve i fondi soprattutto in base alla valutazione scientifica della ricerca; e se ogni Università ha libertà di stabilire il livello del compenso dei suoi docenti; i docenti migliori andranno naturalmente dove c'è più possibilità di veder riconosciuta la loro professionalità, e riceveranno naturalmente uno stipendio più alto. L'Università potrà decidere se valutare di più le capacità di fund-raising, o la capacità di creare un gruppo, oppure la produzione scientifica. Il sistema si autoregola."

"Caro Giuseppe, avrai pure ragione, non dico di no, ma se propongo questa cosa qui mi mangiano viva".

"Capisco. E allora lasci cadere la cosa. In fondo sono delle linee guida, no? Non c'è alcun obbligo di trasformarle in legge. Il paese è in recessione, fra un po' se ne scorderanno tutti. Piuttosto, se fossi in lei, spingerei sul pedale della valutazione delle Università. Su quella cosa lì, vedrà, potete farcela."

"Hai ragione, probabilmente lasceremo cadere la cosa. Un sentito ringraziamento per l'ottimo lavoro svolto per il paese e arrivederci!"

"Ehm, mi scusi ministro, ci sarebbe quella cosa del farsi ricoprire d'oro ..."

"Ah, già dimenticavo. Facciamo così, telefona a Giulio, dì che ti mando io."

Mmm, mi sa che butta male. Sarà per la prossima volta.

ULTIM'ORA

Sembra che al ministero lavorino alacremente (dal Corriere.it):

NORME ANTI-«BARONI» - Tra le novità introdotte in commissione al Senato, le norme anti-baroni: è prevista la costituzione di una anagrafe (aggiornata annualmente) presso il ministero con i nomi di docenti e ricercatori e le relative pubblicazioni. Per ottenere gli scatti biennali di stipendio i docenti dovranno provare di aver fatto ricerca e ottenuto pubblicazioni. Se per due anni non ce n’è traccia lo scatto stipendiale è dimezzato e i docenti non possono far parte delle commissioni che assumono nuovo personale. I professori e i ricercatori che non pubblicano per tre anni restano esclusi anche dai bandi Prin, quelli di rilevanza nazionale nella ricerca.

Chissà che ne penserebbe David Parnas...

91 commenti (espandi tutti)

Parole sante! Il grande mistero della scienza è che si sa sempre chi è un grande studioso e chi non lo è. Si tratta di valutazioni imponderabili, ma oggettive, in quanto condivise dalla comunità degli studiosi. Il difficile è monetizzare questa cosa.

-------------------- 

Il bello delle riforme universitarie italiane è che sembrano fatte da persone che non sanno nulla della materia che stanno riformando. Prendiamo la citazione dal Corriere di cui sopra:

Tra le novità introdotte in commissione al Senato, le norme anti-baroni: è prevista la costituzione di una anagrafe (aggiornata annualmente) presso il ministero con i nomi di docenti e ricercatori e le relative pubblicazioni

Peccato che un tale sistema di valutazione esiste, e funziona, già da anni. Il consorzio CINECA, per conto del MIUR, esegue la raccolta dati sulle pubblicazioni dei docenti e ricercatori. Se non hai scritto nulla non ti danno i soldi per i tuoi progetti. Semplice ed efficace. La commissione del Senato però è convinta di introdurre una "novità"...

I dati si raccolgono qui:

http://sitouniversitario.cineca.it/

I risultati di questa raccolta dati, della valutazione dei progetti e della conseguente concessione o meno dei fondi risultano su questo sito:

http://www.ricercaitaliana.it/index.htm

I dati del sito docente del CINECA non sono pubblici. E' necessario entrare nel sito individuale con una "password". Credo che l'idea del ministro sia di rendere pubblici gli elenchi delle pubblicazioni contenuti in questi siti. Non mi sembra un'idea completamente sbagliata. Un individuo curioso, sufficientemente esperto, potrebbe trarne un giudizio più informato sui suoi colleghi. E' quello che già succede in matematica dove esiste una banca dati completamente affidabile delle pubblicazioni matematiche e, in parte, del loro contenuto (MathSciNet della American Mathematical Society). Questo consente, ad esempio, di farsi un'idea veloce del livello dei concorrenti di cui si parla per un concorso, o dei commissari proposti. Purtroppo il problema è che il potere accademico è in grado di generare curricula esemplari. E' quello che avviene a Medicina (e in questo ambito succede purtroppo anche negli Stati Uniti) e che finirebbe per succedere in tutte le altre discipline: il capo mette il suo nome su articoli cui ha (forse) contribuito solo trovando i finanziamenti per la ricerca, e che non sarebbe in grado di illustrare con competenza. E' per questo che la apertura al pubblico della banca dati CINECA, utilissima alla comunità scientifica, e alle sue dinamiche interne (quando esistono) sarebbe poco efficace nell'attribuire o negare premi stipendiali agli anziani potenti.   

Ad ogni modo, rendere pubblico l'accesso ai dati CINECA (dove ciascun docente teoricamente dovrebbe tenere il proprio CV e l'elenco delle proprie pubblicazioni) potrebbe già essere qualcosa. E' una manovra a costo zero che intanto introduce più trasparenza. Se poi possa indurre qualcuno a preoccuparsi per la propria reputazione e, hai visto mai, a cercare di pubblicare qualcosa di tanto in tanto, questo non si sa..

Non sono sicuro che qualcuno controlli i dati del CINECA.

A quanto mi ricordo, il docente inserisce i dati nel database del CINECA, ma a parte il nome della rivista, non credo che venga fatto un controllo automatico per stabilire se è vero che esiste il tale articolo sulla tale rivista (qualcuno ne sa qualcosa?)

La trasparenza è ovviamente sempre benvenuta! Non credo ci fosse bisogno di un decreto urgente per permettere la visualizzazione della lista delle pubblicazioni di un docente, comunque. 

Fantastico! Era da tempo che volevo leggere un articolo simile.

Putroppo non solo al ministero, ma neppure al Corriere sembrano essere al corrente di quello che il buon Parnas va predicando (oppure l'autore dell'articolo e' in malafede). Non ci vuole un genio a capire che e' semplice farsi aggiungere come autore di un paper, soprattutto se sei un "barone"!

Ecco che cosa pensa la Commissione Scientifica dell'Unione Matematica Italiana, sui "parametri" per valutare la ricerca. (Mozione approvata il 22 novembre 2008)

"La Commissione Scientifica dell'Unione Matematica Italiana esprime il suo apprezzamento per il progetto del Ministero dell'Istruzione, dell'Università e della Ricerca di individuare criteri internazionalmente riconosciuti per la valutazione dei titoli e delle pubblicazioni nelle procedure comparative per il reclutamento deiricercatori e dei professori universitari. Nel recente passato criteri di questo genere erano già stati adottati in maniera autonoma dalla stragrande maggioranza delle commissioni dei settori MAT/*. Rileva però che nessun criterio basato unicamente su indicatori
 numerici di tipo statistico può sostituirsi al giudizio scientifico motivato da parte di un gruppo di esperti. In una pubblicazione esauriente e ben documentata, l'International Mathematical Union, l'International Council of Industrial and Applied Mathematics e l'Institute for Mathematical Statistics, massimi organi scientificidella comunità matematica a livello mondiale, hanno sostenuto di recente che nessun gruppo di parametri basati esclusivamente su dati bibliometrici (numero di citazioni, indice H, impact factor delle riviste su cui compaiono le pubblicazioni) può, da solo, dare risultati affidabili nella valutazione dell'attività scientifica, pur costituendo un utile elemento di giudizio.
 La Commissione Scientifica dell'Unione Matematica Italiana auspica quindi che tra i parametri che verranno individuati dal Ministero figurino, in posizione predominante, la qualità , l'originalità , il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Sulla base dell'esperienza internazionale, tali parametri non possono essere calcolati automaticamente a partire da dati statistici, ma possono essere determinati soltanto sulla base del parere di un gruppo di esperti della materia, che si assume la responsabilità del giudizio scientifico. Nel caso delle valutazioni
 comparative per il reclutamento dei ricercatori, la soluzione più naturale è affidare questo compito alla stessa commissione giudicatrice, che potrebbe, ove lo ritenesse opportuno, richiedere il parere di riconosciuti esperti internazionali."

La pensano allo stesso modo gli informatici, ma non è detto che il Ministro segua le opinioni di matematici, informatici e statistici. E' possibile che ci troveremo tra poco invischiati in "Impact Factor" e, quel che è peggio in ricorsi al TAR per negarne la validità

Concordo in pieno con il documento dei matematici e con il contenuto dell'articolo. Aggiungo solo che, a quanto mi consta, anche l'area 13 (scienze sociali) dovrebbe esprimersi in tal senso.

L'unico rischio, caro AFT, è che prevalgano a livello ministeriale le posizioni non ben ponderate dei "talebani" dell'IF. Tra i quali figura, oltre a qualcuno degli abituali frequentatori di questo blog ;-), anche quel borioso senatore (o deputato?) Marino che infesta le trasmissioni televisive sull'Università vantandosi sempre del proprio IF, come se, appunto, l'IF servisse a misurare il valore individuale di uno studioso, e non semplicemente la platea dei fruitori di una rivista, al mero scopo di orientare gli acquisti delle biblioteche.

Per quanto riguarda la ricerca l'articolo e' esaustivo, aggiungerei qualcosa riguardo alla didattica. Purtroppo che il mercato degli studenti si autoregoli in Italia e' un miraggio. Non c'e' mobilita', la cultura e' quella delle grandi famiglie allargate.  Nel ricco nord non c'e' esigenza di spostarsi (per ora), in altri casi farlo appare costoso (conviene rimanere). Alcuni non hanno soldi per vivere da soli (o credono di non averli), altri non ne hanno la mentalita' e preferiscono comprarsi un BMW da 30.000 euro restando a casa coi genitori e risparmiando su mutuo o affitto. I genitori pure hanno severe responsabilita' nel foraggiare questo sistema (seppure in buona fede). Il risultato e' che quasi tutti vanno nell'universita' piu' vicina.  Il moltiplicarsi di atenei (che hanno dato parecchi posti di lavoro) ha amplificato questo processo. Una conseguenza e' la scarsa crescita umana, l 'altra e' il fatto che il mercato e' fasullo - e fra l'altro le universita' fanno cartello quanto a qualita'. Ho studiato a Bologna, la gente si e' lamentata per anni di certi docenti o strutture. Qualcuno ha cambiato facolta' ma nessuno ha mai cambiato universita' (per non dire nazione). La Gelmini ha ragione quando dice "Diritto allo studio non e' avere l'universita' sotto casa!"

Per la cronaca: a Firenze un posto letto in camera doppia in una casa con altri 6-7 studenti ha un costo medio di 500 Euro mensili. In queste condizioni è così fuori di testa che uno studente cerchi di andare all'università più vicina a casa?

Magari frequento le compagnie sbagliate ma di studenti universitari col BMW da 30 KEuro ne ho conosciuti pochini (facciamo nessuno). La stragrande maggioranza si barcamena alla meno peggio.

Il vero problema non è la mentalità mammona (che pure esiste e fa la sua parte) ma la carenza cronica di alloggi per gli studenti e di borse di studio per i meritevoli.

Si, bene - concordo all'80% con quanto scritto nell'articolo.

Alcune osservazioni e dati di informazione.

1. Una volta, prima dell'Auditel, gli Italiani avevano ben chiara la differenza fra Indice d'Ascolto e Indice di Gradimento. Oggi, mi pare che mala tempora currunt. La valutazione dell'impatto non e' la valutazione della qualità, e perdippiu' la valutazione dell'impatto di un articolo non ha la stessa robustezza della valutazione dell'impatto di una rivista.

L'impact factor nacque come misura della valutazione d'impatto di una rivista, ad uso degli editori. La valutazione dell'impatto di un articolo mediante la misura delle citazioni di quell'articolo e' pertanto un proxy molto debole per la qualità dell'articolo medesimo. Ecco cosa afferma, in via ufficiale, l'associazione Europea degli editori di riviste scientifiche (EASE).

2. Il 18 dicembre prossimo sarà una data topica, quello della pubblicazione degli esiti del RAE 2008, il Research Assessment Exercise condotto dagli Enti finanziatori del sistema dell'istruzione superiore britannico, che distribuiscono il Fondo di Finanziamento Ordinario per conto del Governo.

Ora, tutte le valutazioni di quei prodotti di ricerca sono state fatte in forma di giudizi esperti da parte dei Pari della comunità scientifica (secondo i diversi settori). Qualcuno dei superficiali giornalisti tagliani se ne verrà fuori scrivendo che è già stato deciso che il successore del RAE, il REF, utilizzerà in gran parte criteri bibliometrici. Vero, ma bisogna spiegare bene la cosa, e soprattutto sapere a cosa serve il RAE.

Quegli Empiristi figli di Empiristi degl'Inglesi hanno fatto un esercizio di comparazione fra gli esiti delle valutazioni "umane" dell'ultimo RAE e quelli risultanti da una interpolazione dei risultati ottenuti attraverso i dati bibliometrici. Ci hanno trovato una convergenza del 97-98%. Ma qui si sta parlando di Unità di Valutazione che corrispondono ad aggregati di parecchie pubblicazioni, corrispondenti alle diverse Aree di Ricerca sotto esame per ogni istituzione (per i settori scientifici stiamo parlando di 4 pubblicazioni per persona....), e quindi il ragionamento fatto è stato, in modo utilitaristico: chi ce lo fa fare di continuare a spendere tempo e soldi in questo modo se per i settori scientifici l'esito è più o meno uguale, e noi siamo interessati solamente a valutare le Aree di ricerca per ripartire i finanziamenti fra le varie istituzioni?

Insomma, per la valutazione dei singoli ricercatori/docenti lin UK la prerogativa di ciascuna Università è fuori discussione, e qualunque imposizione dall'alto sarebbe non solo impensabile ma anche risibile, in base all'autonomia e alla concorrenza fra le singole istituzioni.

3. Tuttavia, qui nel continente lo statuto giuridico di funzionario pubblico (bleaah!) e la mancanza di responsabilità e di cultura della valutazione nelle singole Università fa sì che ogni tentativo di introdurre metodi e criteri di valutazione vada visto con benevolenza. Naturalmente sarebbe preferibile (a) cercare di mettere in campo un RAE/REF fatto bene, il che significa anche tutta una serie di misure al contorno, (b) ricordarsi che deve esistere non solo il finanziamento alle istituzioni, ma anche quello ai progetti di ricerca, da organizzare e finanziare per bene, anch'esso.

Per una specie di "accreditamento" a livello nazionale che può essere preso a modello eventualmente in Italia, consiglio il modello catalano

RR

 

Questo articolo è contenuto nel DDL di conversione del Decreto Gelmini, stamane approvato dal Senato ed ora in viaggio verso la Camera.

Art. 1-bis.

(Disposizioni in materia di chiamata diretta e per chiara fama nelle università)

        1. Il comma 9 dell'articolo 1 della legge 4 novembre 2005, n. 230, è sostituito dal seguente:

        «9. Nell'ambito delle relative disponibilità di bilancio, le università possono procedere alla copertura di posti di professore ordinario e associato e di ricercatore mediante chiamata diretta di studiosi stabilmente impegnati all'estero in attività di ricerca o insegnamento a livello universitario da almeno un triennio, che ricoprono una posizione accademica equipollente in istituzioni universitarie estere, ovvero che abbiano già svolto per chiamata diretta autorizzata dal Ministero dell'istruzione, dell'università e della ricerca nell'ambito del Programma di rientro dei cervelli un periodo di almeno tre anni di ricerca e di docenza nelle università italiane e conseguito risultati scientifici congrui rispetto al posto per il quale ne viene proposta la chiamata. A tali fini le università formulano specifiche proposte al Ministro dell'istruzione, dell'università e della ricerca il quale concede o rifiuta il nulla osta alla nomina previo parere del Consiglio universitario nazionale. Nell'ambito delle relative disponibilità di bilancio, le università possono altresì procedere alla copertura dei posti di professore ordinario mediante chiamata diretta di studiosi di chiara fama. A tal fine le università formulano specifiche proposte al Ministro dell'istruzione, dell'università e della ricerca il quale concede o rifiuta il nulla osta alla nomina, previo parere di una commissione, nominata dal Consiglio universitario nazionale, composta da tre professori ordinari appartenenti al settore scientifico disciplinare in riferimento al quale è proposta la chiamata. Il rettore, con proprio decreto, dispone la nomina determinando la relativa classe di stipendio sulla base della eventuale anzianità di servizio e di valutazioni di merito».

        «9-bis. Dalle disposizioni di cui al comma 9 non devono derivare nuovi oneri a carico della finanza pubblica.».

Qui si trova il testo completo del provvedimento in discussione al senato. E' ribadito piu' volte che si tratta di una misura temporanea in attesa di una riforma seria. Non so ne' cosa si intenda per riforma seria, ne' perche' ci sia bisogno di queste misure temporanee.

Caro Ministro. L'unica cosa che può funzionare è che ogni docente venga valutato dalla sua stessa Università. Se l'Università riceve i fondi soprattutto in base alla valutazione scientifica della ricerca; e se ogni Università ha libertà di stabilire il livello del compenso dei suoi docenti; i docenti migliori andranno naturalmente dove c'è più possibilità di veder riconosciuta la loro professionalità, e riceveranno naturalmente uno stipendio più alto. L'Università potrà decidere se valutare di più le capacità di fund-raising, o la capacità di creare un gruppo, oppure la produzione scientifica. Il sistema si autoregol

sebbe questa sia la situazione logisticamente piu' semplice perche' permette di fare valutazioni sulla carta una volta anziche' due, non sposta il problema di una virgola: rimani sempre col problema di dover giudicare chi ha fatto cosa e di decidere il flusso di soldi e risorse in base a quel giudizio. Semplicemente giudichi un dipartimento invece che il singolo ma il succo non cambia e non cambiano i possibili sotterfugi per aggirare la legge.

Al momento la commissione al senato ha aggiunto tre emendamenti:

 

  1. il rettore deve scrivere un rapporto annuale che dimostri che l'universita' ha fatto qualcosa. Fuffa pura. Assolutamente inutile. Una burocratata demagogica.
  2. Si istituisce l'anagrafe dei ricercatori. C'e' gia'. Come sopra.
  3. si aggancia il 50% degli scatti di anzianita' alla produttivita'.
Sul punto 3 secondo me c'e' una base per fare qualcosa di buono. All'interno di un sistema centralizzato, e' assolutamente e moralmente necessaria una cosa del genere. Certo, bisognera' controllare che venga fatta con criterio e non con demagogia. Prendiamo il campo medico/biologico (che e' quello che incide di piu' in termine di pecunia, mi sa).   Nel campo medico/biologico, ogni pubblicazione e' firmata da un numero imprecisato di autori. E' prassi accettata in tutto il mondo che gli autori che contano di piu' siano 2: quello che si firma per prima e quello che si firma in ultima posizione. Il primo di solito e' quello che ha fatto tutto il lavoro, l'ultimo ha avuto l'idea iniziale/trovato i fondi. Gli altri in mezzo hanno contribuito molto/poco/tanto/si sono imbucati. Si potrebbe quindi contare, ai fini degli aumenti di stipendio, soltanto i lavori in cui il professore figura come ultimo nome e non contare tutti gli altri lavori. Inoltre, si potrebbero contare soltanto i lavori che sono usciti su riviste con un impact factor (*) che superi una certa soglia limite. tutto questo, almeno nel campo medico/biologico quasi ridurrebbe a zero il rischio di avere classifiche truccate. Nota bene che questi sono i criteri che vengono utilizzati dalle grandi organizzazioni internazionali quando devono assegnare borse e fondi. non si tratterebbe di re-inventare la ruota. Insomma le misure bibliometriche possono essere uno strumento eccellente se utilizzate con criterio.    (*) nota che se tieni in considerazione l'IF di una rivista invece che del singolo lavoro, di fatto stai delegando alla rivista il compito di stimare l'IF futuro di quel lavoro (perche' le riviste cercano di non accettare lavori che a loro giudizio avranno un IF inferiore alla loro media). Questo ti risolve il problema di avere lavori recenti senza citazioni.

 

Guarda Giorgio che il Senato ha già licenziato definitivamente il ddl, da stamane! L'hanno detto pure al TG! Ora passa alla Camera.

Non mi diventerai mica come il Corriere della Sera??

ah, non lo sapevo. mi sono svegliato due ore fa. qui e' festa. allora sara' la solita demagogia. bene.

Caro Giorgio, utilizzare indici bibliometrici su una istituzione nel suo compleso è molto più sensato che utilizzarli per rilevazioni puntuali su un singolo ricercatore. In qualche modo, i problemi che ho elencato nell'articolo tendono a essere meno rilevanti su un grande numero di pubblicazioni su settori anche diversi e di diversi ricercatori, perché vengono mediati da tanti altri fattori. Difficile che i trucchi di cui sopra si riescano ad effettuare su larga scala (per esempio a livello di dipartimento). 

Inoltre, quasi nessuno al mondo fa valutazione di un dipartimento intero utilizzando esclusivamente indici bibliometrici. Semmai in molte università (anche in alcuni dipartimenti di Università italiane, come ad esempio al Politecnico di Milano, o a Scienze dell'Informazione a Pisa) si mette su un "panel" di esperti internazionali che valuta la ricerca dell'intero dipartimento, magari anche utilizzando e integrando gli indici bibliometrici.Tali esperti saranno sicuramente in grado di valutare se sono stati utilizzati mediocri trucchi, e se la ricerca è di alto, medio o basso livello.

Il già citatissimo RAE inglese è un esempio di valutazione di questo tipo a livello nazionale (se non sbaglio viene fatto ogni 5 anni).

E comunque, uno dei punti focali del mio articolo è il fatto che valutare la ricerca di un singolo professore in questo modo è controproducente, oltre che inutile. Pensa a questo: dato che devo portare la pagnotta a casa, che ho una famiglia da sfamare, il mio primo pensiero da docente sarà pubblicare qualcosa. Qualunque cosa che mi permetta di raggiungere l'obiettivo di ottenere lo scatto. Se ho un bellissimo lavoro che potrei inviare su Nature, ma ad altissimo rischio (perché ci devo buttare sangue per un anno, e poi magari me lo segano), sicuramente preferirò prima portare a casa il risultato dello scatto di stipendio, pubblicando cavolatine incrementali, e poi semmai mi metterei a lavorare al lavoro della mia vita. 

Così facendo si incoraggia la produzione di ricerca mediocre. Per colpire (forse) qualche barone (a cui magari basterà firmare una cavolata qualsiasi per raggiungere lo stesso lo scopo), rischio di "rovinare" l'attitudine degli altri bravi ricercatori. Non mi sembra una buona mossa.

dimenticavo: purtroppo l'IF di una rivista è un indice significativo solo in alcuni campi (ad esempio scienze biologiche) ma non in tutti.

Non oso immaginare come faranno con giurisprudenza o scienze politiche.

Non oso immaginare come faranno con giurisprudenza o scienze politiche.

Hai centrato perfettamente la questione. Il motivo del mio scetticismo nei confronti di IF e c., oltre a quelli da te giustamente sottolineati, ma che in fondo potrebbero risolversi con un po' di buon senso (vedi appunto il RAE inglese), sta proprio qui. Nei settori privi di IF non ci sarà altra soluzione che il ricorso alla massima ed incontrollata discrezionalità. Col bel risultato di aver imposto via IF dei rigidi ed inutili paletti alle discipline scientifiche (con i rischi di distorsioni che bene evidenzi), cioè proprio a quelle discipline relativamente "serie", dove in fondo i problemi di valutazione sono inferiori proprio perché il riferimento alla letteratura internazionale è in re ipsa. Mentre le discipline, come definirle?, "letterarie" resteranno preda del business as usual per impossibilità oggettiva di utilizzo degli strumenti bibliometrici.

Io la mia proposta, limitatamente al solo aspetto della valutazione, l'ho fatta a suo tempo qui. Tuttora non riesco a pensare (presunzione?) ad un compromesso tra le varie discipline che sia migliore di quello e allo stesso tempo concretamente implementabile. 

Aggiungo un'idea di business per chi volesse far un po' di soldini. Lanciare un IF italiano delle riviste "letterarie" italiane (incluse quelle storiche, filosofiche, giuridiche, ecc.). E poi stipulare un bel contrattino di consulenza con il MIUR. Nel caso funzioni, reclamo una percentuale da devolvere al potenziamento di nFA! 

Ciao Nicola

forse il fatto che entrambi insegniamo economia in una facoltà di Giurisprudenza ci ha fatto venire pensieri simili..

Dunque, per quanto riguarda le discipline giuridiche, mi hanno spiegato che più o meno funziona così: per diventare ricercatore serve una "monografia", per diventare associato e ordinario ne servono almeno due. Nelle discipline giuridiche mi pare sostanzialmente inesistente il provare a pubblicare su riviste internazionali. Questo è in parte comprensibile, avendo il diritto una dimensione "nazionale" piuttosto rilevante (le "fonti" credo siano diverse da paese a paese, e chessò, se devo discutere l'ultima legge finanziaria italiana non credo di potere interessare i colleghi spagnoli). Ma siamo sicuri che l'unico modo di procedere sia quello attualmente seguito in Italia?

Io non ne sono del tutto convinto.

1) per alcuni ambiti del diritto, di certo esiste una comunità internazionale di riferimento (diritto comparato, diritto internazionale, filosofia del diritto e credo in parte il diritto penale).

2) Gli studiosi italiani di queste discipline si confrontano con la comunità internazionale? A me pare non particolarmente. Parlando con una giovane collega penalista le avevo chiesto se, una idea che le avevo sentito presentare su una nuova tipologia di reato di criminalità organizzata, non potesse essere presentata anche su una rivista internazionale (d'altro canto il crimine organizzato non esiste solo in Italia). Questo non avrebbe contribuito al suo CV? Lei mi ha detto che un articolo del genere, anche se pubblicato, avrebbe potuto essere poco valutato in Italia, per il ragionamento secondo cui essendo lei di formazione italiana ed essendo gli eventuali valutatori non italiani, che ne sapevano loro della legge italiana?

3) E' del tutto vero che il vero, unico format per presentare un contributo originale in materia giuridica sia la monografia? Questo non lo so. Sappiamo però che, per pubblicare un libro, almeno in Italia, spesso bastano buoni rapporti con la casa editrice. Per le case editrici non ci sono impact factor, immagino. Ma penso anche che tra un libro su Oxford University Press e uno su "Premiata Stamperia Formichetti" non sia difficile giuidicare. Così come, fra un libro per il quale l'autore ha pagato la casa editrice e un libro per il quale non sia stato versato niente, non sia così difficile.

4) Infine, mi risulta anche che, nelle riviste di diritto almeno in Italia, non venga praticato il referaggio (ho dovuto spiegare ad un collega come funzionava).

In sintesi, anche se la cosa potrebbe essere più difficile che per una materia come l'economia, penso che qualcosa in più dell'esistente si possa introdurre per valutare meglio i prodotti delle scienze giuridiche.

PS quanto ho scritto si basa su una conoscenza non al 100% delle questioni. Un giurista (Axel Bisignano?) potrebbe forse precisare quanto ho scritto.

 

 

I miei 2 centesimi sul tema.
Se la domanda è come valutare i professori, la risposta per me è semplice: "come si valuta qualsiasi altro lavoratore".

I sistemi di valutazione in azienda sono basati sulla definizione di obiettivi da raggiungere, concordati e discussi con l'interessato, e sul grado di raggiungimento degli stessi nel periodo prefissato. La valutazione è quindi un processo locale che parte dal basso e sale lungo la catena gerarchica (anche i capi saranno valutati dai loro capi) dipartimento per dipartimento.

Compito di un ministero, se vogliono sistemi di valutazione dei loro dipendenti, sarebbe quello di stabilire criteri comuni e gli opportuni controlli.

Dubito che il criterio unico sia quello di valutare la produzione bibliografica. Puo' essere uno dei tanti criteri ma il cardine di tutto è che una organizzazione (privata o pubblica che sia) per essere tale ha degli obiettivi e deve raggiungerli con l'intervento di tutti coloro facenti parte l'organizzazione stessa. A tutti i collaboratori devono essere assegnati obiettivi (oggettivi e raggiungibili, ovviamente questo va concordato) e poi occorre verificare periodicamente in che misura sono stati raggiunti. In caso negativo occorre capire se questo è dovuto al singolo lavoratore oppure a disfunzioni del team o dell'organizzazione e vedere come si è cercato di risolvere questi problemi.

Questo meccanismo ha il pregio di migliorare sia il singolo (che scopre le sue carenze e cerca di superarle) sia l'organizazione intera. Credo che con opportuni adattamenti possa andare bene in una fabbrica di automobili, in una banca, in una università.

Ciao,

Francesco

 

 

Quello che proponi tu è esattamente quello che propone Roberto Perotti (e il sottoscritto con lui): il ministero valuti le università secondo i suoi obiettivi. Le università valutino i professori secondo i loro obiettivi. Perotti dice anche che oltre al ministero dovrebbero essere gli studenti a valutare le università: alzando le rette, uno studente ci penserà di più prima di scegliere una università, e le università si metteranno in competizione per attirare buoni studenti (e così si valuta anche la didattica). Insomma, facciamo che sia il mercato a valutare le università dal punto di vista della didattica, e il ministero e i privati per quanto riguarda la ricerca.

In ogni caso, sembra davvero assurdo che il ministero valuti direttamente i professori. Perché non ha senso, perché non possono essere tutti Einstein, perché non sono chiari gli obiettivi  che si perseguono, perché si introducono distorsioni notevoli, perché per farlo bene sarebbe troppo costoso, e chi più ne ha più ne metta.

Evidentemente, al ministero la pensano diversamente da noi. 

il ministero valuti le università secondo i suoi obiettivi. Le università valutino i professori secondo i loro obiettivi.

Hai detto niente. Il punto, per dirla in breve, è che oggi le università "hanno tutte lo stesso obiettivo" e i professori "tutti gli stessi doveri (e diritti)". Il Ministero, d'altra parte, non ha molto chiari i propri obiettivi - a parte dar da mangiare a 500 persone là dentro.

RR

 COncordo con lo spirito dell'articolo di Lipari. Meglio giudicare i dipartimenti. Ma meglio che niente anche la valutazione individuale. Ciò detto, tre punti

i) in Italia abbiamo un simil-RAE, il CIVR. Ha funzionato benino perchè non è stato preso sul serio. Potremmo iniziare ad usarlo - e magari rifarne uno nuovo

ii) in Spagna fanno le valutazioni individuali per gli scatti di stipendio, con una commissione nazionale e valutazioni biennali. Io mi occupo di storia economica, materia notoriamente bastarda. Alcuni dei miei amici si presentano alla commissione di storia ed altri a quella di economia. Risultato: a storia passa il 90% ad economia il 25% ...

iii) almeno alcuni "letterati" italiani stanno provando a fare un ranking di riviste e case editrici (italiane). So per certo della SISSCO (storici contemporanei), ma anche altri settori ci stanno lavorando. Sempre meglio che il puro arbitrio.. 

 

Finalmente!!!!! Grazie per questo intervento, era ora di dire cose sensate! finiamola di contare paper inutili, ci sono stato anch'io alle riunioni degli editor dove si dice citiamoci! è facile applicare la critica di Lucas alle politiche monetarie, ma a se stessi.... e se uno è avanti di trent'anni -e ne conosco- nessuno lo cita, e magari nemmeno lo pubblica, è colpa sua se è un genio??? se un matematico sta 10 anni a dimostrare un teorema, e magari non ce la fa, che deve fare? è socialmente inutile? lo sbattiamo in mezzo a una strada? per carità, senza nessun controllo si generano le distorsioni che conosciamo bene, ma la violenza integralista con cui si portano avanti certi argomenti è insopportabile. francamente vedere l'on. Cota sventolare il libro di Perotti mi ha fatto venire i brividi. 

 

Com'è 'sta storia di tale MP Cota? E' qualcosa che va saputo o è meglio evitare per non innervosirsi?

Niente di speciale. L'ho visto girare in tivù sbadierando il libro di Perotti, con gli argomenti che è facile immaginare. Io non penso che fosse nelle intenzioni dell'autore farsi strumento di questi politici, ma tant'è. Vedo montare una voglia incontenibile di roghi di immigrati, e di libri (le due cose vanno sempre insieme) ma sicuramente sono io che sbaglio.

Concludo il mio pensiero sulla valutazione della ricerca. in ogni test sono possibili 2 errori: valorizzare un ricercatore scarso e segarne uno valido. Il sistema va tarato a seconda dell'errore che ci preme evitare. Dal mio punto di vista, perfettamente opinabile, l'errore socialmente più grave è il secondo. Come -secondo me- ha persuasivamente argomentato Kuhn, la ricerca si basa sul conformismo: sarebbe impossibile metterci tutti i giorni a ridiscutere i fondamenti delle nostre discipline. Quando però arriva il vero innovatore, la reazione dell'establishment scientifico è rabbiosa. Non è facile, non è per niente facile, vedere uno sbarbatello che arriva e dimostra che hai passato la vita a inseguire un'ombra...

Anche per me valutazioni draconiane rallenterebbero il progresso scientifico: niente quanto la ricerca è fatto della stessa materia dei sogni, e un ricercatore cos'altro fa se non... sognare.

Adios

se un matematico sta 10 anni a dimostrare un teorema, e magari non ce la fa, che deve fare? [...] lo sbattiamo in mezzo a una strada?

Direi di sì. La mia esperienza di ricerca scientifica mi dice che se qualcuno passa 10 anni su un dato argomento senza produrre risultati intermedi allora c'è qualcosa che non va. Certo, quando Andrew Wiles ha passato 7 anni in clausura a dimostrare l'ultimo teorema di Fermat ha deciso (decisione sua) di tenere segrete tutte le scoperte intermedie fatte. Tuttavia i risultati intermedi c'erano e, se avesse voluto, avrebbe potuto ottenere delle ottime pubblicazioni.

Sebbene io sia relativamente "giovane" di vicoli ciechi ne ho beccati parecchi (come tutti del resto). Ci perdi due o tre mesi, ti arrabbi perché l'idea sembrava buona, impari quello che c'è da imparare e non pubblichi niente perché non c'è nessun risultato da pubblicare. Poi vai avanti. Se ti ci incastri per 10 anni senza risultati allora i soldi per la tua ricerca fanno bene a darli a qualcun altro.

Prima cosa: ogni sistema di valutazione soffre di qualche difetto. Alcuni sono peggio di altri, non vi è dubbio alcuno e tutti i sistemi di valutazione possono essere manipolati. Questo implica, forse, che è meglio rinunciare a qualsiasi forma di valutazione e lasciare che tutto proceda come procede ora? Non credo. Alcuni interventi, puramente negativi, sembrano suggerire questo e la cosa mi rende sospetto. Condivido le critiche fatte al "impact factor" puro e semplice, è altamente manipolabile e misura quantità invece che qualità, oltre a creare incentivi per scrivere tanto ed un po' a caso, cercando di farsi citare. Ma, di nuovo, non sarebbe il caso di usare un insieme di criteri diversi, prendendo poi delle ragionevoli medie? Insisto: chi critica l'idea di usare classifiche, ha qualche proposta alternativa?

Seconda cosa: questo dibattito, come altri, suggerisce che voler imitare il "mercato" (non nel senso del mercato dove si compra e si vende ma del mercato dove la gente compete e gli adetti ai lavori giudicano con criteri di merito e rischiando in proprio nel momento in cui esprimono un giudizi) attraverso commissioni più o meno burocratiche non porta molto lontano. Condivido. Lasciamo quindi fare al mercato. Perché non riconoscere che, alla fin fine, il metodo più ragionevole è quello che lascia che le università competano per le risorse (sia pubbliche che private) e che all'interno delle università i dipartimenti e le scuole competano a loro volta? Perché la soluzione deve sempre e per forza essere un altro regolamento, un'altra commissione, un altro conteggio/esame/concorso amministrati più o meno centralmente? Cosa c'è di fondamentalmente sbagliato con la pura e semplice competizione scientifica? Non capisco.

Insisto: chi critica l'idea di usare classifiche, ha qualche proposta alternativa?

Intanto: le classifiche si possono fare - con tutta una serie di warning e caveat. Bisogna capire di che cosa, da chi, con quali scopi,... insomma il concetto di classifica non è di per sè - ovviamente - da buttare nella pattumiera della Storia (come altri concetti, invece).

Quello che si fa presente è che il giudizio esperto rimane, oggi e in futuro, la strada maestra per costruire delle classifiche che abbiano rilevanza pubblica (o con simile responsabilità verso terzi), e che non esiste un sostituto matematico per la giustizia (o la bellezza, e nemmeno per la verità). Poi, con calma, vi racconto anche quello che abbiamo deciso di fare in Europa.

Perché la soluzione deve sempre e per forza essere un altro regolamento, un'altra commissione, un altro conteggio/esame/concorso amministrati più o meno centralmente? Cosa c'è di fondamentalmente sbagliato con la pura e semplice competizione scientifica? Non capisco.

Anch'io mi sono chiesto spesso come mai la comprensione del concetto di regola o norma sia così scarsa da parte dei liberisti-mercatisti. Ad esempio leggendo il libro di Perotti questa cosa veniva fuori in maniera drammatica, direi quasi angosciante. Non è vero che il mondo anglosassone sia scevro di regolamenti, commissioni, conteggi/esami/concorsi come talvolta si vaneggia - quello che cambia sono i ruoli, le responsabilità, gli ambiti, le attribuzioni, l'entità promulgatrice e ANCHE il senso etico.

Un solo esempio, ora: il concetto di concorso: le cose ridicole che si scrivono in Italia sull'"abolizione dei concorsi" fanno tenerezza. Cum-curro vuole dire correre assieme, cioè competere, gareggiare, per un certo risultato che selezionerà un vincitore (o più, con gradi) fra i concorrenti. In questo senso in Italia i veri concorsi sono pochi: si sa già in partenza chi dovrà essere il vincitore. Invece nel modo anglosassone se si fa una opening, una selection procedure, è appunto perchè non si sa chi sarà il vincitore, e si vuole scoprire chi possa essere il migliore, il più adatto fra gli applicants per una posizione. Quindi chi vuole copiare il mondo anglosassone dovrà chiedere più concorsi, non meno.

Non so se ben mi spiego. Purtroppo noi abbiamo i Giavazzi e gli economisti Bocconiani, ad opporsi al sistema...

RR

il metodo più ragionevole è quello che lascia che le università competano per le risorse

Un solo, piccolo, appunto: è necessario prevedere meccanismi che devolgano una parte (magari piccola ma non nulla) delle risorse a ricerche che non siano "all'ultima moda". Altrimenti rischiamo che tutti i soldi vadano a ricerche in campo nano-bio-medicale e venga completamente abbandonata la geologia.

N.B. non mi occupo né di ricerche bio-mediche né di geologia. Gli esempi sono solo esempi.

Lasciamo quindi fare al mercato. Perché non riconoscere che, alla fin
fine, il metodo più ragionevole è quello che lascia che le università
competano per le risorse (sia pubbliche che private) e che all'interno
delle università i dipartimenti e le scuole competano a loro volta?
Perché la soluzione deve sempre e per forza essere un altro
regolamento, un'altra commissione, un altro conteggio/esame/concorso
amministrati più o meno centralmente? Cosa c'è di fondamentalmente
sbagliato con la pura e semplice competizione scientifica?

 

Per le risorse private sono d'accordo. Il privato decide come investire i suoi soldi dove e come gli pare. Sceglierà una o piu' università ed il criterio sarà basato su vari fattori, anche arbitrari. Deve renderne conto eventualmente ad un consiglio di amministrazione, agli azionisti. Se sbaglia qualcuno verrà rimosso (forse).

Nel pubblico le cose non sono proprio cosi'. Dovendo elargire risorse ad una sessantina di università, dovrebbe cercare un criterio oggettivo, per evitare abusi dei funzionari o critiche di parzialità. Ecco che spuntano criteri, analsi, commissioni e tutto l'armamentario. Soprattutto se l'ente pubblco erogatore è unico in tutto il territorio e questo è vasto.

Io ritengo pero' che una via di fuga ci sia, suddividendo il territorio e sottraendo quindi al livello centrale il compito di elargire fondi alla scuola ed all'università. Piu' piccolo è un territorio (diciamo provinciale o comunale per le città piu' gandi) e minore è la possibilità che due università uguali risiedano nella stessa giurisizione. Dovendo finanziare, per esempio, una università di psicologia (e non 27) il compito per l'ente pubblico locale è piu' semplice. Stabilirà una chiave, sulla base delle sue risorse fiscali ma difficilmente l'ente pubblico potrà essere accusato di parzalità, visto che c'è un solo oggetto di quel tipo da finanziare. Se i soldi non bastano aumenta le imposte o sottofinanzia l'università, imponendo loro risparmi o il ricorso ai fondi privati. In ambito federalistico se una giurisdizione aumenta troppo le imposte, per finanziare progetti universitari faraonici, ricade nel concetto di mercato, perchè imprese e persone fisiche possono decidere di stabilirsi altrove, in un luogo vicino, dove si paga di meno. In Svizzera per esempio le università sono cantonali, tranne i due politecnici di Zurigo e Losanna, che sono federali. La decisione di finanziare le università quindi non è unica (presa nella capitale) ma plurima, condotta in 26 cantoni ed anche a livello federale.

Sembra piu' complesso ma non è cosi', tanto che in Svizzera, per chi non lo sapesse, non esiste il ministero della pubblica istruzione (non è un compito federale ma è espressamente assegnato ai cantoni nella Cost.) ma ci sono 26 "ministeri" cantonali che finanziano scuole ed università nel proprio cantone. Malgrado l'assenza del ministero (e ella rispettiva burocrazia) il sistema scolastico ed universitario svizzero è ben messo, sia per il PISA, sia come numero di università presenti nelle classifiche dei migliori atenei del mondo.

Ciao,

Francesco

Caro Ministro. L'unica cosa che può funzionare è che ogni docente venga valutato dalla sua stessa Università. 

Condivido sostanzialmente quello che hai scritto, tuttavia deve essere chiarito che nel contesto attuale questo avviene gia' e non funziona accettabilmente.  Occorre valutare gli Atenei in maniera piu' incisiva, ma nemmeno questo e' sufficiente, a mio parere, perche' nel contesto italiano gli organi di governo degli Atenei sono elettivi. Con organi elettivi, ci sono solo due possibili situazioni di equilibrio compatibili con la mentalita' italiana prevalente: la prima e' la distribuzione a pioggia dei giudizi positivi e relativi benefici, la seconda formazione di una cosca maggioritaria intorno alle facolta' col maggior numero di docenti che poi spartisce le risorse al suo interno in base a vincoli feudali di fedelta', sottraendole ai meno organizzati e/o perdenti senza alcun criterio di merito.

Ho l'impressione che negli USA ci sia la capacita' di valutare i singoli docenti perche' chi determina il loro stipendio in ultima analisi non sono organi elettivi di colleghi, ma un CdA sostanzialmente indipendente che si occupa di fare un'analisi dei costi e dei risultati dell'universita'.  Forse i nostri colleghi americani possono darci qualche dettaglio in piu', in particolare mi piacerebbe conoscere come vengono determinati gli organi di governo delle universita' statali, perche' questo e' il punto critico da esaminare in Italia: se il CdA per non essere in conflitto di interesse con gli accademici viene determinato dai politici mi aspetto un peggioramento rispetto al gia' non edificante livello attuale delle pratiche universitarie.

Sarebbe interessante inoltre sapere se in UK, dove il sistema universitario e' sostanzialmente statale, lo Stato si limita a valutare universita' (e forse dipartimenti) oppure arriva a valutare e differenziare la retribuizone dei singoli docenti.

Caro Ministro. L'unica cosa che può funzionare è che ogni docente venga valutato dalla sua stessa Università. 

Condivido sostanzialmente quello che hai scritto, tuttavia deve essere
chiarito che nel contesto attuale questo avviene gia' e non funziona
accettabilmente.

Caro Alberto, non ho capito cosa avviene già. Cioè se ti riferisci alle Università che valutano i docenti, oppure al governo che valuta le Università. In realtà avvengono già entrambe le cose, per lo meno in alcune Università più al passo con i tempi si fa valutazione interna, e si distribuiscono i fondi di ricerca interni in base ai risultati della valutazione (con tutte le limitazioni del caso). Naturalmente le università non possono ancora intervenire sugli stipendi dei professori (per fortuna direi). Anche a livello nazionale, il governo ha nel passato valutato le università con il CIVR, ancora una volta con tutti i limiti del caso, ma non ha poi avuto il coraggio di portare avanti la cosa fino alla conseguenza più ovvia (ovvero ditribuire l'FFO in base ai risultati). Quindi, non è che siamo a zero: qualcosa è stato fatto, e si può partire da li per andare avanti. Solo, è molto importante manovrare le leve giuste! Se fai la valutazione, ma poi non ha modo per dare il "feedback" giusto, la valutazione è inutile. Questo mio post voleva solo dire: state attenti a quali leve si manovrano; e, dato che è complicato valutare un docente, lasciamolo fare a chi può farlo meglio di tutti, ovvero alla sua stessa Università. Nel sistema che propone Perotti (e io sono d'accordo con lui) non c'è bisogno di una valutazione centralizzata di ogni docente, sarebbe anzi una inutile complicazione!

Riguardo agli organi di governo dell'Università, non sono un esperto e non sono sicuro di quali siano le interazioni tra il problema della governance e il problema della valutazione e dei premi collegati.
Quello che posso dire è che un modello senato accademico (con il rettore) affiancato da un CdA (con un Presidente) sembra, a un profano come me, essere abbastanza efficace.Il senato di occupa soprattutto degli aspetti accademici; il CdA si occupa dei piano di sviluppo a lungo termine, degli aspetti economici (budget consuntivo e preventivo, controllo delle attività "in the large", valutazione dei risultati economici). Insomma, a ognuno il suo lavoro. Secondo me i rettori in quanto accademici puri non sono necessariamente i più adatti a gestire i soldi. Senza contare che certe mafie (tipo quella dei medici) ottengono il rettore con sicurezza e facilità quasi disarmante. 

Poi sorge il problema di chi va nel CdA: secondo me il presidente deve essere comunque un accademico, e ci vogliono poi alcuni altri pochi accademici dentro (max altri 2). Ma poi ci vogliono altri elementi (per esempio un rappresentante dal ministero, anche un politico locale perché no, e volendo anche qualcuno da un'azienda o da un ente privato che magari finanzia già l'Università). Secondo me gli accademici devono stare in minoranza nel CdA.

Poi, il problema delle "pastette" politiche nella distribuzione dei fondi pubblici: secondo me sono inevitabili quando ci sono fondi pubblici da distribuire e interessi economici forti. Si possono mitigare, ma non evitare completamente, purtroppo. Non credo che inventeremo mai il sistema perfetto in questo senso! Un modo per mitigarli secondo me è la trasparenza e la pubblicazione di tutti le fasi della valutazione: quindi se una Università risaputa per essere molto scarsa becca un'ottima valutazione il sospetto di pastetta sarà molto evidente e facilmente verificabile andando a controllare tutti i documenti relativi, magari messi on-line.

Sarebbe interessante inoltre sapere se in UK, dove il sistema
universitario e' sostanzialmente statale, lo Stato si limita a valutare
universita' (e forse dipartimenti) oppure arriva a valutare e
differenziare la retribuizone dei singoli docenti.

A quanto mi dicevano tutte le università in UK sono fondazioni quindi ritengo piu' verosimile che ogni università valuti il proprio corpo docente con criteri simili a quelli che proponi. Sono pero' curioso di sapere in presa diretta come vanno le cose la e come sono organizzate queste fondazioni. Per esempio se sono di diritto privato o se sono di diritto pubblico.

Ciao Francesco

A quanto mi dicevano tutte le università in UK sono fondazioni quindi ritengo piu' verosimile che ogni università valuti il proprio corpo docente con criteri simili a quelli che proponi. Sono pero' curioso di sapere in presa diretta come vanno le cose la e come sono organizzate queste fondazioni. Per esempio se sono di diritto privato o se sono di diritto pubblico.

In UK non esiste distinzione fra diritto privato e diritto pubblico: c'è solo 1 diritto - privato, se vogliamo. Cioè: non c'è la Giustizia Amministrativa, distinta da quella Ordinaria, e anche un ente pubblico sta in giudizio con il proprio rappresentante legale come qualsiasi altra persona giuridica.

Le Università in UK sono tutte fondazioni: a nessuno verrebbe in mente di farne delle Pubbliche Amministrazioni, a pena di essere rincorso con i forconi da turbe inviperite di cittadini. Perfino nell'unico caso in cui fu lo Stato a decidere l'istituzione di una Università, l'Open University, nel 1973, la costituì come fondazione e non come Amministrazione Pubblica.

Un interessante esempio di come l'Università-Ente-fornitore-di-servizi sia sottoposta al giudizio di Corti indipendenti è quello relativo ai ricorsi degli studenti: vedasi il sito dell'Office of the Independent Adjudicator per tutte le spiegazioni, che ometto quivi.

RR

 

Sul RAE, ho appena avuto modo di chiedere a un professore inglese (University of York), perché sto partecipando a una conferenza in questo momento. Mi ha detto le seguenti cose:

a) i professori (che sono in UK solo il grado più alto, circa il 5% di tutto il corpo docente) hanno la possibilità di contrattare il proprio stipendio con l'Università. Gli altri (lecturer, senior lecturer, etc.) no, hanno lo stipendio fissato a livello nazionale. La contrattazione però avviene sul "livello di ingresso" di un nuovo docente: non esistono concorsi, l'Università assume chi vuole, al livello che gli pare. 

Fino a professore escluso, si può salire di livello (cioè fare carriera internamente). Il sistema dei premi quindi è basato sul fatto che se non sei "buono" non ti fanno avanzare per esempio da lecturer a senior lecturer. TUtti però hanno la "tenure", ovvero sono assunti a tempo indeterminato, e nessuno può essere cacciato senza un motivo. Non so come si faccia a diventare professore, però (ho scordato di chiederglielo).

b) il RAE viene fatto ogni 5 anni. E' stato fatto 3 volte fin'ora. Ogni dipartimento viene valutato da esperti nazionali, per la maggior parte (cioè altri professori, molto ben conosciuti e ben rispettati a livello nazionale e internazionale, quindi quasi al di sopra della parti), e pochi esperti internazionali. Lui non considerava un problema il conflitto di interessi (tipo valuto male l'università X perché nemica dell'università Y dove lavoro io). Semmai l'ultima volta è stato un bagno di sangue perché hanno cambiato le regole, ed invece di valutare tutto il dipartimento per assegnargli un voto unico, l'ultima volta hanno valutato ogni singolo docente, e il dipartimento beccava la media dei voti dei docenti.

Questa cosa è risultata costosissima e lunghissima (quasi un anno di lavoro!). Il governo ha già fatto sapere che la volta prossima utilizzarà metodi bibliometrici e basta. La qual cosa ha provocato una mezza rivoluzione, e il governo è parzialmente tornato indietro. La partita, a quanto pare, non è ancora chiusa. Sembra che la proposta attuale sia che in campi come scienze biologiche e naturali si utilizzeranno esclusivamente metodi bibliometrici;nei campi umanistici invece si farà review come prima; alcuni campi come ingegneria e matematica sono ancora aperti a metodi misti (bibliometria e review)

c) Ultima cosa: il risultato della valutazione viene messo in una formula matematica che pesa anche il numero di dipendenti e il numero di studenti (non so in che proporzione). I fondi vengono dati all'Università, e ci si aspetta che l'Università dia di più ai dipartimenti più meritevoli, anche se non c'è alcun automatismo in questo.

i professori (che sono in UK solo il grado più alto, circa il 5% di tutto il corpo docente) hanno la possibilità di contrattare il proprio stipendio con l'Università. Gli altri (lecturer, senior lecturer, etc.) no, hanno lo stipendio fissato a livello nazionale.

In realtà i Professori sono il 14% del personale docente o di ricerca (si intende, per gli italiani che leggono, che gli assegnisti di ricerca - research assistants e research fellows - sono personale anch'essi). Il punto fondamentale da capire è che tutto questo personale non è il classico funzionariato pubblico (ovvio, sono dipendenti di fondazioni private), e quindi c'è una contrattazione collettiva nazionale fra le controparti, che determina come output una scala stipendiale generale.

TUtti però hanno la "tenure", ovvero sono assunti a tempo indeterminato, e nessuno può essere cacciato senza un motivo.

In realtà vi sono anche contratti a tempo determinato, che riguardano il 7% dei Professori e il 10% del Senior Staff (e quasi il 20% di Lecturers). Sono però in aumento incredibile i semplici ricercatori a tempo indeterminato (il 22%).

Va però ricordato che in Gran Bretagna, saggio Paese, non esiste l'Articolo 18 !!! Quindi per "nessuno può essere cacciato senza un motivo" va inteso un concetto un po' diverso rispetto all'Italia.

 il RAE

sul RAE ho già scritto qualcosa prima, e rimarco l'importanza del punto sulle motivazioni addotte per l'uso della bibliometria. Btw, non è questo l'unico punto/motivo di cambiamneto dal RAE al REF.

Ultima cosa: il risultato della valutazione viene messo in una formula matematica che pesa anche il numero di dipendenti e il numero di studenti (non so in che proporzione). I fondi vengono dati all'Università, e ci si aspetta che l'Università dia di più ai dipartimenti più meritevoli, anche se non c'è alcun automatismo in questo.

Con il RAE 2001, quello in vigore, si moltiplicava il fattore di qualità (1 per Aree di Ricerca valutate 4, 3,18 per quelle valutate 5, e 4.036 per quelle valutate 5*) con il numero di personale attivo nella ricerca (ma i research assistants valevano 0,067 e i research fellows 0,06) - poi c'è una quota a parte correlata alla supervisione di research students.

Tutte le assegnazioni sono fatte all'Università come istituzione, che ha poi libertà nel gestire il budget (si intende che la quota calcolata sulla ricerca è solo una parte - quella maggiore è legata al numero degli studenti).

RR

mi scuso per l'imprecisione, che deriva dall'aver parlato con il collega inglese solo per 5 minuti!

Ho interpretato il termine "tenure" all'americana. E sinceramente, non ho mai sentito di un tenure licenziato (ma magari gente più esperta di me ne sa di più). Probabilmente non hanno bisogno dell'articolo 18.

Succede raramente, ma succede abbastanza da rendere la minaccia credibile.

Comportamenti illegali o considerati immorali nel contesto accademico (tipo: plagiarismo di lavori altrui, specialmente di studenti ... immaginate cosa succederebbe in Italia se si applicasse una regola del genere. Persino il Vaticano dovrebbe accontentarsi di un consulente economico che non è più professore ordinario ...), oppure falsificare i rimborsi spese per farsi rimborsare due volte ... . Cercare su Google per credere ...

Inoltre, molte volte la "tenure" è con il dipartimento, o la scuola, per cui quando il dipartimento va davvero male si chiude il dipartimento, e buona notte al secchio. Questo ovviamente non è possibile se la tenure è con l'università, cosa che molti ora si garantiscono essere il caso.

Infine, anche se non lo puoi licenziare, puoi sempre lasciargli lo stipendio immobile, o addirittura decrescerlo in termini nominali ed alzargli il carico d'insegnamento e mettergli le classi alle 8 della mattina tutti i giorni della settimana, ed alle 3 del pomeriggio del venerdì e dargli le classi più affollate e non dargli il TA ... insomma, quando uno non rende e diventa un danno per gli altri, i modi per farlo evaporare esistono, eccome.

Non ho capito in che senso non lo stato in GB non abbia istituito università. Mi sembra che siano tutte fondate su un Royal Charter. O forse non poprio tutte perché alcune sono fondate su una bolla papale (mi sembra di nicolò V). Ad esempio, fino agli anni novanta tutti i "Charter" prevedevano l'inamovibilità dei docenti dopo un breve periodo di prova. Per introdurre la licenziabilità dei docenti (ma solo per i nuovi o per i promossi ad un grado più alto, cioè rispettando i diritti acquisiti) si dovettero cambiare i "charter" uno ad uno Mi sfugge anche l'enorme importanza che è data alla possibile trasformazione delle università italiane in fondazioni. Le fondazioni sono regolate dallo statuto (charter), finché non si sa come sarebbe lo statuto nulla si può dire sui possibili effetti della trasformazione in fondazioni.

"Non ho capito in che senso non lo stato in GB non abbia istituito università. Mi sembra che siano tutte fondate su un Royal Charter."

In Gran Bretagna le Università più storiche sono nate attorno/collateralmente a insediamenti ecclesiastici, mentre le altre tradizionali Università del 19°-20° secolo sono nate in genere da iniziative delle élite locali delle varie città, in particolari uomini d'affari, interessati ad aumentare l'offerta formativa per i loro bacini di influenza/interesse.

Le Royal Charter non sono nè più nè meno che il riconoscimento della personalità giuridica, con incluso l'autorizzazione ad operare come Università, concessa (come in qualunque Stato) dalla competente autorità pubblica. Ribadisco che in un solo caso fu lo Stato a farsi promotore della nascita di una Università, e fu per la Open University all'inizio degli anni '70. In tutti i casi lo stato giuridico delle Università è quello di fondazione, e nessun dipendente è pertanto un civil servant.

Oggi la procedura per il riconoscimento del Degree Awarding Power e dello University title è istruita dalla Quality Assurance Agency, per conto del Governo, che agisce su mandato del Consiglio della Corona (Privy Council), che è l'organo che giuridicamente e formalmente concede il riconoscimento legale.

La lista delle istituzioni legalmente riconosciute è pubblicata a norma di legge dal Governo, su http://www.dcsf.gov.uk/recognisedukdegrees/

Il livello di qualità delle istituzioni di istruzione superiore - per quanto riguarda la didattica - deve essere simile in tutto il Regno Unito, mentre per la ricerca ovviamente no: è una politica esplicita del Governo finanziare in maniera selettiva le diverse istitruzioni, che anzi è bene siano differenziate per mission e compiti.

Ci sono circa 170 istituzioni di istruzione superiore in UK, di cui 110 hanno la denominazione di Università. Oltre a queste, ci sono altri 500 Colleges che conducono corsi che però vengono in pratica resi validi attraverso accordi con uno dei 170 di cui sopra (cioè questi 500 Colleges, diremmo noi con il nostro linguaggio, agiscono come sedi distaccate dei 170 con Degree Awarding Power).

RR

 

Grazie è chiarissimo. In particolare in GB i professori non sono "civil servants". Mi sembra però che la nozione di "civil servant" sia stata di fatto abolita in Italia a partire dalla riforma della "dirigenza" del 1972, seguita dalla contrattualizzazione del pubblico impiego, culminata con la legge (Governo Amato del 1992-93) che rendeva negoziabile dai sindacati anche lo stato giuridico degli impiegati pubblici (apparentemente in contrasto con l'art. 97 della costituzione). I professori universitari italiani sono rimasti in un "limbo" ormai completamente obsoleto. 

"Grazie è chiarissimo. In particolare in GB i professori non sono "civil servants". Mi sembra però che la nozione di "civil servant" sia stata di fatto abolita in Italia a partire dalla riforma della "dirigenza" del 1972, seguita dalla contrattualizzazione del pubblico impiego, culminata con la legge (Governo Amato del 1992-93) che rendeva negoziabile dai sindacati anche lo stato giuridico degli impiegati pubblici (apparentemente in contrasto con l'art. 97 della costituzione). I professori universitari italiani sono rimasti in un "limbo" ormai completamente obsoleto."

In Gran Bretagna il Docente Universitario è un lavoratore dipendente con un contratto di diritto privato ***esattamente*** come Emilio Fede è un dipendente di Mediaset.

Sebbene oggi la gran parte dei dipendenti pubblici Tagliani abbiano un contratto di diritto privato, rimangono pur sempre "dipendenti di un ente pubblico" esattamente come i funzionari pubblici con contratto di diritto pubblico (= definito dalla legge e non per contrattazione fra le parti), come i Magistrati e i Professori Universitari.

Il motivo addotto dai Professori Inglesi per rimanere Privati e' la Liberta': "Noi siamo liberi di fare quello che Noi (= la Nostra Universita') vogliamo e non siamo sottoposti a direttive del Governo, che non puo' impedirci di fare quello che vogliamo (= che la Nostra Università vuole)". Tutto, beninteso, in un sistema di controllo della Qualità e di Valutazione del Merito che l'Italia manco sa cosa sia.

[P.S.: si fa notare la distanza siderale con la poverta' intellettuale del dibattito italiano]

RR

 

Non c'è dubbio che un sistema concorrenziale completamente decentralizzato produca i risultati migliori in questa materia.

Come non essere d'accordo con Perotti, Giuseppe, Michele e tanti altri. Assumete chi vi pare, promuovete chi volete, pagateli quanto volete: la concorreza per i fondi tra le università e tra i dipartimenti all'interno di un ateneo produrranno le scelte giuste e l'utilizzo/combinazione efficiente delle informazioni disponibili per valutare una persona. Un indice bibliometrico, il potenziale di un individuo, il contenuto dei suoi lavori, la sua simpatia e il colore dei suoi capelli saranno tutti opportunamente e, magia magia, efficientemente ponderati, sempre o quasi.

Funziona altrove, Stati Uniti in primis, e non c'è ragione per cui non debba funzionare da noi.

Questo sistema però richiede condizioni che in Italia sono ancora tabù. Alcuni esempi: la decurtabilità dello stipendio, la licenziabilità, la mobilità residenziale, la possibilità di chiudere interi dipartimenti e università senza che i dipendenti debbano essere "riassorbiti" all'interno del sistema pubblico. Si cambia mestiere, oppure si trasloca, o entrambi. Punto.

Poiché questo, il first best, non si può ottenere osserviamo tutte le inefficienze di un sistema centralizzato, capillarmente regolamentato ecc.

In un precedente commento, Nicola mi ha indirettamente (e scherzosamente, s'intende) definito un talebano della bibliometria e non c'è dubbio che David Parnas abbia ragione in proposito. Quello che penso, più modestamente rispetto a Parnas e i talebani, è che utilizzare indicatori di quel tipo (assieme ad altri criteri) in discipline dove esistono e in un sistema come quello italiano dove possono essere ignorati nelle decisioni di promozione sia un miglioramento rispetto allo status quo finché non sarà possibile rendere il sistema veramente competitivo.

D'altronde quando si scende negli inferi del second best ci sono cose
che diventano desiderabili anche se non lo sarebbero nel migliore dei
mondi possibili.

E magari aiutano anche a prepararne le condizioni. Un collega mi ha raccontato un aneddoto interessante. Quando qualche anno fa nel mio dipartimento (io ancora non c'ero, per questo lo prendo come aneddoto) si iniziarono a mettere in fila le pubblicazioni delle persone per il CIVR, successe che iniziarono a cambiare i rapporti interni perché improvvisamente diventò conoscenza comune chi erano quelli che facevano ricerca e chi erano quelli che non la facevano.

Quello che penso, più modestamente rispetto a Parnas e i talebani, è che utilizzare indicatori di quel tipo (assieme ad altri criteri) in discipline dove esistono e in un sistema come quello italiano dove possono essere ignorati nelle decisioni di promozione sia un miglioramento rispetto allo status quo finché non sarà possibile rendere il sistema veramente competitivo.

Condivido Giulio (prometto di non darti più del talebano...), ma il rischio, come già ti avevo segnalato, è che in un paese come il nostro si finisca per inserire, con norme regolamenti e pandette, elementi di rigidità burocratica (te l'immagini la quantità di ricorsi al TAR per "errori o irragionevolezza" del calcolo dell'IF?) proprio in quelle discipline che, per il fatto solo di avere l'IF, si presentano già ora come mediamente più "serie", e quindi meglio in grado di valutare a dovere le persone ed i progetti di ricerca, rispetto a tutte le altre, cioè a quelle prive di IF. E queste ultime, invece, continuerebbero ad essere terreno di conquista per "gli amici degli amici".

Un altro "talebano dello Impact Factor" è il prof. Luigi Frati, attuale rettore magnifico dell'Università di Roma "La Sapienza". Quando era al Consiglio Universitario Nazionale, intepretando (a mio avviso erratamente) la funzione del CUN di esprimere un parere inmerito all'"approvazione degli atti" di un concorso, come una sorta di giudizio di appello sui risultati delle commissioni, era abilissimo nell'usare lo Impact Factor per dimostrare ciò che voleva dimostrare. La mia avversione allo IF si è sviluppata anche nei lunghi anni (1989-98) in cui sono stato al CUN in rappresentanza delle facoltà di Scienze Matematiche Fisiche e Naurali mentre il mio attuale rettore era rappresentante delle facoltà di medicina. Un altro fautore ed utilizzatore precoce dello IF è stato (credo che ora sia in pensione) il Prof. Luigi Rossi Bernardi, che in tempi lontani è stato Presidente del CNR, e più recentemente, nel Ministero Moratti, capo del dipartimento università e ricerca del MIUR. Per essere più esplicito non credo che le discipline che utilizzano ampiamente lo IF siano "più serie". Non credo che si possa sostenere che la medicina sia "più seria" della matematica. Io penso invece che una banca dati pubblica, affidabile e aggiornata delle pubblicazioni dei docenti possa dar luogo ad un modesto miglioramento delle scelte discrezionali di commissioni e comitati, in una comunità scientifica non irrimediabilmente malata. Meglio ancora se sono disponibili brevi recensioni delle pubblicazioni che ne descrivano i contenuti, come avviene con la banca dati MathSciNet.

Mi pare ci sia un duplice equivoco in questa discussione:

  1. l'IF e' solo un possibile indicatore bibliometrico tra tanti. Altri, come l'h-index, funzionano meglio per valutare il contributo degli autori piuttosto che il prestigio di una rivista (lo dico a mio discapito perche' il mio h-index e' zero... be' infatti e' zero per molti junior).
  2. Tutti gli indicatori bibliometrici hanno dei limiti, non c'e' dubbio, ma la questione non e' zero-uno, non e' valutiamo uno con un indice oppure ignoriamo l'indice. La questione e' il peso da dare a questi indicatori. Nessuno dei due estremi puo' essere ottimale.

Dirò di più: tutti gli indici sintetici (non solo quelli bibliometrici) sono in grado di dare solo un'informazione parziale. D'altra parte informazione parziale non vuol dire informazione nulla nulla. Un post-doc con un h-index dignitoso (cosa voglia dire dignitoso varia tantissimo da disciplina a disciplina) probabilmente qualcosa di buono in vita sua l'avrà fatto. Un ricercatore o un professore con h-index nullo o miserrimo mi lascia alquanto perplesso in qualsivoglia disciplina.

È difficile distinguere chi sia più bravo tra un professore con un h-index medio ed uno con un h-index alto. Ma un prof con un h-index stratostferico difficilmente sarà uno che vive di rendita (o, se vive delle ricerche dei suoi collaboratori, almeno bisogna dargli atto di saperseli scegliere).

Chiaro che poi se si stilano classifiche basate su un solo indicatore (o su un set ristretto di indicatori) si spalanca il vaso di Pandora e ne può uscire qualunque cosa.

 

N.B. di indicatori bibliometrici ne esistono decine e pregi e difetti di solito si trovano scriti nero su bianco nell'articolo che li ha proposti la prima volta.

E leggere i lavori - no?

Costa fatica, troppo.

Troppo faticoso il lavoro, rispetto alla facilità di schiacciare un bottone.

RR

Giusto una domanda (sincera e senza vena polemica): ci hai mai provato? Io sono un post-doc abbastanza fresco (meno di un anno di esperienza) e quindi non ho tante pubblicazioni. Per semplificare le cose non mi occupo di argomenti esoterici come cosmologia quantistica o gravità quantistica a loop ma di fotonica (ovvero, alla fin della fiera, elettromagnetismo classico). Quanto tempo pensi ti ci vorrebbe per leggere e valutare correttamente i miei lavori? E per confrontarli con qualcuno che si occupa di quantum dots? E per fare una valutazione oggettiva di tutte le pubblicazioni delle decine di persone che si sono presentate per quel posto di ricercatore?

A me (che pure dovrei essere uno specialista del settore) per poter dire di capire a fondo l'argomento del mio ultimo articolo c'è voluto quasi un anno ed ancora oggi scopro ogni giorno qualcosa di nuovo. Quanto tempo ci vorrebbe a te per giudicare quel lavoro?

Certo potresti proporre di farlo giudicare ad uno specialista di fama internazionale. Ma uno specialista (tranne rari casi di eclettismo) è, per l'appunto, "specializzato" in un dato argomento ed avrebbe problemi a giudicare allo stesso modo lavori di persone che son tutti fisici sperimentali in "struttura della materia" (FIS/03 se preferite) ma che si occupano di cose diverse come il giorno e la notte (io fotonica, un altro condensati di Bose-Einstein, un altro turbolenze in fluidi viscosi, un altro eterostrutture a semiconduttore ecc ecc). Quindi saremmo punto e da capo.

L'idea di giudicare un ricercatore/professore nella sua inetrezza valutando in maniera organica tutta la sua produzione è la soluzione ideale in un mondo perfetto. Nella pratica è impossibile. A meno, ovviamente, di non accontentarsi di un giudizio sommario ed approssimativo da parte di qualcuno che del tuo argomento ha un'idea piuttosto vaga. Magari mi sbaglio, ma nel caso mi piacerebbe sapere tu come implementeresti (nel mondo reale) la tua idea.

Mah, per pubblicare su riviste gli Editors non chiedono ai referees di leggerli, gli articoli? Leggere non dovrebbe essere una cosa strana, nel mondo della ricerca. Del pari, un Selecion Committee per una posizione di ricerca/docenza si potrà ben far aiutare da referees - io non ti potrei certo referare un lavoro di fotonica ma potrei dare qualche opinione su uno di fondamenti della meccanica quantistica. Tuttavia un Selection Committee troverebbe senz'altro altri più adatti allo scopo per le proprie necessità.

RR

L'indice h mi sembra privo di valore. L'ho provato utilizzando "publish or perish" su alcuni miei colleghi abbastanza anziani, di cui penso di essere in grado di valutare il valore scientifico, e dà risultati insensati. Non parliamo poi della banca dati "google scholar" sulla quale si basa il programma publish or perish. Confonde gli autori, le riviste, gli articoli e le citazioni. Sembra addirittura peggio della banca dati Thomson Scientific ISI. Di un autore abbastanza senior ci si dovrebbe chiedere: quali contributi duraturi ha dato alla disciplina?  A questa domanda nessun dato bibliometrico può dare una risposta. Meno che mai i dati che non tengono conto della durevolezza dei risultati, cioè cosa resta, o si pensa possa restare, dopo dieci, venti, trenta anni. In compenso i dati bibliometrici si prestano a manipolazioni fantastiche. Basta costruire una plausibile funzione di uno o più dati bibliometrici opportunamente ristretti ad intervalli temporali od altro (utilizzando, medie, medie pesate, massimi, minimi, ecc.) per ottenere i risultati e le graduatorie desiderate. In queste tecniche, come dicevo nel mio precedente commento ho conosciuto veri maestri.

Ma non è che tu sei un po' un talebano anti-indicatori bibliometrici? ;-)

A me un po' scoccia dover far la parte del difensore ad oltranza dell'h-index e compagnia bella (non lo sono e gli trovo un sacco di difetti) ma mi sembra che tu l'abbia condannato senza pensarci troppo.

Che l'h-index (ed i suoi derivati come i g-index o il w-index) non siano sempre applicabili è ovvio. L'ho detto anche io poco più sopra e lo hanno detto gli ideatori di questi indici. In particolare è ovvio che se cerchi di dare una classifica di professori maturi basandoti unicamente sull'h-index becchi un buco nell'acqua grosso come una casa. Tuttavia l'h-index può dare, ad esempio, una stima di una soglia minima. Di pubblicazioni matematiche mi intendo poco ma nel mio ramo se vedo un professore associato con un h-index di 3 o 4 qualche dubbio mi viene. Se vedo un ordinario con un h-index inferiore a 10 pure. Certo, magari poi ci sono ottimi motivi per cui questi prof hanno dei valori del genere ma almeno la visione di un indice h basso mi fa venir voglia di indagare in modo un po' più approfondito.

Analogamente se c'è un post-doc che si presenta ad un concorso per ricercatore con un h-index di 20 ci sono solo due possibilità: o va preso al volo o ha gonfiato artificialmente questi valori. Una volta che so cosa cercare posso fare un controllo più approfondito guardando nel dettaglio le singole pubblicazioni.

Gli indicatori bibliometrici non devono e non possono essere l'unico strumento nella valutazione, ma possono fornire una base solida che, se interpretata correttamente, da un'indicazione di cosa andare a controllare.

N.B. mi pare di non essere l'unico ad avere idee del genere. Se non ho preso lucciole per lanterne anche Perotti Giuseppe Lipari hanno esposto tesi simili alla mia.

Saro' un talebano antiindicatori bibliometrici, ma sono un fautore delle banche dati  affidabili che comprendono recensioni indipendenti. E' vero è difficile, talvolta difficilissimo, leggere i lavori altrui (e persino i propri), ma un esame attento della banca dati MathSciNet per ogni autore, puo' dare, in breve tempo un'idea abbastanza precisa del livello scientifico da lui raggiunto. La banca dati comprende anche le citazioni degli articoli (purtroppo solo quelle contenute in articoli pubblicati a partire 2000 che è troppo poco per la matematica), e consente di accedere ad informazioni complete degli articoli citanti. Le informazioni su ogni articolo, compreso quello citante, includono una recensione-sommario scritta da persona diversa dall'autore. Certo sono informazioni complesse che non equivalgono alla lettura dei lavori, o di un lavoro. Ma non sono fuorvianti come possono essere quelle legate ad un indicatore bibliometrico. Naturalmente un altro modo per farsi una buona idea del livello scientifico di un collega è quello di sentirlo parlare dei suoi risultati. Specialmente se parla del risultato che ritiene più importante. Se fossi obbligato a scegliere un indice bibliometrico "meno peggio" sceglierei il numero degli autori diversi che hanno citato l'autore oggetto della valutazione. Questo numero è disponibile in MathSciNet pur limitato alle citazioni a parire dal 2000. Naturalmente anche  questo indice è variabile a seconda del settore e sottosettore in cui si lavora.

Naturalmente l'uovo di colombo sarebbe creare gli incentivi ad assumere/promuovere le persone giuste, come si discuteva piu' sopra: se uno subisce, nel bene e nel male, le conseguenze delle proprie scelte allora gli indici conteranno quel che devono contare, magari solo come segnali come suggerisce JB, magari per stabilire l'ordine in cui si devono andare a rileggere bene i lavori di una persona. I difetti di qualunque indicatore avrebbero conseguenze quasi nulle.

Se avete un sistema di recensioni affidabili per tutti gli articoli pubblicati in tutti i rami della matematica allora tanto di cappello. Nella mia esperienza (fisica) però esce una quantità di articoli spropositata e non è sempre banale sapere a priori quali sono meritevoli di una recensione e quali no. Recensirli tutti mi pare un'impresa improba. Come fate?

Dagli anni trenta , o forse dall'inizio del secolo scorso, esisteva una rivista tedesca che si occupava di recensioni di lavori di matematica "Zentralblat fur mathematik" (lo spelling potrebbe essere casuale perché non conosco il tedesco). A partire dai primi anni quaranta, e a seguito dell'imbarbarimento antisemita di questa rivista, fu fondata dalla American Mathematical Society un'altra rivista di recensioni Mathematical Reviews. Credo successivamente fu creata anche una rivista di recensioni russa "referativi" (spelling ancora più incerto). Zentralblatt esiste ancora finanziato dall'unione europea, su iniziativa della European Mathematical Society (da me, vergognosamente filoamericano, non condivisa quando ero nel direttivo della EMS) ma pubblica prevalentemente sommari dell'autore e non recensioni. Io non la uso e quindi non so dire come funziona. Non so nemmeno se esiste ancora la rivista russa. Invece Mathematical Reviews si è completamente informatizzata. Recensisce ogni anno gli articoli di 1200 riviste di cui 800 sono considerate "core journals" cioè riviste di cui ogni articolo è recensito (le riviste di matematica considerate nella banca dati ISI sono circa 400). La banca dati comprende anche le citazioni (un totale di oltre 3 milioni) a partire dal 2000. Esiste una banca dati degli autori, indipendentemente dai diversi nomi con i quali l'autore può aver firmato i lavori. Sicuramente la tua università accede a questa incredibile banca dati e puoi utilizzarla anche tu. Purtroppo molte recensioni non sono vere recensioni, ma sommari, spesso riproducenti i sommari degli autori.Tuttavia quando un matematico ritiene che il suo lavoro è stato plagiato o non gli è stato dato credito adeguato da un altro autore, si può rivolgere alle MathReviews che ne informeranno il recensore, il quale potrà dire nella recensione qualcosa del tipo "risultati simili o più generali erano già stati trovati da Tizio o Caio". Insomma la banca dati consente anche un certo controllo nelle questioni di priorità scientifica (che non sono rare tra i matemtici, i quali danno molta importanza alla originalità).  Occasionalmente la recensione commenta comunque sulla originalità, eleganza o rilevanza dei risultati.

La bontà dell'indice dipende dalla bontà dei dati. Se hai usato publish or perish, in realtà hai usato Google Scholar, la qualità dei cui dati è piuttosto scarsa, soprattutto in ambiti come matematica e fisica. Quindi, concordo, nel caso di matematica l'h-index con google scholar è probabilmente un numero a caso. Anche altri servizi (tipo il già citato Scopus) hanno cominciato a introdurre l'h-index. Ma come detto, non ci sono magie dietro: si tratta di indici sintetici che dipendono dai dati che uno ha. Sono d'accordissimo che servono prima di tutto database fatti bene!

 

Per essere più esplicito non credo che le discipline che utilizzano ampiamente lo IF siano "più serie". Non credo che si possa sostenere che la medicina sia "più seria" della matematica.

Hai ragione Sandro. La mia frase era discutibile ("medicina" e "seria" assieme, poi, son due parole che proprio non possono starci!). Ciò che intendevo era semplicemente che discipline dove l'IF esiste sono, per questo mero fatto, comunque aperte al confronto ed al vaglio internazionale (almeno si pubblica in inglese!). Questo ovviamente non è sufficiente per garantire la serietà delle selezioni (medicina docet). E neppure necessario, perché appunto anche senza, o con un ridotto uso, dell'IF una disciplina può essere comunque sotto lo scrutinio costante e serio della comunità internazionale (vedi la matematica). Ribadisco però che quest'ultima disciplina sarebbe a mio avviso danneggiata da una norma che desse troppo, ed in modo troppo rigido, peso all'IF. E credo che in questo tu possa concordare con me.

Rimane poi il fatto che discipline dove si pubblica prevalentemente in italiano e solo sulle riviste della "parrocchietta", magari dirette dagli stessi docenti che poi presiedono le commissioni di concorso, sono ancora più lontane dallo standard minimo di "serietà". Ed imporre l'IF in modo ampio e rigido significherebbe proclamare di fatto il "tana libera tutti" proprio per queste discipline qua, causa inesistenza dell'oggetto del contendere. 

... sono stati sconfitti !!!  Un disastro, molto peggio che in Afghanistan...

Il successore del RAE, il REF, continuerà ad usare la peer-review come metodo di valutazione dei prodotti della ricerca, capovolgendo le previsioni che davano come sicuro il passaggio a dosi massicce di blibliometria (e per la qual cosa si erano messi in piedi studi e pilot projects). I dati relativi alle citazioni saranno solo "resi disponibili" ai revisori, che li potranno prendere in considerazione nella loro attività giudicatrici.

Bene, penso che questa decisione sia stata saggia ... a proposito che fine ha il CIVR, si sono andati a nascondere?? Cuccurullo non ha rinnovato il dominio, gli è tutta una cosa casereccia ... e tutte le informazioni che c'erano lì sopra, compresi i dati che poi adesso il Ministero ha anche usato per l'FFO, se li è mangiati?

RR

La relazione finale del CIVR pare essere ancora accessibile (dato che si trovava sul sito del Cineca e non su www.civr.it). Forse è il caso di farsene una copia in locale prima che se ne accorgano ed eliminino pure quella...

 

Troppo tardi?


Al momento il servizio non è accessibile. L'accesso sarà ripristinato appena possibile.

Troppo tardi?

A me il link al Cineca (dove si trova il pdf della relazione finale) funziona. Il sito www.civr.it invece non pare essere vuoto ma proprio non esistente. Una ricerca su www.ripe.net e su www.nic.it poi mi ritorna in maniera sistematica la non esistenza del dominio e la sua disponibilità (ovvero me lo potrei comprare adesso se volessi). Ergo, non so se stanno spostando tutto ad altra sede ma il sito del CIVR non è destinato a resuscitare.

Il sito www.civr.it invece non pare essere vuoto ma proprio non esistente. Una ricerca su www.ripe.net e su www.nic.it poi mi ritorna in maniera sistematica la non esistenza del dominio e la sua disponibilità (ovvero me lo potrei comprare adesso se volessi). Ergo, non so se stanno spostando tutto ad altra sede ma il sito del CIVR non è destinato a resuscitare.

E' scaduto il 28 marzo 2009, che' il Rettore di Chieti-Pescara Cuccurullo lo rinnovava ogni anno, ma per qualche motivo se n'è fregato. A maggio lo stavo quasi comprando, ero arrivato al punto di inserire il numero della carta di credito, ma poi ho lasciato perdere. Anche perchè in quel periodo era ancora in REDEMPTION-NO-PROVIDER, e il titolare poteva comunque ancora opporsi al mio acquisto.

Comunque il punto e' che il CIVR (così come il CNVSU) non ha soggettività giuridica, essendo un Comitato del Ministero, e non si capisce perche' ad essi sia stato concesso di gestire in toto il sito web. Il CIVR in quanto tale e' scaduto il 7 maggio, mi pare, e non è stato prorogato (ancora), contrariamente al CNVSU , che e' stato prorogato fino al 31 dicembre.

E' possibile forse intuire dei problemi di fondo o dissidi con il Ministero... (?)

RR

 

Forse stanno semplicemente cambiando nome e sistema, e nel frattempo i siti ballano un po'. Via, cerchiamo di essere un minimo ottimisti... :(

Comunque sono contento per i miei colleghi inglesi! E' un'ottima notizia, speriamo che i nostri prendano esempio.

 

Bene, penso che questa decisione sia stata saggia ... a proposito che fine ha il CIVR, si sono andati a nascondere??

Non lo so e temo sia una perdita di tempo seguire le opere dei ministeri del Belpaese ... Comunque il sito dell'ANVUR almeno funziona (http://www.anvur.it/).  Ammesso che come mi sembra l'ANVUR sostituira' il CIVR, se non fossimo in una Repubblica delle banane i contenuti decenti del CIVR dovrebbero o rimanere su civr.it o essere copiati sull'ANVUR, e nel caso come e' avvenuto si decidesse di chiudere civr.it per alcuni mesi o meglio anni civr.it dovrebbe rinviare al MIUR o all'ANVUR con due rige di spiegazione.

Comunque il sito dell'ANVUR almeno funziona (http://www.anvur.it/)

Alberto, quel sito l'ho fatto io - a scopo pedagogico-informativo.

Colgo quindi l'occasione per dire che ovviamente, una volta che esista effettivamente una ANVUR operativa, autonoma dal Ministero, non esiterò a concedere il dominio al prezzo altamente simbolico di 1 euro al legittimo rappresentante legale...

L'ho fatto per vari motivi, ma uno è appunto quello di cui ho parlato prima: mi sono seccato nel vedere come viene gestito il settore CIVR-CNVSU, incluso i loro siti web. Quando vidi che il sito del CNVSU era stato registrato dal Politecnico di Torino e quello del CIVR da Cuccurullo (come persona fisica) diciamio che ho avuto una reazione del tipo goccia che fa traboccare il vaso...

Circa i risultati ottenuti finora con quest'opera, segnalo ad es. il fatto che il sito è stato citato in questo importante studio European House Ambrosetti-CRUI, incluso il materiale ivi indicato (che quindi è ulteriormente servito di riferimento nella stesura della sezione sulla valutazione). 

Per dirne un'altra, poi, il problema della "cattura" delle persone da parte dell'autorità politica è un problema serissimo in Italia, e nel caso anche - per dire - della costituenda ANVUR ci sono potenziali candidati che dicono o scrivono di quelle cose accondiscenti con la "visione ministeriale", o non scrivono affatto... che non ti immagini ... non posso fare nomi ovviamente, ma credimi che mi dolgo parecchio di questa situazione, perchè vedo una realizzazione concretissima e precisissima della ben nota teoria liberale sulla delicatezza dei rapporti fra autorità e società civile, e di come un bulimico potere politico possa "controllare" la società e le menti delle persone.

Tutta questa situazione mi torna poco buona.

RR

P.S.: ogni suggerimento per migliorare il sito (anche tecnicamente) è ben apprezzato; io volevo mettere altre due pagine poi, almeno. Una specificamente sulla valutazione della ricerca e una su finanziamento e "classifiche".

 

Grazie delle informazioni.  Questa e' una ulteriore conferma che l'Italia e' uno Stato barzelletta, non sono capaci nemmeno di gestire un sito web in maniera utile e funzionale, operazione ormai alla portata di un adolescente.

Scusate, ma per affinità di argomento mi inserisco qui. Uno studente mi ha segnalato questo relativamente ai criteri di valutazione dei singoli magistrati.

In particolare, notate il passaggio dove si dice che:

Nelle valutazioni dei provvedimenti il dirigente dell’ufficio e il C.G. devono tener conto esclusivamente dei profili tecnico-professionali relativi all’esposizione delle questioni e all’argomentazione della soluzione adottata, con esclusione di qualsiasi sindacato sul merito della soluzione stessa.

In conseguenza di ciò, e del fatto che la legge 111 del 2007 (c.d. riforma Mastella) prevede che i provvedimenti a campione utilizzati dai dirigenti per la valutazione dei magistrati siano trasmessi al CSM solo su espressa richiesta di quest'ultimo, il CSM stesso ordina che non gli si mandino più, salvo esplicita richiesta, né i provvedimenti a campione né, per analogia, quelli prodotti dal magistrato stesso.

Qualcuno mi sa spiegare la ratio di tutto ciò, da un punto di vista degli incentivi e/o di un'efficiente valutazione del lavoro dei magistrati? E' come se la commissione di un concorso universitario imponesse al candidato di non spedire le pubblicazioni ed allo stesso tempo chiedesse ai suoi colleghi anziani un parere sul candidato stesso, a patto però che tale parere non sia accompagnato da elementi oggettivi che lo corroborino. It sounds me crazy! Dove sbaglio?

Vorrei segnalare la proposta avanzata congiuntamente dall'Associazione italiana di sociologia, dall'Associazione italiana di filosofia politica e dall'Associazione italiana di scienza politica, in merito alla valutazione dell'attività scientifica dei docenti e ricercatori afferenti a queste discipline. Si dice che sono ritenuti requisiti minimi i seguenti:

Ricercatore: almeno 5 pubblicazioni prodotte nell’ultimo quadriennio di cui almeno una
monografia oppure 2 articoli sulle riviste rilevanti.
Associato: almeno 10 pubblicazioni di cui almeno due monografie, oppure una monografia e 4
articoli pubblicati sulle riviste rilevanti (negli ultimi 8 anni).
Ordinario: almeno 15 pubblicazioni di cui almeno 3 monografie oppure 2 monografie e 6 articoli
pubblicati sulle riviste rilevanti (negli ultimi 12 anni).

Qualcuno mi aiuta a capire perchè un ordinario viene valutato su un periodo triplo rispetto ad un ricercatore, e un associato doppio? Forse perchè molti di questi dopo essere diventati ordinari o associati non hanno più combinato niente?

IL CUN ora è al lavoro con lo scopo di identificare dei requisiti minimi di decenza. Ci sono varie commissioni suddivise per settore scientifico disciplinare. L'obiettivo è solo stabilire un minimo per poter accedere alle posizioni di ricercatore, associato ed ordinario. Oserei dire dei minimi di DECENZA (Questo termine l'ho sentito usare da uno studente che è momentaneamente nel CUN).

Quindi , va bene la critica ad un sistema totalmente bibliometrico, ma ora si sta solo introducendo un minimo requisito bibliometrico. Oserei dire, tanto perchè non diventino docenti degli emeriti sconosciuti ...

Caro metius: vada per i requisiti minimi di decenza. Appena saranno pubblicati, li valuteremo (non siamo forse esperti di valutazione?). D'altro canto, è già legge no? aspetteremo con cosa usciranno i colleghi del CUN.

Solo un commento, spero me lo permetterai: mi sembra di poter dire, a occhio, che se questi requisiti saranno veramente minimi, saranno anche facilmente aggirabili. Se saranno complessi, saranno anche difficilmente applicabili. Se saranno insensati (come mi aspetto) faranno più danno che bene. Insomma, sinceramente credo che lo spazio per fare una cosa fatta bene sia molto ma molto stretto.

Sulla situazione attuale del dibattito in merito ai provvedimenti dell'ultimo decreto Gelmini, ora a metà del guado fra Senato e Camera, segnalo questo articolo di Giliberto Capano su "Europa" di oggi: http://rassegnastampa.crui.it/minirass/esr_visualizza.asp?chkIm=9 ove si danno alcune informazioni e considerazioni sul tema.

RR

 

Il link che hai dato non mi funziona ma l'articolo che citi lo si può trovare qui (immagino che anche tu ci sia arrivato da lì).

Non sapevo (sono un po' "giovane") che fino al 2003 parte dei fondi alle università venisse assegnato con un qualche criterio meritocratico. Faccio notare che, allo stato attuale delle cose, è difficile se non impossibile per lo stato lasciar andare in bancarotta una università. Un po' per una mentalità distorta e localista ma un po' anche per problemi oggettivi. Se domani l'università di Firenze (dove io lavoro) chiudesse i battenti per via del suo enorme deficit a rimetterci sarebbero fondamentalmente gli studenti (in Italia non è per niente banale farsi riconoscere gli esami dati in un'altra università e comunque non esistono alloggi per studenti fuori sede che permettano una qualche mobilità).

La "quota di riequilibrio" del FFO, distribuita secondo parametri "oggettivi", è in vigore dal 1994. Ha avuto un effetto cumulativo non trascurabile, perché la "quota storica" dello FFO è stata via via aggiornata e perché in alcuni anni sono stati elargiti finanziamenti in più a università "più virtuose" come "accelerazioni del riequlibrio". I parametri non hanno incluso tuttavia la ricerca scientifica almeno fino al 2004, quando su sollecitazione del Ministro Moratti, si è fatto finta di includerla "contando i nasi". In ogni caso la quota di riequilibrio ha quasi sempre premiato università del nord, in particolare il Politecnico di Milano. Ad esempio La Sapienza ha sempre perso terreno, in parte a causa della presenza di un policlinico a gestione diretta. 

Ho quasi la sensazione che la discussione si sia sviluppata sulla base sulla convinzione che universalmente la carriera universitaria derivi (dovrebbe derivare) dal giudizio ricevuto sui propri lavori. Scusate il cinismo della battuta, ma i professori sanno che è vero il contrario. Non sempre, per carità, ma in un numero considerevole di casi.

Fuori di battuta, in un sistema deteriorato esiste una circostanza peggiore rispetto alla non valutazione. E' infatti peggio una valutazione governata da logiche di potere. Se si introduce un processo di valutazione in un contesto deteriorato ci sono modeste probabilità di realizzare un contesto opportunamente orientato, ma considerevoli probabilità di realizzare un contesto inopportunamente orientato, che premia l'appartenenza e la conformità. Sono sistemi che tendono ad irrobustire i gruppi accademicamente forti e a indebolire i gruppi accademicamente deboli. Nel bene e nel male. Presa la stada peggiore non riesco ad immaginare come invertire la rotta.

prendo in prestito da un'altra discussione: "it takes a model to beat a model".

L'alternativa all'introduzione di un processo di valutazione e incentivazione basato (visto che il mercato puro sembra poco politicamente percorribile) sull'uso intelligente di qualche misura bibliometrika è lo status quo. Inoltre non capisco in che modo un sistema di valutazione basato diciamo su "IF" (facendo finta per un attimo che l'IF sia un robustissimo indice di qualità e produttività scientifica) possa avvantaggiare un gruppo (forte o non forte) che non lo meriti, soprattutto considerando che l'IF dei gruppi accademici dominanti (in italia e in economia) è di solito molto basso.  

"Fuori di battuta, in un sistema deteriorato esiste una circostanza peggiore rispetto alla non valutazione. E' infatti peggio una valutazione governata da logiche di potere. Se si introduce un processo di valutazione in un contesto deteriorato ci sono modeste probabilità di realizzare un contesto opportunamente orientato, ma considerevoli probabilità di realizzare un contesto inopportunamente orientato, che premia l'appartenenza e la conformità."

Caro Professore, hai azzeccato una giusta linea di pensiero. E' in buona parte per questo motivo che la valutazione ("di qualità") e' cosa poco diffusa nella societa' italiana - vds. tutte le carriere per anzianità, le distribuzioni "a pioggia" di finanziamenti, ecc.

La societa' italiana, fondata sul familismo amorale, e' repulsiva al merito e alla valutazione non solo per motivi "diretti" ma anche proprio per quelli "indiretti" dovuti al "pericolo" di non riuscire in ogni caso a gestite un sano (=eticamemnte accettabile) processo di selezione che non sia un mero gioco di potere, perfino quando si creerebbero le condizioni per metterlo in campo.

Quindi la medicina da somministrare al paziente, in fase acuta di malattia, non e' comunque banale, o "di trasposizione/implementazione" di regole-procedure altrimenti usate con successo.

RR 

Concordo con Filippo che certamente occorre muoversi nella direzione della valutazione. Ma sono convinto che un meccanismo di valutazione nuovo e in assestamento fornisca motivo di vantaggio ai gruppi accademici forti. Quelli dotati anche della caratteristica "merito" sovrappeseranno il loro risultato. Quelli non dotati di tale caratteristica distorceranno in buona misura il meccanismo in corso di introduzione. E ci riusciranno. Filippo non vede questo fenomeno e lo invidio veramente ... anche a me piacerebbe essere più idealista.

Per questo motivo preferisco che il meccanismo sia: a) tarato prevalentemente su algoritmi quantitativi e non qualitativi (pur rendendomi ben conto di quanto sia precario questo punto di vista); b) tarato ad individuare i casi di demerito ("professori fantasma" nella espressione recentemente utilizzata da Giacomo Rizzollati) piuttosto che tarato al più difficile compito di mettere in ordinamento i casi di merito.

Renzino è convinto che gli italiani siano un poco più farabutti della media. Chissà ? Ma questa è un'altra storia ...

Sono usciti i tanto attesi risultati del Research Assessment Exercise britannico, versione 2008, che serve per distribuire annualmente una quota (circa il 25%) del finanziamento ordinario alle università.

Per ognuna delle 67 Unità Evaluande (Unit of Assessment, corrispondenti ad aree di ricerca/settori scientifici) è stato ottenuto un profilo di qualità dei prodotti della ricerca (pubblicazioni, diciamo) sottomessi al giudizio dei Panel da parte delle diverse istituzioni universitarie. Le categorie di merito erano 4+1 - scopiazzato dall'italiano VTR 2001-2003, ma con ben diverso (e più chiaro) significato della rispettiva rubrica:

Definitions of quality levels

4* Quality that is world-leading in terms of originality, significance and rigour.

3* Quality that is internationally excellent in terms of originality, significance and rigour but which nonetheless falls short of the highest standards of excellence.

2* Quality that is recognised internationally in terms of originality, significance and rigour.

1* Quality that is recognised nationally in terms of originality, significance and rigour.

Unclassified Quality that falls below the standard of nationally recognised work. Or work which does not meet the published definition of research for the purposes of this assessment.

Per voi economisti, le pagine da guardare sono quelle delle UoA 34, 35 e 36, per me la fisica è la 19. Da notare, in questo settore, la sostanziale uniformità, dal mio punto di vista, della gran parte delle submissions, contro tutti i faciloni Maniaci delle Graduatorie de Noantri.

Buon Natale e felice 2009 con il RAE.

Renzino l'Europeo

Esco un po' dal merito della discussione per segnalare un' articolo di repubblica su un professore di Bari che pare avesse organizzato il suo giro di raccomandazioni fino a compilare un manualetto d' istruzioni per gli interessati.

Per i fanatici dello "impact factor" ecco una notizia su cui meditare a proposito di una rivista che raggiunge i vertici dello "impact factor" in ambito fisico-matematico.

 http://science.slashdot.org/article.pl?sid=08/12/23/1831225

 

Non sono un difensore a spada tratta dell'impact factor, tuttavia mi sembra opportuno 1) valutarne l'efficacia su basi statistiche piuttosto che aneddotiche 2) confrontarlo empiricamente con altre "ricette" per valutare progetti di ricerca e scienziati da reclutare, piuttosto che scartarlo a priori.

Dal punto di vista statistico lo Impact Factor è privo di valore: una media di una distribuzione a valori interi non negativi in cui moda e mediana sono molto distanti dalla media. Nella matematica moda e mediana sono in genere zero. In queste condizioni, come dimostrato nel documento dell'IMU che ho citato in altra occasione, il valore predittivo della media è nullo. Dal punto di vista pratico lo IF è suscettibile di essere artificialmente gonfiato con pratiche più o meno lecito. Il caso di "Chaos Solitons and Fractals" è estremo. Dimostra se mai che gli editori scientfici non sono in grado di esercitare il benché minimo controllo sui loro "editors in chief".  Sta però diventando sempre più comune la richiesta, da parte del "referee" di citare articoli della stessa rivista, una pratica esplicitamente considerata non impropria dall'inventore dello IF. Ci sono diversi casi meno truffaldini di riviste il cui IF sale ad opera di un accorto "editor in chief", meno imbroglione di quello della rivista di Elsevier (uno a me noto, perché me ne ha parlato lo "editor in chief", riguarda una rivista italiana di medicina). Se un parametro il cui successo si basa sulla pretesa della obiettività può facilmente essere alterato, salta per lo meno la pretesa di obiettività. Se devo valutare un matematico vado a cercare prima di tutto le recensioni dei suoi lavori in MthSciNet, se possibile vado a sentire una sua conferenza, infine do uno sguardo ai lavori che lo citano, guardandomi bene dall'usare la banca dati dell'ISI o quella di Google Scholar, ma usando  MathSciNet. Infine posso chiedere ad un esperto di spiegarmi quale è il suo risultato più importante, se possibile, cerco di leggere il lavoro che contiene il risultato più importante. Sono alternative allo IF o allo H-index, più o meno disponibili per tutti.

Condivido pienamente gli argomenti di AFT contro l'IF e, in generale, la nuova moda/mania di numeri e numerini sintetici per stilare le classifiche. A dire il vero non è tanto nuova, in una forma o nell'altra dura da sempre. Da sempre si sono "contati" i papers nei CV dei candidati per farsi un'idea di quanto valevano, e poi si contavano separatamente i papers nei "top journals" ... ricordo ancora le infinite discussioni alla Carlos III di Madrid (dove ancora, purtroppo per loro, continuano annualmente a farle) sul ranking appropriato dei journals da utilizzare per "pesare" i papers pubblicati dai membri del dipartimento a fini di premi, promozioni, aumenti di salario eccetera. Me ne sono sempre tirato fuori, e continuo a farlo.

Fra le moltissime cose che apprezzavo dell'ambiente accademico al dipartimento di economia dell'Università del Minnesota era l'applicazione rigorosa (in sede di valutazione dei candidati d'ogni ordine e grado) del detto (comune ai suoi due premi Nobel in Economia) secondo cui "at MN it is not enough to be able to count [papers on CV], you also must be able to read [the content of the papers]".

Un dipartimento, un istituto, un'università, alla fine, sono tanto buoni quanto la qualità intellettuale dei loro senior leaders riesce a farli diventare. Non c'è altro rimedio: un dipartimento è un team, e nei teams ci vogliono i capitani che si assumano le responsabilità e paghino se sbagliano.

Mi sembra che diciamo più o meno la stessa cosa. Non sono un esperto di statistica, anzi ne so veramente poco, e non posso giudicare la rilevanza statistica dello h-index. E' però vero che se si vogliono mettere in opera valutazioni "monster" come il RAE, per ridurre i costi senza abbassare troppo la "fairness" un aiutino dalla statistica forse non guasterebbe.

Gli inglesi si valutano a vicenda (come abbiamo fatto noi tempo fa con il CIVR): mi hanno detto che la valutazione dura quasi un anno, e i reviewer (che sarebbero alcuni riconosciuti esperti di valore internazionale nel settore) per quasi tutta la durata del RAE non fanno nient'altro che leggere paper, documenti, report. Se vogliamo tanti reviewers, per essere più fair e far pesare meno il giudizio individuale, il costo rischia di diventare molto alto sia in termini monetari che di sforzo individuale.

D'altro canto, sono d'accordissimo nel dire che utilizzare solo gli indici non è fair a causa delle distorsioni citate. Infatti, è il leit-motiv del mio pezzo. L'IF non è affatto significativo. L'h-index e compagnia bella valgono per il singolo e non per un gruppo e sono difficili da interpretare perché non è chiarissimo cosa esattamewnte misurino. Ma la ricerca nel settore della bibliometria non è conclusa, magari a qualcuno verrà in mente qualcosa di meglio, e nel frattempo l'uso massiccio di database sempre più precisi aiuterà a fare indagini statistiche migliori.

Bisognerebbe innovare anche nel campo delle pubblicazioni scientifiche. L'uso di Internet deve poter portarci oltre il tradizionale metodo editoriale. Qui ci sono interessi economici in ballo, quindi non so come e quando si realizzerà questa innovazione.

Inventarsi una via di mezzo tra valutazione con peer-review e bibliometria non sarà affatto facile...

Casi come questi sono emblematici. E sono più comuni di quanto si pensi. Potrei citarne parecchi nel mio ambito. Basta contare il numero di conferenze e workshop peer-reviewed listate da ACM e IEEE.Molte di queste sono formate da gruppi piccoli e chiusi che si accettano a vicenda paper di qualità infima.

E' famosissimo il caso di una conferenza "scientifica" che accettò un paper generato automaticamente da un apposito algoritmo. Il paper fu accettato e gli autori (dei PhD student) si presentarono alla conferenza per svelare il bluff solo al momento della presentazione (naturalmente, generata automaticamente!) lasciando gli organizzatori nel più totale imbarazzo. Il programma è disponibile qui, provate voi stessi a generare il vostro paper in computer science, è molto divertente!

Il fatto è che l'editoria scientifica è un'industria il cui interesse è fare quattrini, non diffondere la conoscenza. Casi come questo elencato qui sopra sfuggono a un sistema completamente automatico di valutazione. Per fortuna sono una minoranza: quindi, nell'analizzare una grossa quantità di dati (per esempio quando si valuta un dipartimento medio/grande) tali "distorsioni" agiscono in maniera piuttosto relativa. Quando invece si valuta il singolo su un periodo breve, tali distorsioni risultano nella più grande ingiustizia. Infine, ripeto il mio punto: il sistema nel suo complesso è bacato perché spinge i ricercatori nella direzione sbagliata, cioè a pubblicare molti paper mediocri.

Sul sito "ricercatoriprecari.wordpress.com" è apparso un draft di un documento del CUN che stabilisce i criteri minimi di ammissione ai concorsi in base alle pubblicazioni. Eccolo qui. Si tratta di un draft, e si vede. Notare la babele di criteri difformi a seconda dell'area di appartenenza. Andatevi soprattutto a guardare i criteri dell'Area 03, Chimica. Io sinceramente resto esterrefatto. Spero che abbiano il tempo di meditarci su.

Personalmente sono molto più esterrefatto dei criteri di Lettere. Decodifico per i non iniziati: una monografia è un libro che può anche essere pubblicato in proprio (previo deposito di dieci copie in Prefettura) - siamo un paese libero, perbacco! In pratica, si legalizza l'arbitrio più assoluto. Mi sembra che i criteri di Economia siano solo poco più rigorosi - cf. l'ineffabile dizione di "riviste di grande rilievo scientifico, di cui almeno 2 a carattere internazionale, presso editori che applicano con trasparenza documentata il referaggio anonimo e indipendente". A questo punto, meglio i chimici. Il criterio sarà anche troppo rigido e meccanicistico, ma almeno è chiaro. 

Mah, dire "stampare in proprio" non è corretto, perchè messa così sembra che uno se le paghi da se le copie.

In realtà il meccanismo è un po' più sottile...allora si sceglie una casa editrice e poi si utilizzano i fondi di ricerca per pagare e sostenere la pubblicazione del testo da parte dell'editore; una volta stampato il testo, si usano ancora i fondi di ricerca per acquistarne un numero indefinito di copie che saranno poi gestite dal docente a totale discrezione. Finito, direte voi? Manco per nulla. Le biblioteche dei dipartimenti sono poi tenute, non so se per legge o per mafia, ad acquistare altre cinque copie del testo pubblicato dal docente. Alla fine di quel testo sono piene le biblioteche locali, gli scaffali dei corridoi, e gli uffici dei docenti.

Mi augufro abbiate notato l'"affaire" Gelmini, intorno alle domande di raccomandazioni, rivolte a chi e' accademico, ma oltremare...

 Abbiamo notato. E' sconfortante, anche se non sorprendente.  Ma questo dimostra che, contrariamente a quanto detto dalle anime belle, gli indicatori bibliometrici sono necessari per la valutazione in Italia.

Inizia una nuova discussione

Login o registrati per inviare commenti