Provvedimenti per l’università a costo zero

21 luglio 2012 giovanni federico

Non ci sono soldi per l’università e la ricerca, tutti si strappano le vesti. Non voglio ritornare sul tema, ma piuttosto proporre due misure semplici e immediate a costo zero per aumentare la trasparenza

L’acceso dibattito sul mio ultimo post sui tagli mi ha fatto riflettere sulle possibilità di riforma a costo zero e mi sono venute in mente due idee semplici semplici

In primo luogo, suggerirei di mettere a disposizione del pubblico i risultati individuali della VQR.  Per i non addetti ai lavori, la VQR è la Valutazione della Qualità della Ricerca, un enorme esercizio di analisi della produzione scientifica dell’università. Ciascun docente ha dovuto indicare i suoi tre migliori lavori dal 2004 al 2010 che ora l’ANVUR (www.ANVUR.org) sta valutando con una serie di procedure molto complesse. Per i settori scientifici e medicina si basano su una serie di parametri oggettivi, come il numero di citazioni (settori bibliometrici). Invece per le scienze sociali, legge e le facoltà umanistiche la valutazione si basa sul giudizio di esperti sul singolo prodotto (peer review), e quindi potrebbe essere più influenzata da pregiudizi o simpatie personali. In ogni caso, i risultati dovrebbero essere disponibili alla fine dell’anno. Ciascun prodotto riceverà un giudizio da A (ottimo) a D (meglio non esprimersi). Questi giudizi dovrebbero essere noti solo all’autore e al rettore, che ha un interesse a conoscerli in quanto i risultati aggregati dovrebbero determinare in parte il finanziamento degli atenei. Io non credo che le valutazioni rimarranno segrete. Esiste un evidente incentivo ad individuare le pecore nere, che peggiorano i risultati aggregati, mentre i migliori potranno fare la voce grossa. Però si tratterà di una diffusione parziale e causale e comunque solo in una ristretta cerchia di professori. Perché non renderla pubblica? Così magari si scopre che qualche professore che discetta con sicumera sui giornali ha una produzione scientifica mediocre o nulla (è anche possibile che qualcuno non abbia prodotti da presentare). Molto più importante, si possono orientare gli studenti: la qualità del lavoro di ricerca dei docenti è uno dei parametri più importanti per scegliere l’università.

In secondo luogo, si potrebbero rendere pubbliche le pagine personali dei professori sul sito ufficiale CINECA, attualmente consultabili solo dall’interessato e dal ministero. Essa contiene  un elenco delle pubblicazioni e varie altre informazioni sull’attività del docente (fondi di ricerca ricevuti, posizioni nelle società scientifiche etc.). Le informazioni sono caricate dal docente stesso e fino a poco tempo fa pochi si prendevano cura di aggiornarle. L’avvio delle procedure per le abilitazioni nazionali ha cambiato la situazione. La possibilità di essere commissario (per gli ordinari) o di presentarsi a concorso (per gli altri) dipende dal numero e dal tipo di pubblicazioni che risultano nel sito al 15 luglio 2012. I docenti hanno quindi avuto un interesse a completare i dati, almeno per le pubblicazioni. Le informazioni sul sito potrebbero integrare i risultati del VQR dando un quadro più completo del profilo scientifico del docente nel corso della sua intera carriera piuttosto che una istantanea sul suo lavoro più recente.

Ambedue le riforme sono a costo zero: basterebbe una semplice modifica del software. Spero che non si invochi la legge sulla privacy, che in Italia viene spesso usata per difendere i potenti o solo i piccoli privilegiati. Non vedo infatti come possa essere rilevante nel caso in questione: si tratta di pubblicizzare informazioni sul lavoro di dipendenti pubblici. Ed i contribuenti hanno diritto a sapere se i dipendenti pubblici lavorano e quanto.

44 commenti (espandi tutti)

VQR

Pino Vallone 21/7/2012 - 21:53

Sono un ricercatore universitario e concordo sulla possibiltà di rendere pubbliche le pagine personali dei professori sul sito ufficiale CINECA in modo che le produzioni scientifiche di ognuno siano pubbliche (le pubblicazioni dei docenti già oggi sono individuabili con una ricerca  sul web, utilizzando per esempio google scholar...).

La prima proposta inceve (mettere a disposizione del pubblico i risultati individuali della VQR), è pericolosa perchè può essere strumentalizzata e danneggiare alcuni. Infatti la VQR è pensata per una valutazione delle singole Università: è vero che ciascun docente ha dovuto indicare i suoi tre migliori lavori dal 2004 al 2010, ma non in "piena libertà". Infatti, se 2 docenti della stessa Università sono cofimatari di uno stesso lavoro (supponiamo "eccellente", molto importate e citato), tale lavoro poteva essere indicato per la VQR solo da uno dei due. E (quasi paradossalmente) per l'Università è più conveniente che il docente meno produttivo tra i due indichi tale lavoro "eccellente" tra i suoi 3 migliori per la VQR.

Quindi se i dati della VQR vengono utilizzati per la valutazione dei singoli addirittura può essere penalizzante per i docenti più meritevoli. 

proposta

Corrado Ruggeri 21/7/2012 - 23:03

perchè non iniziate, voi che siete favoreli a rendere pubbliche le pagine personali, a farlo autonomamente? Magari creando un sito ad hoc dove ognuno rende disponibili spontaneamente le proprie (in questo modo le normative sulla privacy non sarebbero un problema). Se l'iniziativa avesse successo si otterrebbe comunque il risultato desiderato anche senza interventi dall'alto

Non credo siano tutti, ma moltissimi colleghi hanno già da anni l'elenco delle pubblicazioni sulla propria pagina web "istituzionale". Sicuramente i giovani.
E il mancato aggiornamento del sito Cineca è (era) tipico degli anzianotti cui, a torto o ragione, fregava ben poco. Il loro sito docente veniva aggiornato in fretta e furia (da subordinati) solo all'atto della presentazione delle domande di finanziamento, PRIN innanzitutto.

si chiama adverse seclection.  Quelli bravi o che si credono tali renderebbero pubblici i dati (e del resto lo fanno già nelle pagine istituzionali) e gli altri non lo farebbero. Risultato: un campione biased verso il meglio Lo stesso vale per le pagine istituzionali, con la complicazione che un utente per valutare la produzione scientifica di un settore un minimo numeroso dovrebbe passare  giorni a scaricare CVs da tutte le università italiane, in formato diverso. Forse non mi sono spiegato bene: la trasparenza non è un grazioso dono dei signori professori illustrissimi, è (o dovrebbe essere) un dovere minimo per chi vive a spese delle tasse pagate dai lavoratori privati

Per fare una standing ovation a quest'affermazione

Forse non mi sono spiegato bene: la trasparenza non è un grazioso dono dei signori professori illustrissimi, è (o dovrebbe essere) un dovere minimo per chi vive a spese delle tasse pagate dai lavoratori privati

Io voglio proprio che si crei un sito apposito universale (qualcosa tipo linkedin) dove:

Quelli bravi o che si credono tali renderebbero pubblici i dati (e del resto lo fanno già nelle pagine istituzionali) e gli altri non lo farebbero

Capisco che momentaneamente si avrebbero dati biased ma è necessario per creare una situazione dove chi non si trova su quel sito automaticamente si "qualifichi" negativamente.

Tutto questo NON per supplire alla carenza di trasparenza dell'ANVUR al contrario per forzarla alla trasparenza. Insomma l'equivalente accademico della "fujitina" sicula :-) mettendoli davanti al fatto compiuto.

Forse non ci siamo capiti. Perchè io dovrei sprecare tempo e fatica a copiare i dati che ho già dovuto con tempo e fatica copiarmi nel sito CINECA? Apriamo il sito CINECA. Io scommetterei che  il consiglio direttivo dell'ANVUR  sarebbe d'accordo.  Solo che non può farlo - anzi tecnicamente non ha nessun potere sul CINECA.  Lo potrebbe fare il ministero, che non lo fa perchè non vuole avere rogne con i professori (rappresentati dalla CRUI).  Se non lo avete ancora capito: sono i professori o più precisamente una influente minoranza che trascina una maggioranza sileziosa a non volere la trasparenza e la riforma

Sicuramente non mi sono fatto capire io, perchè tu sei stato molto chiaro.

Dico che dovreste "sprecare tempo e fatica" proprio per aggirare l'influente minoranza silenziosa. 

Se il ministero non può/vuole rendere trasparenti i dati per queste resistenze "baronali", nulla potrebbe contro un movimento volontario che rende i dati trasparenti  autonomamente.

La mia idea è che, se questo movimento riesce ad essere numeroso, cioè se effetivamente parliamo di una maggioranza silenziosa, questo renderebbe ardua la vita dei professori che si oppongono alla trasparenza 

Da un lato perchè si troverebbero automaticamente squalificati dal loro non essere sul sito "autonomo". 

Dall'altro perchè il ministero potrebbe farsi forte del successo dell'iniziativa per rendere i dati trasparenti, qualcosa tipo: "l'80% dei dati son già disponibili che senso ha continuare mantenere il segreto? non vorrete dare l'idea di avere qualcosa da nascondere? "

Questo era il senso della mia proposta, spero di esser riuscito a spiegarmi (poi non sono esperto del mondo accademico quindi potete dirmi che non servirebbe comunque a nulla, perchè un sito del genere verrebbe bellamente ignorato, o che non è un'idea attuabile in pratica)

Tutto questo fermo restando che il ministero dovrebbero rendere i dati trasparenti già ora ed a prescindere.

Sono d’accordo con la sostanza delle proposte di Federico. Dopo la famosa intervista in cui l’allora ministro Brunetta si dichiarava maturo per il nobel dell’economia,  ho verificato il suo curriculum, trovandolo insufficiente anche per vincere un posto di semplice ricercatore. Per inciso, ora Brunetta non è più in organico, perché si è pensionato anticipatamente. Un altro pensionato baby.

Sulla forma si può discutere. E’ vero quello che dice Pino, il meccanismo della valutazione, combinato con le firme multiple sugli articoli, ha costretto molti di noi a non mettere le pubblicazioni migliori nei file validi per la valutazione, dato che ci è stato più volte detto che quello che sarebbe stato valutato era l’istituzione nel suo complesso, non il singolo (attitudine tipicamente italiana).

Non dovrebbe comunque essere difficile istituire un meccanismo telematico in cui ogni docente indica, con un percorso guidato, i suoi dati curriculari e la sua produzione scientifica di valore. Questo sito dovrebbe essere consultabile da tutti in modo semplice. Aggiungerei anche la valutazione della didattica nel caso dei docenti. Oggi tutte le università hanno i questionari del giudizio degli studenti sui corsi, che però vengono mantenuti semi-segreti (sono noti al docente interessato ed ai responsabili locali della didattica).

Comunque, qualcosa si sta muovendo, e nel verso giusto. Le nuove norme concorsuali, che selezionano i commissari sulla base dei parametri di merito, sono una rivoluzione epocale, per l’Italia. Chissà quando questi parametri verranno usati anche per le progressioni stipendiali.. Trovo i giovani, molti dei quali hanno vinto selezioni anche all’estero, naturalmente pronti per questo nuovo sistema. Per questo sarebbe importante iniettare in fretta forze nuove, anche con provvedimenti straordinari, e svecchiare il sistema.

Per finire, segnalo che ci sono alcuni aspetti tecnici non banali per una valutazione corretta degli accademici. Nel settore tecnico-scientifico ad esempio, numero dei lavori, impact factor e indici bibliografici (indice h) sono spesso buoni indicatori, ma non sempre. Ad esempio, nei grandi esperimenti di fisica sperimentale gli articoli sono firmati da centinaia o migliaia di persone e il numero dei lavori è di parecchie decine all’anno. Un ricercatore, inserito in queste grandi collaborazioni, può, facendo molto poco, avere indici migliori di un ricercatore che fa almeno due buoni lavori all’anno di qualità lavorando da solo o in piccoli gruppi. Purtroppo, la proposta di utilizzare indici h ponderati sul numero degli autori non è stata accolta dal Consiglio Universitario Nazionale (CUN). Chissà perché.

 

Non dovrebbe comunque essere difficile istituire un meccanismo telematico in cui ogni docente indica, con un percorso guidato, i suoi dati curriculari e la sua produzione scientifica di valore. Questo sito dovrebbe essere consultabile da tutti in modo semplice.

 

Sono esattamente le informazioni disponibili sul sito docente del CINECA (compresa casella per segnalare le pubblicazioni migliori), immesse gratis dai singoli docenti.  Basta aprirlo alla pubblica consultazione

Le vere proposte a costo zero sono quelle "micro" che si fanno sul campo.

Quand'è l'ultima volta che hai richiesto formalmente di ridurre il numero di appelli e/o di cambiare il calendario accademico?

A discutere di VQR siamo tutti capaci (tranne quando si tratta di quantificarne i veri costi: quelli ottenuti dalle moltiplicazioni delle ore dedicate e registrate dal prugrammett "Track Time"), ma quando si tratta di litigare veramente per cambiare sul campo le cose, è un fuggi-fuggi generale oppure l'innalzamento immediato di mastodontici, quanto gommosi, muri.

A presto

Marco Antoniotti

Annoying

michele boldrin 22/7/2012 - 02:08

It's all in the subject, and in the object. 

Ma questa "attitude", professor Antoniotti, come la spiega e da quale particolare brufolo le e' causata?

Brufoli

Marco Antoniotti 24/7/2012 - 11:59

È la vita, caro Prof. Boldrin. Sono in giro dai tempi di soc.culture.italian ed ho accumulato una certa resistenza immunitaria nel gestire queste discussioni :) Nella fattispecie (e dopo essere stato nella Commissione VQR del mio DIpartimento, contabilizzando al meglio il tempo speso) semplicemente penso che siano altre le cose su cui discutere, invece di brandire i risultati della "valutazione" come un rullo compressore. Prendiamo la questione del numero degli appelli. Lei converrà che questa è una cosa terrificante della nostra organizzazione didattica. Ebbene, cominciamo da lì. Soprattutto *senza* invocare l'intervento ministeriale. Purtroppo è un po' più difficile....

A presto

Marco Antoniotti

Prendiamo la questione del numero degli appelli. Lei converrà che questa è una cosa terrificante della nostra organizzazione didattica.

La valutazione della ricerca e' un elemento complessivamente piu' importante e dirimente, tuttavia sono d'accordo che riformare il ridicolo e assurdo sistema italiano di esaminare all'universita' sia estremamente importante. A mia conoscenza, si tratta di un sistema peculiare solo dell'Italia, basterebbe studiare, capire e implementare sistemi esistenti e funzionanti altrove per migliorare parecchio vita ed efficienza di studenti e docenti. Tra l'altro, nel contesto italiano, il lavoro di esaminazione e' uno dei tipici compiti per cui il barone universitario italiano necessita di portaborse asserviti, che possibilmente lo facciano anche gratis.

e, se c'e, qualcun altro altrettanto cattivo!

Ci vorrebbe una dose di Boldrin almeno una volta a settimana. Tra l'altro, detto con tutto l'affetto del mondo, il nostro Michele ha gia' un cognome che ricorda quello di un farmaco.

La seconda proposta (anagrafe CINECA resa aperta) è ragionevole, tanto più perché permetterebbe di verificare il calcolo dellle mediane.

 

Al contrario, la prima proposta (esiti VQR), oltre a non essere nuova, non regge. Andavano citati i veri autori dell'idea, i fratelli Ichino, la cui proposta, oltre che essere stata ampiamente diffusa sulla stampa nazionale (vedi loro lettera sul Corriere della Sera) è anche già stata ampiamente analizzata. Per esempio:

"Ichino valuta i ricercatori… al contrario!"

e la relativa discussione a cui a cui ha partecipato lo stesso Andrea Ichino.

In particolare, qui è spiegato in dettaglio perché, come già osservato da Pino,

se i dati della VQR vengono utilizzati per la valutazione dei singoli addirittura può essere penalizzante per i docenti più meritevoli.

definisce una proposta di nfA ragionevole. Ho messo alla finestra mio figlio per fotografare il prossimo gruppo di asini che volano (lui non è molto d'accordo ma noi ameriKani siamo notoriamente cattivi con gli adolescenti).

Nel frattempo, vorrei tranquillizzare Pino ed  il prof De Nicolao, giustamente preoccupati per il povero ricercatore geniale costretto a cedere sotto tortura all'infingardo barone la primogenitura su tutti i suoi splendidi prodotti da A ed accontentarsi di presentare qualche misera schifezza residuale da C e D. Basta che la valutazione sia inserita nel sito docente CINECA accanto al prodotto piuttosto che messa in una lista a parte. Così l'ignaro lettore si renderebbe subito conto dell'ignobile trucco e darebbe il giusto  peso alle valutazioni. Si potrebbe addiritttura fare una ulteriore colonna per tutti i prodotti co-autorati dal povero genio bistrattato che hanno avuto valutazioni in quanto presentati da altri.  Così si vedrebbe quanto ha lavorato per gli altri il povero e geniale ricercatore. Certo, sarebbe necessario un minimo investimento in software dal CINECA (diciamo un paio di mesi di stipendio di un nuovo associato ex legge Gelmini) ma forse ne vale la pena. Vede, prof De Nicolao, se si vogliono superare gli ostacoli si può sempre trovare una soluzione, magari imperfetta.

Il problema è che molti miei colleghi (non certo voi di ROARS, ci mancherebbe) non vogliono superare gli ostacoli. Vogliono solo che quest'incubo della VQR e delle abilitazioni nazionali finisca presto e tornare ai vecchi, comodi sistemi baronali.  I commissari giudicano le pubblicazioni leggendole (quelle del mio allievo sono geniali, quelle degli outsiders una schifezza). Le  promozioni vengono decise fra noi amici - non più in stanze fumose perchè fumare è politicamente scorretto. I colleghi ed amici sono tutti bravissimi (salvo quando si mettono in mezzo alla promozione mia o del mio allievo). Gli italiani devono solo pagare e non hanno diritto di sapere come i loro soldi vengono spesi.Etc etc.

definisce una proposta di nfA ragionevole

A tutela della Storia e della Storiografia, ricordo che la proposta di Anagrafe della Ricerca giace da lustri sui tavoli dei competenti uffici ministeriali - e non si tratta certo di una proposta di nFA.

Ad avere paura della pubblicità sono in tanti, a cominciare da quelli che lucrano molti talleri scrivendo editoriali di fuoco contro l'Università sui gi0rnali italiani. I Fisici, ad esempio, non temono nulla, ma si taglia sul busone senza avere alcuna valutazione in mano.

RR

... veramente noi baroni abbiamo lasciato le pubblicazioni "più pesanti" ai più giovani, perché questo migliora la valutazione della struttura.

Cioè, il caso di un ricercatore che "cede" articoli pesanti a colleghi con più anzianità e potere è (almeno) altrettanto comune.

 

Credo che Giovanni Federico nel commento qui sopra abbia chiarito come rendere la proposta fattibile con gli scopi che si era preposta: appendere la valutazione alla pubblicazione piuttosto che all'autore che la ha presentata. Io che ho "prestato" pubblicazioni che ritengo buone a colleghi più insider di me, me le vedrei così valutate nel loro VQR ma la valutazione apparirebbe anche sulla mia pagina personale CINECA. E viceversa.

Nel frattempo, vorrei tranquillizzare Pino ed  il prof De Nicolao, giustamente preoccupati per il povero ricercatore geniale costretto a cedere sotto tortura all'infingardo barone la primogenitura su tutti i suoi splendidi prodotti da A ed accontentarsi di presentare qualche misera schifezza residuale da C e D. Basta che la valutazione sia inserita nel sito docente CINECA accanto al prodotto piuttosto che messa in una lista a parte.  (GF)

Questa idea,  già avanzata da Ichino nella discussione su Roars, non risolve i problemi, come ho spiegato nella mia replica che riporto più sotto. Infatti, non elimina le distorsioni della valutazione individuale e si scontra con i palesi errori nei criteri della VQR, inadatti alle comparazioni dato che usano scale disomogenee persino dentro la stessa area scientifica (vedi sotto). Lo stesso ANVUR potrebbe avere interesse a nascondere i dettagli potenzialmente discutibili di una VQR metodologicamente improvvisata. Avendo a disposizione le valutazioni singole, infatti, si potrebbero quantificare gli effetti degli errori nei criteri: un rischio che l'ANVUR non vorrà correre per non screditare ulteriormente le sue valutazioni.

Gli effetti distorsivi della pubblicazione rimangono comunque evidenti. Per fare un paragone, immaginiamo di valutare i giocatori di calcio in base alle tre migliori partite delle loro nazionali negli europei. Una riserva che ha giocato qualche minuto in tre partite vinte di goleada apparirebbe migliore di molti fuoriclasse. Se un ricercatore è coautore di tre lavori in collaborazione in cui ha svolto un ruolo secondario, ma che sono stati valutati in fascia A, egli apparirebbe migliore di colleghi che sono gli autori principali di lavori in fascia A e B e che magari possono vantare un’ulteriore vasta produzione di buona qualità. Insomma, pubblicare dei voti relativi ad un sottoinsieme molto ristretto di pubblicazioni rende impossibile una valutazione comparativa corretta.

Inutile dire che i mezzi di informazione utilizzerebbero questi “voti” in modo assai rudimentale pubblicando liste di professori in fascia A, B, C etc.. Questo sarebbe non solo scorretto nei confronti dei ricercatori, ma contribuirebbe a instillare nell’opinione pubblica una visione distorta della ricerca e della sua valutazione. Alcuni strumenti, per loro natura rudimentali, come gli indicatori bibliometrici e le classifiche di riviste, sono a malapena utilizzabili per valutare strutture di ricerca su scala aggregata. Infatti, su scala aggregata si può sperare che le inevitabili approssimazioni non siano tali da impedire una comparazione sensata.

La lettura dei documenti del RAE/REF britannico può dare un’idea del livello di attenzione e cautela con cui va gestita la procedura valutativa. Il confronto con gli analoghi documenti della VQR italiana è, purtroppo, impietoso. Insomma, a livello di valutazione del singolo ricercatore, non c’è alcuna base scientifica che giustifichi la proposta di Andrea e Pietro Ichino, che non reggerebbe nemmeno se la VQR fose al livello del RAE/REF.

A maggior ragione la proposta dei fratelli Ichino appare una boutade se consideriamo che, persino su scala aggregata, la VQR italiana poggia su basi scientifiche del tutto precarie, per usare un eufemismo. Ad esempio, per un ricercatore ING-INF/05 pubblicare in fascia C (o superiore) significa pubblicare su una rivista il cui indicatore bibliometrico è sopra il 50-esimo percentile. Per tutti gli altri ricercatori ING-INF/XX, basta che la rivista stia sopra il 25-esimo percentile (http://www.roars.it/online/?p=6280). In queste condizioni, che senso ha pubblicare i “voti” dei singoli ricercatori? 

G. De Nicolao su http://www.roars.it/online/?p=8981#comment-1230

non ci troveremo mai. Vede per me una valutazione imperfetta è sempre meglio e comunque della mancanza di valutazione. Nell'università è impossibile non valutare. L'alternativa è la valutazione soggettiva del singolo barone e poi la valutazione collettiva nelle commissioni. E questo porta direttamente al potere baronale. Quindi, o la valutazione o il baronaggio. Fine. Nessun raffinato argomento che voi di ROARS potete portare sulle ingiustizie o le inefficienze del sistema di valutazione dell'ANVUR mi convincerà mai che il baronaggio è meglio.  Non metto in dubbio la vostra buona fede personale, ma in questo momento, quando finalmente si apre  uno spiraglio concreto, voi mettete a disposizione la vostra cultura, la vostra competenze e la vostra capacità polemica al servizio delle posizioni più conservatrici e reazionarie. 

Salve a tutti, questo e' il mio primo intervento su NfA. Ho una domanda. I parametri di valutazione per i settori scientifici sono esclusivamente di natura bibliometrica? Non e' prevista alcuna peer review? Indici bibliometrici come il numero di citazioni e l'h-index sono sicuramente indicativi, ma non sono - nella mia esperienza - i parametri considerati piu' importanti in nordamerica (almeno in Fisica). Certo, se c'e' un ricercatore con h-index 20 e professori ordinari in attivita' da molto piu' tempo con h-index 2, non c'e' bisogno di andare a guardare altri parametri per poter trarre delle conclusioni...

è prevista una quota di peer review (mi pare 10%)  anche per i settori scientifici. L'ANVUR pensa di usare questi dati come controllo degli indicatori bibliometrici

Sono d'accordo sull'opportunita' che per ogni docente e ricercatore sia pubblico l'elenco delle pubblicazioni sul sito del CINECA.  Aggiungo che sarebbe utile anche evidenziare alcuni parametri come il numero di citazioni, la frazione di auto-citazioni, le medie di settore, il numero di cofirmatari, dove vale la posizione nelle liste di firmatari,

Tuttavia sono sostanzialmente contrario a assegnare enfasi che ritengo sbagliate alla pubblicita' dei lavori selezionati per la recente valutazione ANVUR.

In primo luogo, suggerirei di mettere a disposizione del pubblico i risultati individuali della VQR.

[...]

Ciascun docente ha dovuto indicare i suoi tre migliori lavori dal 2004 al 2010 che ora l’ANVUR (www.ANVUR.org) sta valutando con una serie di procedure molto complesse.

La recente valutazione ANVUR e' diretta a valiutare non i singoli ma le strutture, dove una struttura e' un dipartimento universitario, oppure un settore disciplinare (es. fisica delle particelle) di tutto un ente nazionale di ricerca come l'INFN. Grazie ad una procedura bizantina che temo sia specifica dell'Italia, formalmente ogni ricercatore doveva scegliere i suoi lavori migliori (nel mio caso tre per valutare la mia universita' e tre per valutare INFN-GR1), ma il meccanismo di valutazione, per fortuna e merito ANVUR pubblicato prima della valutazione, prevede che nella valutazione di struttura ogni articolo duplicato perche' scelto da due ricercatori diversi della stessa struttura contasse negativamente. Ovviamente tutte le strutture si sono organizzate per indicare ai propri ricercatori quali articoli scegliere. Nel caso di dipartimenti piccoli con pochi collaboratori (come nel mio caso universitario) ho potuto scegliere con buona approssimazione le mie pubblicazioni piu' citate.  Nel caso di mega-strutture come INFN-GR1, la mega-struttura ha indicato ad alcune centinaia di ricercatori sparsi per l'Italia quali articoli indicare, con una limitatissima possibilita' di discuterne, nel mio caso che rientra credo nella media, gli articoli scelti erano mediocri rispetto alla gamma disponibile. Sarebbe stato estremamente piu' intelligente, lineare, trasparente, corretto chiedere 1) che ogni ricercatore elencasse ad ogni struttura le sue pubblicazioni 2) che ogni struttura scegliesse un elenco di lavori da inviare all'ANVUR, indicando anche quante delle firme sono associate alla struttura stessa.  In questo caso ogni ricercatore sarebbe stato associato, correttamente, alla totalita' dei lavori da lui firmati e inviati alla valutazione ANVUR. E la struttura sarebbe stata incentivata a fare le migliori scelte tra quelle disponibili.

Il fatto che la valutazione riguardi le strutture e non i singoli e' quindi un fatto di carattere sostanziale che distorce seriamente la scelta dei lavori migliori da parte dei singoli.  Chiedendo la pubblicazione dei lavori formalmente ma non di fatto scelti dai ricercatori, si darebbe enfasi ad un dato distorto. Sarebbe semmai piu' corretto chiedere che per ogni ricercatore sia pubblicato l'elenco completo delle pubblicazioni da lui firmate e sottoposte a valutazione ANVUR.

Il fatto che la valutazione riguardi le strutture e non i singoli e' quindi un fatto di carattere sostanziale che distorce seriamente la scelta dei lavori migliori da parte dei singoli.

Spiego: la valutazione in UK riguarda le strutture perché le strutture universitarie sono FONDAZIONI PRIVATE e non Enti Pubblici. Dalla qual cosa emerge un diverso carico delle responsabilità in merito al sistema universitario e della ricerca rispetto a modelli cosiddetti (anche impropriamente) anglosassoni.

Questo fatto NON è mai stato riportato dal Prof. G. Federico né da altri accoliti di nFA, ma è di tutta evidenza di importanza sostenziale per comprendere ciò di cui stiamo parlando.

RR

 

Però

Nereo Preto 23/7/2012 - 17:53

...se di quei lavori di cui sono autore-coautore e che vengono valutati nel VQR (perché li presento io oppure i miei co-autori) viene riportata la valutazione nel mio sito CINECA, che male c'è?

In un dipartimento anche piccolo come il mio, comunque la mia produzione è finita nella mia lista VQR e si è poi sparsa nelle liste dei co-autori. Alla fine un numero congruo dei miei lavori sarà valutato. Vale lo stesso per i miei colleghi produttivi.

Gli altri, beh, se non avevano lavori da presentare verranno valutati su pochi titoli. Questo è esattamente il tipo di informazione che Giovanni Federico suppongo vorrebbe vedere pubblicata. Io sono d'accordo con lui.

RIPETO che l'errore è assumere come principio che la valutazione "delle strutture" in Italia debba essere fatta come in UK. Questo è un falso giuridico, politico, storico, accademico, concettuale, e pratico.

Meglio: andrebbe classificato come "falso ideologico". Ciascuna delle falsità sopra enunciate meriterebbe un lungo capitolo di spiegazione, che nessuno, dal Ministero all'ANVUR, si è mai sognato di proporre all'attenzione del pubblico, per ragioni - appunto - ideologiche.

Dalla qual cosa discendono varie aporìe, fra cui - a buon diritto - la difforme considerazione delle procedure di valutazione dei singoli prodotti di ricerca. NON ci sarebbe alcun elemento ostativo alla valutazione dei singoli, nell'Università Italiana, talché esiste anche una procedura di rendicontazione triennale del lavoro dei singoli, MAI valorizzata per quanto si sarebbe DOVUTO. Ma l'impostazione della VQR sul modello britannico (fuori luogo) e sulle tecniche procedurali iper-australiane (sballate) hanno modificato i connotati all'intero esercizio di valutazione.

RR

 è inutile. E' proprio inutile. I professori italiani non vogliono essere valutati. Prima hanno fatto di tutto per sabotare la valutazione. Ora che è partita, trovano ogni scusa per non fare conoscere i risultati.  Poi trovano studenti di dottorato falliti che li giustificano con argomenti capziosi da Azzeccagarbugli. E poi si lamentano anche dell'attacco mediatico all'università pubblica - in italiano ai loro privilegi

Spiego: la valutazione in UK riguarda le strutture perché le strutture universitarie sono FONDAZIONI PRIVATE e non Enti Pubblici. Dalla qual cosa emerge un diverso carico delle responsabilità in merito al sistema universitario e della ricerca rispetto a modelli cosiddetti (anche impropriamente) anglosassoni.

Ovviamente gli italiani, per quanto animati di buona intenzione, si sono ispirati al sistema di valutazione piu' statal-centralista possibile e piu' separato possibile da mercato e valutazioni private. Detto questo, in UK mi sembra che l'autonomia delle universita' in pratica obblighi il governo a fare una valutazione complessiva dell'Ateneo, senza nemmeno poter disquisire se fa meglio una disciplina o peggio l'altra, mentre la valutazione ANVUR appare essere piu' granulare, almeno per l'universita', arrivando ai dipartimenti. Devo dire che a me questa sembra la dimensione giusta per una valutazione dirigista-statal-centralista. Lo Stato dovrebbe valutare i Dipartimenti incentivando i Dipartimenti stessi a reclutare e far lavorare i migliori ricercatori. Questa era anche la proposta di Universitas Futura.

per favore, rileggiti e rileggi il mio post e la mia risposta a De Nicolao dove troverai esattamente la stessa proposta: indicare tutti i prodotti dell'autore sottoposti a verifica VQR, sia come autore principale che come co-autore. E poi ripeti venti volte: io sono un dipendente pubblico e devo rendere conto ai contribuenti di come ho usato il loro denaro

per favore, rileggiti e rileggi il mio post e la mia risposta a De Nicolao dove troverai esattamente la stessa proposta: indicare tutti i prodotti dell'autore sottoposti a verifica VQR, sia come autore principale che come co-autore.

Io rispondevo al post non alla risposta a De Nicolao. Sulla proposta di rendere pubblica lavalutazione di tutti i lavori cofirmati e inviati alla valutazione ANVUR siamo d'accordo e credo dovrebbe essere d'accordo anche De Nicolao.

E poi ripeti venti volte: io sono un dipendente pubblico e devo rendere conto ai contribuenti di come ho usato il loro denaro

Questo dovrebbe essere messo all'ingresso di ogni edificio pubblico a cominciare dal Quirinale e ritengo di averlo presente piu' io che la maggior parte dei dipendenti pubblici italiani.

VQR

Carlo Carminati 23/7/2012 - 20:06

Anche a me non sembra molto sensato usare questa VQR come strumento di giudizio dei singoli: molto meglio basarsi sul database CINECA.

A questo proposito ho un dubbio: leggo nel post

La possibilità di essere commissario (per gli ordinari) o di presentarsi a concorso (per gli altri) dipende dal numero e dal tipo di pubblicazioni che risultano nel sito al 15 luglio 2012.

La deadline del 15 luglio 2012 e' valida anche per i candidati? Leggendo l'anticipazione del MIUR, mi sembrava di no...

Anche a me non sembra molto sensato usare questa VQR come strumento di giudizio dei singoli: molto meglio basarsi sul database CINECA.

 

Il data-base CINECA elenca pubblicazioni. Quindi al massimo fa sapere che X ha scritto un sacco - già un elemento che discrimina i (molti) che non hanno scritto niente.  La VQR offre una valutazione anche della qualità, seppure imperfetta. Se qualcuno ha un sistema alternativo, lo illustri

 

 

Il data-base CINECA elenca pubblicazioni. Quindi al massimo fa sapere che X ha scritto un sacco - già un elemento che discrimina i (molti) che non hanno scritto niente.  La VQR offre una valutazione anche della qualità, seppure imperfetta. Se qualcuno ha un sistema alternativo, lo illustri.

Ho l'impressione che la VQR, anche per le dimensioni, finira' per essere all'80% automatica, ovvero basata su punteggi calcolabili in base ai dati CINECA. In linea di principio, sarebbe quindi possibile (e non eccessivamente complicato) dare una qualche indicazione anche sulla qualita' dei lavori (o perlomeno delle riviste sulle quali tali lavori appaiono).

 

Penso che rendere pubblico il risultato della componente "automatica" della valutazione VQR potrebbe anche essere utile per testare (e, nel  caso, calibrare meglio) gli algoritmi utilizzati; la VQR ne guadagnerebbe in  trasparenza ed affidabilita'.

... è che tutti alzano gli scudi, sempre. Nella consulta regolamento del mio dipartimento, quando ho sostenuto che non era necessario includere nell'organo di programmazione (delle assunzioni) un professore per ogni area, ma, se il lavoro non fosse stato troppo gravoso, ne bastava un numero minimo (mia proposta 3) selezionato in base alla produttività scientifica (e su questo nel nostro dipartimento tutti conosciamo i più produttivi veri/finti annessi e connessi) e non su base elettiva. Poi questi, in base a parametri bibliometrici si potevano fare un'idea e poi di volta in volta consultare il referente d'area per opinioni più mirate. Apriti cielo.

 

Nessuno dice che il numeretto deve essere la tua vita, morte e miracoli, manco fosse il Q.I. nei tempi d'oro dell'istruzione USA che era il passaporta per i college d'orati...

 

Semplicemente il numeretto è un indicatore che va saputo interpretare, come TUTTI i numeri (e i Fisici lo dovrebbero sapere molto bene). Sicuramente un ricercatore con h-index pari alla sua età non è di certo uno scaldapoltrone, ma può essere un ottimo professore o un fenomeno generazionale se si tratta di Medicina o Storia.

Poi la valutazione del singolo è fatta di particolarismi, e lo sappiamo tutti e dovremmo essere tutti abbastanza grandi e vaccinati per rendercene conto. Quindi perchè non rendere pubblici anche i numeri ANVUR? Sono numeri, vanno contestualizzati, sempre, e nella valutazione del singolo in particolar modo, in un ambito più generale, ma sono indicativi "di qualcosa".

Ovvio che 3 pubblicazioni, scelte in modo non banale, non vogliano dire grachè sulla qualità della ricerca individuale.
Tuttavia se da miliardi di Terabyte di dati gli INFN-GR1 riescono ad estrarre una gaussiana a deviazione standard 5 per dire che quello il bosone di Higgs, saranno anche in grado da non farsi abbagliare da un singolo voto in scala 4, no?!

 

La speranza è che, questa sia la prima valutazione, poi ne segua un'altra in cui si valuta la migliore individuale, poi un'altra in cui si valutano le 5 del gruppo, poi un'altra...etc... Uno mette poi, dato che i numeri sono pubblici e pubblicati, un indice generico di VQR-ITA, anche questo da contestualizzare in cui schivare particolarismi etc... ma di cui sono convinto le grandi menti come quelle dell'INFN-GR1 (e GR4 così mi autoincenso un po' anch'io :P) possano farne un ottimo uso. C'è del potenziale, una volta superate le remore iniziali.

Purtroppo credo che a Fantoni (che conosco) un po' manchino le palle per fare una cosa simile, negli incarichi politici si è trasformato in un agnellino rispetto al suo periodo, imho più illuminato, da Montecarlista Multicorpi...

Piu' dubbio il fatto che studenti, e stampa, riescano invece a contestualizzare correttamente tale numero, ma anche aiutati da un placement all'uopo nel resume Cineca, come suggeriva qualcuno, credo non sia così difficile.

Personalmente sarà contento se si apriranno i dati CINECA al pubblico (il dato di cosa una ha "pubblicato" è per definizione "pubblico"). E non vedo cosa ci sia di male nell'aggiungere a fianco dei lavori valutati, il giudizio che hanno avuto.

 

Questo non è "valutare i singoli" (che sarebbe profondamente ingiusto per i motivi sopra riportati), ma semplicemente appendere ad alcuni dati una bandierina che ne segnala la qualità relativa.

 

Tanto ognuno di noi avrà pubblicazioni valutate e pubblicazioni non valutate. Detto questo, non mi aspetto grandi rivoluzioni da una misura del genere.

Gli esperti di settore potranno fare valutazioni che riescono a fare già oggi. Per quel che mi riguarda (la matematica) vado su MathSciNet e trovo dati più completi ed esaurienti di quelli che trovo al CINECA (elenco delle citazioni, recensioni, ecc...) ed è così, di solito, che mi faccio un'idea abbastanza ragionevole di quali colleghi siano dei geni, quali in gamba, quali debolucci o, in qualche caso, cialtroni. Ma le persone non del settore non avranno grandi possibilità di capire. A parte i pochi casi di persone che non pubblicano quasi nulla, come fare a spiegare al grande pubblico che International Journal of Mathematics è una rivista di fascia alta mentre International Journal of Mathematics and Mathematical Sciences è una rivista nella quale basta pagare per pubblicare? Intendo dire che per chi li sa interpretare i dati ci sono già oggi, senza bisogno del CINECA; chi ha bisogno dell'interprete si assume i rischi del caso...

 

Detto questo, sinceramente, non avrà costo zero ma chiedere al Cineca una interfaccia che funziona decentemente e che, soprattutto, importa automaticamente i dati (quantomeno delle pubblicazioni con DOI) sarebbe il minimo. Perché questo VQR sarà anche gran cosa ma finora ha fatto perdere sia a ricercatori bravi che a ricercatori somari un sacco di tempo ad inserire in un database dati che erano già disponibili. Se mi dicono che lo devo fare lo faccio. Ma non mi sembra una allocazione di risorse particolarmente efficiente quella in cui si assumono ricercatori per fargli passare pomeriggi a mettere i loro dati in un sito. (Sì, sì, è un problema da poco... io quest'anno, intanto, ho fatto quest'operazione, curriculum incluso, in almeno 4 siti diversi, visto che il numero di pubblicazioni richieste, il numero di parole del curriculum, la formattazione - ho pure dovuto fare un curriculum in Word perché pare un ufficio della mia Università non sia a conoscenza di una cosa chiamata PDF - erano sempre diversi; ore e ore e ore buttate al vento)

Personalmente sarà contento se si apriranno i dati CINECA al pubblico (il dato di cosa una ha "pubblicato" è per definizione "pubblico"). E non vedo cosa ci sia di male nell'aggiungere a fianco dei lavori valutati, il giudizio che hanno avuto.

Questo non è "valutare i singoli" (che sarebbe profondamente ingiusto per i motivi sopra riportati), ma semplicemente appendere ad alcuni dati una bandierina che ne segnala la qualità relativa.

 Su questo sono sostanzialmente d'accordo. Perche' la cosa sia uniforme ciascuno dovrebbe avere le tre "bandierine" sui propri lavori migliori, non importa se segnalati personalmente o da un coautore (questo perche' per la VQR i lavori son stati segnalati in modo da massimizzare il punteggio della struttura piuttosto che quello del singolo). 

Detto questo, non mi aspetto grandi rivoluzioni da una misura del genere.

Neanche io;  ma se e' gratis, benvenga.

 vedo con piacere che dopo tre giorni di dibattito e un paio di rifiuti a priori la mia proposta inizia a piacere. Nessuno ha detto che sarebbe una rivoluzione - solo un piccolo passo a costo quasi nullo (magari il CINECA riesce a spendere un milione di euro per modificare il suo software..). Ma di questi tempi bisogna fare piccoli passi a costo nullo visto che i soldi non ci sono. Ovviamente, la proposta non sarà adottata. Non saprei neanche a chi farla

Il muro eretto, in primis dall'Anvur, per impedire la pubblicazione dei risultati individuali della VQR serve a coprire l'indicibile. cioe' a impedire che vengano  resi noti  i nominativi dei c. d. "inattivi" (che nei setti anni non hanno prodotto pubblicazioni) e  "parzialmente attivi"  ( che nei sette anni hanno prodotto un numero di pubblicazioni inferiore a quello richiesto). Si potrebbe infatti scoprire quante di queste unita' di personale renitenti alla ricerca sono andate ad occupare (in quanto elette o nominate) posizioni apicali negli organi accademici. Confermando l'identita'  cosi' radicata nel nostro mondo: cattivo ricercatore = gestore ideale del potere accademico.  Anche se, ad onor del vero, ne' la legge 240 (che pure lo prevede per chi voglia entrare nelle commissioni per l'abilitazione) ne' i nuovi statuti dei nostri Atenei prevedono che l'adempimento degli obblighi (visto che tali sembrano essere diventati nella nuova cornice normativa) di ricerca sia requisito indispensabile per essere eletti/nominati negli organi accadedmici.

visto che hai introdotto l'argomento, qualche osservazione.  il SW del Cineca aveva funzionalita' piuttosto scadenti prima della VQR ma e' stato migliorato per la VQR e consente l'immissione automatica dei lavori da ISI web of science almeno. Questo e' un enorme aiuto per chi pubblica molti lavori in collaborazione. In precedenti occasioni avevo dovuto scrivere delle script per aggiornare i miei lavori, perche' al contrario di molti colleghi non sopporto di passare ore in compiti stupidi e ripetitivi che possono essere automatizzati. Considerato che il SW Cineca serve ~50k utenti, si potevano investire piu' risorse e meglio di quanto fatto finora per renderlo funzionale, sarebbero stati soldi e impegno ben spesi che avrebbero risparmiato tempo a molte persone. Ma e' difficile far passare queste idee in una burocrazia formalistica e irrecuperabile alla civilta' e all'efficienza come quella italiana. Tra i difetti maggiori che rimangono ora sono la visualizzazione assurda e inefficiente di lavori con molti autori, la difficolta' di gestire grandi numeri di pubblicazioni, il fatto che sia l'importazione che l'esportazione della bibliografia falliscono senza chiarire il motivo una volta che sia superato un (modesto) numero massimo di pubblicazioni. Il SW Cineca sembra impostato per un ideale di universitario umanistico del millennio passato, che pubblica un libro o un articolo ogni 5 anni da solo o col suo portaborse, incapace di usare la tecnologia se non come dattilografo. Per fortuna che almeno in occasione della VQR si sono dati una mossa, ma ci sarebbe ancora molto da fare.

Su vari blogs, roars in testa divampano polemiche furiose e continue critiche specifiche e non sulle attuali procedure di reclutamento coinvolgenti ANVUR ed i gruppo di valutazione.

Uno degli argomenti più ricorrenti è che in nessun paese vige un simile sistema basato su parametri rigidi etc.

Sono d’accordissimo sul fatto che il sistema di reclutamento italiano non è applicato tal quale da nessuna altra parte.

In Germania, ad esempio, che è il paese che conosco meglio dopo l’Italia, le posizioni di PO e PA (W3 e W2 per la precisione) vengono annunciate pubblicamente una per una ed una commissione fatta di Docenti con rappresentanti delle varie
fasce (studenti undergraduate, dottorandi, post-doc, amministrativi etc.) sceglie il più adatto a ricoprire la posizione.

Non ci sono vincoli tipo le mediane etc. Siamo d’accordo.

Un forte vincolo però è il senso della decenza di quel popolo. Non ci sono state mai mogli, amanti o semplicemente qualche scimpanzè schiavo dell’ordinario di turno a ricoprire posizioni.

Almeno nella mia materia (Chimica) conosco vari colleghi, chi più chi meno bravo ma tutti al di sopra di una soglia che è ben al di sopra della decenza.

Nel nostro paese quando abbiamo avuto lo stessa libertà è sotto gli occhi di tutti cosa è successo. Ope legis a parte (questo meriterebbe un intero post), il meccanismo concorsuale locale, nelle mani di noi “incivili” e senza alcun senso delle istituzioni che rappresentiamo è diventato un modo per autopromuovere praticamente tutti quelli che si poteva. Con il solito atavico criterio degli amici degli amici.

In molte università si è arrivato all’assurdo che una percentuale superiore al 100 % del FFO fosse impegnata in stipendi.

Molte delle affermazioni dei super-critici (roars in testa) sarebbero anche condivisibili ma solo in astratto per uno che viene da Marte. Tenuto conto dello stato attuale, purtroppo, il “commissariamento” delle mediane mi sembra uno dei pochi modi per cominciare ad invertire questa tendenza.

Allora inviterei i colleghi italiani a smetterla di frignare ad ogni passo che fa l’ANVUR, il ministro, il ministero etc. Non ne usciamo affatto bene.
9
Alcuni blogger (vedi il collega De Nicolao critica la nomina politica dell’ANVUR. Ma mi qualcuno mi dovrebbe spiegare chi dovrebbe nominare l'ANVUR?

Il CONI, la CEI, la giuria di Miss Italia?

Finisco con una nota di colore.

Una delle piaghe principali del nostro sistema di ricerca è quella dell’impiego degli scimpanzè nella ricerca scientifica.

Il sito http://action.humanesociety.org lancia una campagna contro l’uso di questi simpatici animali nella ricerca scientifica.

Qualcuno dovrebbe comunicargli che qui in Italia se la passano molto meglio e parecchi se abbastanza schiavi dell’ordinario giusto sono diventati Prof.

Almeno in qualcosa siamo riusciti ad essere all’avanguardia.

i parametri rigidi non piacciono a nessuno, ma in un sistema estremamente corrotto, non c'e' altra misura efficace. Piu' avanti, se e quando cambieranno le cose. si potranno allentare i parametri. 

Inizia una nuova discussione

Login o registrati per inviare commenti