Titolo

I professori perdono il pelo ma non il vizio

22 commenti (espandi tutti)

io sarei per lasciare tutto libero, chiamata diretta, senza concorso, con un criterio standard. I dipartimenti votano con metodo democratico raccomandando al rettore o a qualcuno che abbia a cuore l'obiettivo dell'ateneo o della facoltà. Ci saranno abusi? Si',e sarà un altro incentivo a trasferire le risorse in base alla qualità. 

chiarimenti

ed.perez 22/2/2012 - 19:28

I dipartimenti votano con metodo democratico raccomandando al rettore o a qualcuno che abbia a cuore l'obiettivo dell'ateneo o della facoltà. Ci saranno abusi? Si',e sarà un altro incentivo a trasferire le risorse in base alla qualità. 

potresti spiegare meglio?

grazie

Edoardo

E' il sistema che vige ovunque: ognuno assume chi vuole. Poi le regole interne possono variare, ma in genere i deans mettono a disposizione delle risorse, i dipartimenti scelgono chi assumere in modo democratico (a maggioranza dei compoennti), ma e' il dean a decidere in ultima istanza. Chiaramente questo facilita l'assunzione del cugino o della cognata, ma tanto era facile anche con i concorsi, ci risparmiamo un bel po' di rimborsi spese ai commissari. Chi assume il cugino o la cognata ne paghera' le conseguenze quando il ministero trasferira' loro meno risorse e quando meno studenti si iscriveranno al proprio ateneo. 

mmmm

gian luca clementi 22/2/2012 - 21:01

Andrea, in linea di principio sono ovviamente d'accordo, pero':

Purtroppo le condizioni necessarie affinche' la liberta' di assumere produca guadagni di efficienza non sono verificate. Anche nel futuro prossimo, le risorse attribuite in base alla qualita' della ricerca sono limitate. In secondo luogo, le universita' Italiane hanno una clientela captive di studenti.

La mia richiesta di chiarimenti deriva dagli stessi dubbi di Gian Luca Clementi.

E' certo che a parità di risultati (assunzione del cugino o della cognata) è meglio il sistema meno costoso (ovvero privo di concorsi), così come è vero che per realizare il salto qualitativo (tanto auspicato su nfa) bisogna contestualmente attribuire le risorse sulla base della qualità, o (anche meglio) lasciare libertà agli atenei nella definizione di prezzi e offerta formativa (con buona pace per la pletora di giovani "fondamentalisti" del diritto allo studio).

Non avevo capito il senso dell'intervento.

certo

andrea moro 22/2/2012 - 21:32

ma io credo che il sistema non peggiorerebbe. Un minimo di accountabiliti ci sara' ,vuoi perche' gli studenti bisogna accontentarli, vuoi perche' la stampa ogni tanto fa il suo lavoro

Concordo con quanto dice Gianluca. Aggiungo che il problema non e' solamente che le risorse allocate sulla base della produttivita' scientifica sono insufficienti a costituire un incentivo, ma anche che alcuni parametri alla base di questa quota premiale sono manipolabili.

Per esempio: un indice che conta e' il numero di PRIN e FIRB dell'ateneo che vengono valutati positivamente. Ma le regole son fatte in modo che ogni universita' non possa presentare piu' di un certo numero di PRIN: questo  e' un ulteriore fattore che tende a livellare. 

io le risposte le vorrei dagli italiani - ed in particolare dai raffinatissimi, bravissimi, coltissimi amici di Roars (www.roars.it) che producono sofisticatissime analisi per dimostrare che gli indici bibliometrici fanno schifo e che sono divenuti il punto di riferimento teorico per tutti i contestatori dell'ANVUR

ma da dove arrivano?

Alcuni sono esperti di valutazione (bibliometri?).  E' un campo scientifico in notevole sviluppo, altamente tecnico. Io conosco bene uno di loro, A.baccini di Siena. E' un economista molto intelligente che si è scientificamente innamorato del field e pubblica articoli sofisticati con matematici sulla distribuzione degli errori nelle misure etc.   Sono sicuro che è in buona fede.  In parte si tratta anche di una posizione politica di "sinistra" (università pubblica vs università privatizzata etc. Ho provato a discutere con lui un paio di volte, ma non sente ragione.  Gli altri non li conosco.  Anche ammettendo che siano tutti in buona fede come Alberto, stanno dando munizioni intellettuali ai più biechi reazionari.

gli indici vanno guardati, ovviamente, ma quanto vadano guardati dipende. In certi casi, quando l'attenzione alla qualita' e' al nascere, ed il sistema sta sperimentando forme di concorrenzialita' fra istituti, vanno guardati piu' attentamente ed imposti in modo piu' rigoroso. Poi, man mano che il sistema si "abitua" e la qualita' aumenta, allora vanno progressivamente abbandonati in favore del giudizio personale, combinato con incentivi ovviamente. 

Quando sono i 'bad guys' a comandare e scegliere il personale, bisogna limitare severamente la discrezione, al costo di una qualche rigidita'. Gli indicatori bibliometrici servono proprio a questo.

 

Attraverso questo sistema il reclutamento migliorera' e con esso la frazione di good guys con facolta' di indirizzo. Eventualmente si potra' riconoscere piu' discrezione e diminuire la rigidita'.

 

L'evidenza anedottica negli Stati Uniti indica che le migliori universita' non hanno proprie liste di riviste accademiche, ordinate per qualita'. Universita' meno quotate (come quella per cui lavoro) continuano ad avere tali liste. Essenzialmente, le liste servono al Dean (Preside) per fornire base oggettiva alle decisioni con cui sega i candidati dei dipartimenti cazzoni.

Proprio per questo, in Italia ci vuole una rigidità al 100%.  I good guys sono una infima minoranza e ci vorranno anni per cambiare la mentalità

LA RIGIdità va imposta solo sulla metodologia, e quindi non al 100%. Altrimenti i bad guys troverebbero motivi per ampliare le porcate in materia di autoraggio, pubblicazione e citazione.

RR

si accettasse l'idea che questa forte opposizione all'uso automatico dei criteri bibliometrici si deve al fatto che in alcuni settori di ricerca ciò darebbe un risultato assai diverso alle attese?

Sono anni che vedo girare varie formule di calcolo della qualità scientifica di un ricercatore, e tutte le volte che le applico vedo che premiano persone che nessuno considera, nel mio campo, le migliori. Inoltre premiano alcune tra le peggiori abitudini nel campo delle pubblicazioni accademiche (cordate per la conquista dei comitati editoriali, procedure di referaggio a geometria variabile, creazione di riviste e di citazioni dal nulla). Io non metto in dubbio che forse nel campo dell'economia la regola potrebbe funzionare. Ma so che nel mio campo, la matematica, darebbe pessimi risultati: ho visto premiare da questi numeri persone di qualità veramente discutibile.

Questo non mi riesce di farlo capire a molti colleghi che sostengono, con quello che a me pare eccesso di fanatismo, un uso non "moderato da umani" delle statistiche di citazione. Le abitudini relative alle citazioni variano in maniera incredibile da un settore all'altro. Perchè meravigliarsi del fatto che le statistiche relative alle citazioni misurino, in campi diversi, qualità diverse?

@Carlo Carminati. Mi dispiace deluderti, ma anche nel campo della matematica ho visto commissioni scientificamente inconsistenti. Neanche poche.

 (e i fisici o magari i chimici) la piantassero di guardarsi l'ombelico?  E magari tentassero di capire che nella stragrande maggioranza dei settori disciplinari vige l'arbitrio baronale? Resto sempre in attesa di una proposta alternativa agli strumenti bibliometrici per risolvere il problema

e se magari non esistesse una ricetta unica, che possa funzionare in tutti i casi?

E' normale, credo, che da una comunità in cui molti vedono come una applicazione acritica dei criteri bibliometrici potrebbe portare addirittura ad un peggioramento delle cose, si levino voci critiche. Se le stigmatizziamo e basta otteniamo l'effetto di saldare le vere resistenze conservatrici con delle giuste istanze di cautela. Qui non è che si vuole il meglio: ma certo non andare nella direzione sbagliata.

In questo momento, in matematica, tra una applicazione indifferenziata dei criteri bibliometrici e l'estrazione a sorte del vincitore di concorso credo sarebbe più efficace il secondo metodo (almeno fa strame delle logiche di potere).

Se per risolvere gli incidenti di auto si propone di applicare le regole del traffico aereo a tutti gli spostamenti è facile che i pedoni protestino. Considerarli corporativi o ombelicali non cambia le cose.

Io le ricette le potrei proporre solo per la matematica non per l'ingegneria, la giurisprudenza, la medicina (dove bisogna tener conto di un tipo di pressioni economiche da noi inesistenti), non per le scienze sociali.

Da noi una qualche istituzione scientifica (UMI, IndaM altri?) potrebbe proporre una classificazione delle riviste scientifiche in fasce (eccellenti, ottime, buone, discrete, mediocri) e dire: da qui in poi, per i prossimi 5 anni, si verrà valutati su questa base. Poi tra 5 anni rivedremo questa classificazione. Molto meglio di h-index o statistiche che ragionano su articoli che, nel 80% dei casi, non ricevono neanche una citazione nei primi 5 anni dopo la loro pubblicazione neanche quando sono di buona qualità. E' evidente che le logiche corporative interne (divisione in sottogruppi), baronali, di potere influenzerebbero questa classificazione. Ma non la stravolgerebbero. Meglio ancora sarebbe se questa classificazione la facesse, ad esempio, la Società Matematica Europea.

Servirebbe poi un bel sistema umano di valutazione a posteriori. Quello che si fa in Francia a me sembra funzionare assai meglio del RAE inglese.

Forse non ci siamo capiti o forse lei ignora la legislazione vigente. Quest'ultima impone che le regole dei concorsi siano equali per tutte le discipline. Quindi non è possibile avere regole diverse per l'isola felice di matematica.

Io sostengo che sia necessario usare strumenti bibliometrici per evitare che i baroni continuino a decidere arbitrariamente.  Ho sempre affermato (si rilegga i miei vari interventi) che gli strumenti bibliometrici possano essere diversi a seconda delle discipline. Lei sostiene che a Matematica sarebbe sufficiente una lista di riviste, determinata dalla Società Matematica Italiana e non è necessario usare l'H-index o altri indici basati sulle citazioni. E' esattamente quello che l'ANVUR pensa di fare a Lettere e quello che si fa ad economia. In altre discipline si possono trovare altre soluzioni. Basta che limitino al massimo le valutazioni personali dei baroni.

I Roars (scrivevo soprattutto in risposta ad un certo tono derisorio nei loro confronti) sottolineano alcuni problemi degli indicatori bibliometrici e li sostengo visto che, attorno a me, vedo forte pressioni, in questo momento, per un uso improprio di questi criteri.

Mi si dice che saranno fondamentali nella VQR (anche nella matematica) tant'è che gli uffici della mia università mi fanno pressione per sottomettere alla VQR non i lavori migliori ma quelli con più alto IF.

Mi si dice che saranno fondamentali nella valutazione PRIN tanto che i miei responsabili di unità di ricerca si raccomandano di mettere nella domanda... (non ripeto).

Nelle valutazioni interne che fa il NVA si fa continuo riferimento alla necessità di massimizzare l'IF.

C'è quindi, intanto, il problema dell'uso diffuso di uno specifico indicatore che in alcuni settori ha pochissimo significato. Lo vogliamo considerare un problema di tutti oppure chissenefrega se in qualche settore avrà effetti negativi?

Quel "limitare al massimo", con cui di regola sono d'accordo (immagino se no non scriverei qui) è pericolosamente vicino a "limitare del tutto" (con cui non sono d'accordo per nulla). O pensiamo che ci sia solo tutto o nulla? La differenza tra un indice specifico come h o if e un indice grossolano è proprio quella tra stabilire un ordine totale nel mio insieme o solo (di fatto) un ordine parziale che lascia un margine di manovra alla valutazione umana. Sull'ampiezza di questo margine si può lavorare, e non necessariamente solo modificando leggi (nulla osta, ad es, che all'interno della legislazione vigente, si regolino anche in maniera diversa da settore e settore l'interpretazione da dare ad alcune fomulazioni legali volutamente ambigue). Il margine di manovra umano va accoppiato alla responsabilizzazione. Quest'articolo su noisefromAmerika è esattamente il tipo di strumento con cui in larga parte del mondo accademico internazionale ci si difende dagli abusi. Stigmatizzando i responsabili degli abusi. Campo in cui si può fare ancora molto con poco (mentre parliamo di massimi sistemi ci sono Università che non mettono online i giudizi delle valutazioni comparative con la scusa della privacy). Il fatto che ne compaiano due in pochi mesi (e che uno dei commissari risponda) mi sembra un buon segno.

Non riesco a trovare dove ho detto che la matematica è un'isola felice. E' un area in cui le cose vanno appena appena meglio della media e che con un passo falso peggiorerebbe facilmente.

Resto sempre in attesa di una proposta alternativa agli strumenti bibliometrici per risolvere il problema

Il problema è che certi economisti di lingua italiana, in questi anni, si sono guardati l'ombelico.

La "soluzione" migliore è regolare la metodologia di valutazione (quindi porsi ad un meta-livello, dal punto di vista giuridico), e nel frattempo attivare tutti i sistemi di valutazione che, localmente (per ogni tema), possono costruire la relativa cultura della qualità nelle singole persone.

RR

 

La "soluzione" migliore è regolare la metodologia di valutazione (quindi porsi ad un meta-livello, dal punto di vista giuridico), e nel frattempo attivare tutti i sistemi di valutazione che, localmente (per ogni tema), possono costruire la relativa cultura della qualità nelle singole persone.

 

 Cosa vuol dire?

 

 

Cosa vuol dire?

Regolare la metodologia di valutazione significa porre regole che guidino i Commissari, e quindi tutta la Commissione giudicatrice, nella procedura di valutazione comparativa. Che sia una cosa del tutto realistica, e non campata in aria, lo dimostra il fatto che è proprio quello che fanno gli Inglesi con il loro esercizio di valutazione della ricerca (REF). In linea di principio, è anche quello che si è iniziato a fare nel nostro sistema, in primis con il già citato D.M. per i concorsi da ricercatore e che in futuro si farà anche per le abilitazioni e le conferme in sede locale, solo che (1) qualcosa da dire su come sono scritte queste regole, mi riservo di averla, e (2) io propongo il Segretario di commissione "esterno", dipendente dall'ANVUR, per la cura e il rispetto della metodologia. Un Commissario in meno e un Vigile esterno in più fa pari e patta, e serve allo scopo.

Attivare tutti i sistemi di valutazione significa che c'è molto di più da mettere in piedi, in termini di valutazione, della singola revisione della metodologia dei concorsi. Quindi il rinnovamento viene da un complesso di azioni e non da un solo colpo che fa strike. Ci sono le valutazioni triennali dei singoli, ci sono le valutazioni dei progetti di ricerca da finanziare, ci sono le valutazioni istituzionali delle Università e dei corsi di studio, ci sono le valutazioni ex-post della ricerca, ci sono le commissioni per l'integrità e l'etica nella ricerca, ecc.

Tutto questo, ça va sans dire, non ha niente a che vedere con le agognate classifiche propagandate da alcuni economisti di lingua italiana, ma è quello che serve, e che in effetti si fa altrove e qui non si è mai fatto.

RR