I bambini so' piezz'e core...

11 agosto 2009 alberto bisin

Ma intanto difendiamo gli insegnanti.

La notizia del giorno è di per sé abbastanza scovolgente: i test Invalsi (Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione) sui bambini di terza media sono stati significativamente falsati al Sud del paese.  Essenzialmente, pare di capire, insegnanti e presidi hanno fornito un aiuto ai ragazzi. La cautela è dovuta al fatto che la scoperta è il risultato dell'applicazione di metodi statistici di vario genere e non della scoperta diretta dei fattacci, ovviamente. Questo leggiamo sul Corriere:

«Dal campione emergono, in maniera evidente, dei segnali che indicano comportamenti opportunistici in alcune scuole», si legge nella presentazione ufficiale dei dati. «Il fenomeno è abbastanza marcato», afferma Roberto Ricci, esperto di valutazione. È evidente che in alcune scuole del Sud presidenti di commissione e commissari continuano a voler dare una mano ai ragazzi, nonostante la dimensione dell'esame, le finalità scientifiche della prova, le raccomandazioni del ministero.

L'intero rapporto Invalsi  è qui.

Ma la cosa più sconvolgente è la reazione, almeno quella che il  giornalista del Corriere attribuisce al "qualcuno si chiede":

  1. o si molla tutto e non si fanno più test, oppure
  2. si fanno test su campioni ristretti in modo che gli insegnanti e le scuole non si sentano giudicati dai risultati dei propri studenti (nell'articolo questa appare come la proposta di Benedetto Vertecchi, pedagogista - sic).

E a cosa servono i test se non per giudicare gli insegnanti e le scuole? Ai bambini condannati all'ignoranza da insegnanti senza scrupoli chi ci pensa?

In galera, in galera! (gli insegnanti, non i bambini)

P.S. A proposito, chiedo ai nostri giuristi, cosa dice la legge,

  1. l'insegnante che passa il compito (a un test Invalsi) commette un reato?
  2. la "prova" statistica è sufficiente per incriminarlo?

65 commenti (espandi tutti)

CARRIARMATIINPIAZZACECCHINISUITETTI. 

Ho letto anch'io l'articolo. Io manderei l'esercito - punto. Al pedagogista, poi, chiederei quanto è pedagogico che gli insegnanti favoriscano la scopiazzatura dei loro allievi per evitare di venire puniti/valutati. Che lezione di vita: non farti il mazzo, tanto qualcuno dall'alto ti proteggerà sempre il posteriore. WOW.

Forse è perchè vengo da quella zona eletta del Paese che con forza e arroganza ha unificato il Paese, ma mi chiedo se, davvero, in questi casi, democrazia, diritti umani, stato di diritto non vadano "sospesi" per risolvere velocemente queste sacche di criminalità e ignoranza che affliggono il Paese...

 

 

mi chiedo se, davvero, in questi casi, democrazia, diritti umani, stato di diritto non vadano "sospesi" per risolvere velocemente queste sacche di criminalità e ignoranza che affliggono il Paese...

Ma non è quello che i sabaudi fecero all'epoca del brigantaggio? Non la democrazia, che non c'era, ma tutto il resto venne sospeso. Doesn't look like it worked...

quella zona eletta del Paese che con forza e arroganza ha unificato il Paese

Beh, Andrea, a puro titolo di constatazione, non sarei così sicuro che tale impresa sia unanimemente considerata un merito, almeno dalle mie parti .... :-)

 

 

Il soprascritto Marco Boninu certifica che l'ancora più soprascritto Andrea Gilli in genere non dice le cose che ha scritto qui oggi ;-)...deve essere stato un post preterintenzionale...caldo e afa possono avere influito :-)

Io manderei l'esercito - punto.

Nel senso che, secondo te, mandare i militari sarebbe sinonimo di garanzia? Un gruppo più o meno numeroso di sottufficiali e di truppa annoiati e senza nessuna vera motivazione per mantenere la disciplina? Molti dei quali di età più simile ai ragazzini delle medie che ai professori?

Magari mi sbaglio ma tanto varrebbe mandarci i pescivendoli...

Il problema del Sud Italia in generale è di debolezza dello Stato. Ciò è dovuto anche al basso senso civico (come ha dimostrato Putnam). Le due cose formano un circolo vizioso. Poichè i warlords che dominano il Sud non hanno alcuna intenzione di cambiare questo sistema, l'unica soluzione può venire dallo Stato centrale: non puoi creare il senso civico, ma almeno puoi imporre il rispetto della legge. In questo senso andava inteso il mio commento sarcastico sull'uso dell'esercito.

Ecco tutto. 

Viste le attuali dinamiche elettorali, e il sistema di incentivi tanto della politica di Roma che di quella meridionale, se non si prendono misure drastiche, io vedo due possibili scenari.

1) Tutta l'Italia diventa una sorta di Somalia, solo con qualche reperto archeologico e artistico in più.

2) Il Nord si stacca e arrivederci Roma. Il fatto che alle recenti europee, la Lega abbia toccato percentuali bulgare (46% in alcune province, addirittura 30% o giù di lì nella Rossa Torino), mi sembra indicativo di questo trend.

2) Il Nord si stacca e arrivederci Roma. Il fatto che alle recenti europee, la Lega abbia toccato percentuali bulgare (46% in alcune province, addirittura 30% o giù di lì nella Rossa Torino), mi sembra indicativo di questo trend.

La LN non ha raggiunto il 46% in alcuna provincia nel 2008 e 2009, forse l'ha raggiunto in alcuni collegi corrispondenti al vecchio sistema uninominale, come l'aveva raggiunto successivamente al 1996 per es nelle suppletive di Tradate (46.6%).  Nella prov. di TO la LN ha ora molto meno del 30%, che forse raggiunge in alcuni comuni della provincia.  Tuttavia come scrive MB e' vero che molti in Italia si stanno dando da fare molto attivamente, e non da oggi, per aumentare il consenso alla LN in tutto il Nord che lavora e non bara.  Ma ci sono dei vantaggi: senza la minaccia minimamente credibile di una futura separazione anche solo fiscale del Nord produttivo ritengo che sia impossibile riformare positivamente lo Stato italiano.  Sta alla scadente classe dirigente italiana scegliere se proseguire nel peronismo sudamericano oppure cercare di emulare il piu' civile modello nord-europeo.

se non si riesce con la legalità e lo stato di diritto figuriamoci con l'esercito. dubito comunque che in molte zone del meridione ci sia uno stato di diritto reale.

Questa e' una delle tante "risposte" della societa' meridionale al sistema degli incentivi vigenti nello Stato italiano (organizzato e diretto da una Casta con significativa partecipazione della societa' meridionale stessa). Quando non si fanno valutazioni nazionali omogenee e serie ma si da' l'aiutino sottobanco e si procede per espedienti, trucchi e imbrogli basati al massimo sul "pezzo di carta", si ottiene quanto documentato nel rapporto Invalsi.  Suggerisco di rimpiazzare il link indiretto su lastampa.it con quello diretto: http://www.invalsi.it/download/rapporto/Rapporto_PN_prime_analisi.pdf.

Grazie Alberto. Cambiato il link. 

Sembra, quasi, di sparare alla Croce Rossa.

I comportamenti in ispregio di correttezza e legalità, in alcune parti del Paese, sono talmente diffusi ed evidenti, che ci si chiede persino se ancora sia utile rimarcarli. Sì, perché le considerazioni che non possono che derivarne - e che mettono inevitabilmente sul banco degli imputati la cultura dominante in interi territori, e le locali classi dirigenti che ne sono portatrici e corresponsabili - si scontrano immediatamente con levate di scudi ed accuse di razzismo: ho dato un'occhiata, per curiosità, al sito de "Il Mattino" di Napoli, dove la notizia vien data correttamente ma, nei commenti dei lettori, accanto ad un'indignata accettazione della realtà, si erge per la sua involontaria e tragica comicità un'opinione frutto di una paradigmatica chiusura mentale.

Eppure, bisogna insistere. E rifiutarsi di accettare la logica secondo la quale i problemi son minori di quanto appaia, la colpa è sempre d'altri e, comunque, per uscire dalla quotidiana valle di lacrime basta destinare più fondi: ma come, (dis)onorevole Micciché e relativi "compagni di merende" d'ogni colore, ancora?

Premesso che non ho letto le 180 e passa pagine del rapporto dell'Invalsi (e che quindi mi baso sugli articoli di Repubblica e del Corriere) vorrei spendere due parole sull'analisi statistica dei dati.

Ipotizziamo che sia vero e che gli insegnanti al sud abbiano barato nei test per far aumentare il punteggio dei propri allievi. Era una cosa prevedibile? Bhè, che ci potessero essere casi del genere chi preparava un test di questo tipo se lo poteva aspettare e, aspettandoselo, poteva prevedere controlli da fare sul momento o controlli da fare a posteriori. Questo è stato fatto? Forse ma negli articoli comparsi sui quotidiani non ve ne è traccia. L'impressione che passa è che quelli dell'Invalsi si siano trovati davanti a dati che cozzavano brutalmente con le proprie aspettative ed abbiano quindi cercato di applicare metodologie statistiche varie in modo da ottenere un risultato in linea con le previsioni.

Anche nell'ipotesi (plausibile o almeno possibile) che alla fine abbiano ottenuto il risultato giusto la metodologia è assolutamente scorretta e a-scientifica. Se sospetto che possano esserci dei brogli decido prima di fare il test che applicherò una data metodologia di analisi e poi, una volta che ho i dati in mano, la uso senza cambiarla. Se la mia metodologia prevedeva la scelta di parametri arbitrari (threshold e cose simili) anche questi parametri vanno scelti senza aver ancora visto i dati. Altrimenti, consciamente o meno, si finirà sempre per ottenere il risultato atteso. Se poi viene fuori che i risultati del test sono inattendibili l'unica cosa onesta da fare è dichiararli tali e, se possibile, ripetere l'esperimento.

Mettere in campo millemila tecniche statistiche per "dimostrare" che, nonostante i dati dicano altro, la mia ipotesi iniziale era giusta è barare.

Ipotizziamo che sia vero e che gli insegnanti al sud abbiano barato nei test per far aumentare il punteggio dei propri allievi. Era una cosa prevedibile? Bhè, che ci potessero essere casi del genere chi preparava un test di questo tipo se lo poteva aspettare e, aspettandoselo, poteva prevedere controlli da fare sul momento o controlli da fare a posteriori. Questo è stato fatto? Forse ma negli articoli comparsi sui quotidiani non ve ne è traccia. L'impressione che passa è che quelli dell'Invalsi si siano trovati davanti a dati che cozzavano brutalmente con le proprie aspettative ed abbiano quindi cercato di applicare metodologie statistiche varie in modo da ottenere un risultato in linea con le previsioni.

Per quanto so stiamo parlando del primo test di questo tipo condotto in Italia.  Mi sembra ovvio che non possano aver pensato a tutto, anche considerati gli standard non eccelsi di efficienza istituzionale dei ministeri romani.  Ho l'impressione che nella prima iterazione di questo test si siano limitati a delle raccomandazioni, come sembra evidente da quanto afferma un esperto citato dal Corriere della Sera:

«Dal campione emergono, in maniera evidente, dei segnali che indicano comportamenti opportunistici in alcune scuole», si legge nella presentazione ufficiale dei dati. «Il fenomeno è abbastanza marcato», afferma Roberto Ricci, esperto di valutazione. È evidente che in alcune scuole del Sud presidenti di commissione e commissari continuano a voler dare una mano ai ragazzi, nonostante la dimensione dell'esame, le finalità scientifiche della prova, le raccomandazioni del ministero.

Se e' vero come scrive RR che gli insegnati sono considerati pubblici ufficiali e addirittura sanzionati penalmente con apposito articolo del CPP in caso di imbrogli nelle valutazioni degli studenti, credo che il Ministero non potesse ragionevolmente andare oltre delle raccomandazioni, almeno fino a prova contraria.  Prova contraria che ora hanno, e infatti ora ho sentito proporre provocatoriamente di far amministrare i test successivi dai Carabinieri (suggerirei di evitare i paesani degli studenti tuttavia...).

Per quanto riguarda il coefficiente di cheating e le correzioni applicate ai punteggi segnalo che in un riquadro allegato all'articolo che cito sopra il Corriere della Sera afferma che i controlli anti-cheating sono fatti di routine nei Paesi che fanno abitualmente test di questo tipo e i risultati forniti sono generalmente presentati solo dopo le correzioni anti-cheating.  Ritengo pertanto che l'Invalsi abbia usato tecniche conosciute e copiate altrove, e quindi non inventate in tempi recenti e magari disegnate allo scopo di far tornare i dati come se li aspettavano.

Io ho una modesta proposta a costo zero. Prendiamo il fondo che finanzia gli inutilissimi mille euro ai 100 e lode della maturità e diamoli agli insegnanti, proprio così, agli insegnanti, in base ai risultati dei loro studenti nei test invalsi, in un gioco a somma zero, e mettiamo questi insegnanti a monitorare gli esami degli alunni di una scuola vicina a sorteggio. 

Il 18 giugno 2009, per la seconda volta nella storia della scuola secondaria di I grado italiana, si è
svolta la Prova nazionale, predisposta e distribuita in ciascuna scuola dall’INVALSI.

(pagina 2 del rapporto)

Dal che ne deduco che sia la seconda volta e che quindi la scusa dell'ingenuità ("non ci aspettavamo che qualcuno barasse") non regge. Comunque sia chiunque abbia un vago ricordo delle media sa benissimo che gli studenti copiano alla grande anche quando i prof stanno attenti (io di professori in grado di non far copiare veramente nessuno ne ho conosciuti due o tre i tutta la mia carriera scolastica) e quindi era largamente prevedibile che ci sarebbe stata una parte dei risultati falsati da copiature e/o da comportamenti non proprio rigorosi degli insegnanti.

Poi se del problema del cheating da parte degli insegnanti ne aveva parlato Ichino alle giornate Fiorentine non capisco perché fosse impossibile pensarci per quelli dell'invalsi.

[rimosso dall'utente]

Ma siccome problemi simili sono noti in Italia approssimativamente dal 1865 - e siccome io della pubblicazione scientifica in ritardo di 150 anni me ne faccio il giusto - vorrei capire, al di là della portata scandalistica, la rilevanza di queste preziose rivelazioni... Cioè, a parte constatare che manca l'intenzione di risolvere il problema (altra novità!), di che stiamo parlando?

Non parliamo di un testo scientifico ma di un' articolo di giornale: se molti altri accusano di manipolare i dati per ottenere i risultati voluti è giusto che qualcuno riporti la discussione nei binari.

Tra l'altro certi fatti noti da 150 anni sono continuamente (e ridicolmente) messi in discussione, anche in buona fede e pure nei commenti a questo articolo.

[rimosso dall'utente]

Il 18 giugno 2009, per la seconda volta nella storia della scuola secondaria di I grado italiana, si è
svolta la Prova nazionale, predisposta e distribuita in ciascuna scuola dall’INVALSI.

(pagina 2 del rapporto)

Dal che ne deduco che sia la seconda volta e che quindi la scusa dell'ingenuità ("non ci aspettavamo che qualcuno barasse") non regge.

In una situazione degradata come quella italiana mi sembra tuttavia fuori luogo annunciare pubblicamente che si sarebbero usate tecniche di correzione per i bari.  Molto meglio non dire nulla e poi prendere nel sacco i polli che ci cascano.

Non mi sembra proponibile poi la tesi che l'Invalsi abbia ideato delle tecniche di correzione ad hoc in 2 mesi per far tornare i risultati. Al contrario l'Invalsi mostra di aver impiegato tecniche consolidate e sperimentate, elaborate prima della prova di giugno 2008, e documentate nelle referenze elencate nel rapporto stesso:

  • P.P. Biemer, R. M. Groves., L.E. Lyberg., N.A. Mathiowetz, S. Sudman. (1991), “Measurement Errors in Surveys”, Wiley, New York.
  • R. Castellano, S. Longobardi, C. Quintano (2007), “Una procedura di qualità basata sulla fuzzy clustering per l’individuazione e la correzione dei dati anomali nell’ambito del Servizio Nazionale di Valutazione scolastica degli Apprendimenti (SNV)”, FINVALI.
  • J. C. Bezdek (1981): "Pattern Recognition with Fuzzy Objective Function Algoritms", Plenum Press, New York
  • J. C. Dunn (1973): "A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters", Journal of Cybernetics 3: 32-57
    BIEMER P.P., GROVES R.M., LYBERG L.E., MATHIOWETZ N.A. e SUDMAN S. (1991), Measurement Errors in Surveys, Wiley, New York

 

Per quanto so stiamo parlando del primo test di questo tipo condotto in Italia. 

http://www.corriere.it/cronache/08_ottobre_07/test_medie_tredicenni_ocse_e17fc8f4-9431-11dd-a0d8-00144f02aabc.shtml

E’ già accaduto.

Bisognava prevederlo. Secondo me l’unica soluzione consisterebbe nell’affidare il test a un’agenzia esterna, ponendo  come vincolo di non reclutare in loco i controllori.

Le correzioni statistiche (mi esprimo certamente in termini impropri, siate indulgenti) ora saranno l’occasione di strumentalizzazione e piagnistei.

Certo quando si dice sud, si taglia con l’accetta. Interessante la coincidenza fra regioni che hanno barato, regioni in cui sono stati distribuiti a pioggia 100 e lode alla maturità (le eccellenze della  Puglia rispetto alla Lombardia lasciano perplessi: con una simile concentrazione di straordinari talenti, unica, oserei dire, in Europa, la Puglia dovrebbe trainare l’intero Paese), regioni tradizionalmente generose nel dispensare abilitazioni professionali, regioni che hanno abilitato in seno a concorsi regionali per dirigenti scolastici un numero esorbitante di dirigenti scolastici, poi spediti in lunga teoria in regioni del nord che nei loro concorsi (tra i requisiti dei bandi dei concorsi svoltisi al nord, ovviamente, non c'era l'appartanenza alla "pura razza padana") avevano rispettato le regole

Sono poi anche le  regioni di provenienza di coloro che  accusano di razzismo chiunque denunci queste vistose iniquità che vengono scaricate sugli altri: tentare di impostare una discussione serena su questo tema molto scottante con chiunque in vario modo ne sia direttamente coinvolto è impossibile: si degenera subito e chi è realmente defraudato (espropriato in casa propria) viene subito accusato di gretto egoismo e di razzismo, sfoderando il vieto repertorio leghista, strumentalizzato come arma contro chi quel repertorio disprezza .

Il razzismo della Lega, il fuoco di fila delle trovate farsesche e folkloristiche, nonché certi suoi esponenti imbarazzanti  e assai discutibili, prestano il fianco ad una strumentalizzazione deleteria. Perché non si può affrontare questo conflitto (di conflitto si tratta, è inutile girarci intorno), affermando limpidamente il principio della responsabilizzazione, per cui ognuno deve farsi carico delle proprie inefficienze senza scaricarle sugli altri, studiando i modi della concreta realizzazione di tale principio, banditi  tutti quegli inutili orpelli che respingono gli strati del nord colti e aperti, che di sicuro sono disgustati, per dirne una,  da Borghezio (giova alla causa un Borghezio?).  

Se provo ad argomentare con le parti in causa è facile (in malafede certamente) da parte di chi ha interesse a non mettere in discussione l’assistenzialismo in tutte le forme concrete in cui esso si incarna, sentirmi rinfacciare di considerare i terroni merdaccia come Borghezio. Io ?? E’ un accusa ributtante, ma mi tocca difendermi da accuse pretestuose. Per dirla tutta il campanilismo, che lascia me tutto indifferente,  lo trovo, invece, tra i meridionali, e mi pare sia  da considerarsi spirito di rivalsa che alimenta una mitologia fasulla. Queste discussioni finiscono sempre con i meridionali, quelli del sud e quelli del nord, che puntano il dito sulle inefficienze del nord (e chi le nega) e sul nero, invocando il carcere per gli evasori (possibile che, prima di puntare il dito,  non ci si renda conto che, se si applicasse tale rigore, al sud l’edilizia carceraria conoscerebbe un’impennata – certo frutterebbe tanti posti statali... –   e che non ci si domandi chi paga gli stipendi statali e chi ripiana i debiti di certe amministrazioni locali, accumulati non si sa bene come). A proposito dello scandalo dei dirigenti scolastici, mi sono sentita dire: sono più generosi al sud, perché, si sa, al nord ci sono più possibilità di lavorare. A parte tutto il resto che si commenta da solo, ma si può dire riguardo a dei dirigenti: eh poverini hanno bisogno di lavorare? Un ruolo dirigenziale è un ammortizzatore sociale??

Ogni volta la replica comincia così: "E' dal 1861 che..." o__O  E poi continua "Ci avete sfruttati e depredati" o__O . E vengo accusata di ignorare la questione meridionale. Ma forse l'accusatore ignora che siamo nel 2009...

Certo, date le premesse, non si spiega tanta affezione ad un nord sopraffattore, sanguisuga e parassitario ...

Poi il meridionale che accusa di egoismo il settentrionale che si sente espropriato, è il primo a difendere con pseudo–argomenti  assai discutibili la propria posizione, quando essa è insidiata, allora non riconosce  più il “fratello terrone” (non entro nei dettagli tecnici, perché la faccenda sarebbe lunga ed eccentrica). Fa orecchio da mercante l’interlocutore a cui cerco di spiegare che del  lassismo docimologico o delle irregolarità o della corruzione a me non importerebbe nulla (mai andata in giro a raddrizzare le zampe ai cani), se tutto ciò non si ripercuotesse anche su di me. Questo è l’unica forma di egoismo (che da poco accetto come sano) che mi si possa imputare. A me non interessa la gara delle iniquità o delle eccellenze (nessun campanilismo, nessuna permalosità personale, perché la questione non è personale, non mi sento affatto punta sul vivo, eppure mi tocca mandare giù di essere assimilata all'abominevole Borghezio (!) e mi tocca ogni volta specificare una cosa per me non solo ovvia, ma addirittura naturale, cioè che tra i meridionali ci sono talenti, elementi mediocri e incapaci come tra i settentrionali, questo è fuor di questione!), mi interessa invece in concreto la distribuzione dei costi.

 

Molti al nord hanno introiettato un senso di colpa (atavico? Instillato nell’arco di quindici decenni?), che connoterei come sinistrorso, per cui riesce arduo far cadere il  velo ipocrita (io stessa me ne sono spogliata solo recentemente) per il quale la rivendicazione di un maggior grado di equità viene percepita colpevolmente come mancata solidarietà o addirittura egoismo. Si dovrebbe rendere accettabile il messaggio che non è un dato ineliminabile, quasi addirittura naturale che una parte del Paese sia mantenuta dall'altra. Soltanto la diffusione di maggior informazione asettica e di una progettualità ispirata al pragmatismo, contribuirà a lasciare finalmente la Verità ignuda, caduti i veli ipocriti,  e legittimerà rivendicazioni politiche conseguenti (peraltro  penso alla lunga davvero nell’interesse di tutti: quanto più diffuso è il benessere, tanto più si può aspirare a parteciparvi). Puntare alle pance degli elettori più rozzi, celti e longobardi nel duemila (?!), paga davvero?

 

Puntare alle pance degli elettori più rozzi, celti e longobardi nel duemila (?!),  paga davvero?

Due osservazioni.

Borghezio nella LN conta molto poco: non e' mai stato fatto ministro e per quanto so non e' nemmeno mai stato dirigente di partito di una minima importanza.  Borghezio e' un personaggio istrionico che assume importanza spropositata nella propaganda antileghista, e per questo poi prende le preferenze alle europee da parte di chi e' schifato dal sistema.

Seconda osservazione: ci hanno tentato in tanti a fare una LN "pulita": l'APE, V.Gnutti, Pagliarini, spesso persone colte preparate oneste. Non hanno mai avuto successo perche' 1) chi vota in Italia, anche al Nord, e' poco alfabetizzato e poco informato 2) c'e' uno scollamento superiore ad ogni altro paese comparabile tra elites e classi popolari. La LN ha successo perche' in qualche modo sa parlare alle classi popolari, esattamente come DC e PCI sono riusciti a far presa sulle propensioni ideologiche e religiose delle masse del Nord e sul pragmatismo clientelare delle masse meridionali, propinando una montagna di stupidaggini senza fine. Non e' possibile in Italia, anche a Nord, un partito di massa del genere nord-europeo: come scrive Tullio De Mauro ci sono secoli e secoli di ritardo di alfabetizzazione da recuperare prima.

Per far comprendere il livello del dibattito, cito da un forum di insegnanti dal quale sono stata bannata (non è gradito chi non è organico alla linea dell’amministrazione e dellla maggioranza degli utenti, a cui piace darsi ragione tra di loro, e che ovviamente sono interessatati a mantenerlo status quo e assistenzialismo, considerato un indiscutibile e ineliminabile dovere del nord e diritto del sud). La discussione partiva dalla considerazione dei voti anomali della maturita (mi piace ricordare a questo riguardo le dichiarazioni della direttrice dell'ufficio scolastico della Puglia, Lucrezia Stellacci, non della Lega: «Mi piacerebbe sostenere che gli studenti pugliesi siano i migliori di Italia  e in effetti i nostri ragazzi riescono a ottenere ri sultati eccellenti grazie alle loro straordinarie doti. Tuttavia, avendo lavorato anche in altre regioni, non posso nascondere che certi risultati non sono dovuti solo alla bravura dei discenti, ma anche ai diversi metri di valutazione».). Chi ha aperto il topic lo ha fatto in termini trionfalistici: la riscossa del sud, ecco chi sono quelli veramente bravi, con il solito spirito di rivalsa che alberga solo al sud.

Sono stata accusata di essere una becera razzista, un'ignorante da osteria, un’infiltrata filogovernativa (!?!) e anche minacciata di essere denunciata  con annessa richiesta di risarcimento (da un utente così ottuso e cretino e pieno di sé da pensare di essere intelligente o addirittura geniale: l'inconsapevolezza e la convinzione strette in un abbraccio mortale), ogni mia affermazione è stata fraintesa maliziosamente (a volte persino in buona fede… il che forse è pure peggio: il livello è infimo), distorta, piegata strumentalmente ad esprimere contenuti  che prestassero il fianco a manipolazioni, per eludere, consapevolmente, ma anche incosapevolmente (l'ideologia è pervasiva e obnubilante) il nodo della responsabilizzazione e dell'emancipazione economica. I dati vengono ignorati  (maliziosamente, ma anche per colpevole disinformazione) o manipolati

 

Statisticamente al nord sono molto più ignoranti: io ho parenti al sud ed al nord e quelli al sud sono quasi tutti laureati, mentre quelli del nord no.

 

E non si tratta dell’utente più estremista e, almeno lui,  non è neppure in malafede, ma proprio convinto. Uno "ha arricchito" il dibattito incollando "i primati del Regno delle due Sicilie"... I rifiuti tossici poi stanno sempre in mezzo

E’ come cercare di parlare con un muro. C’è molta malafede, ma, ahimé, anche una diffusa ignoranza. Quando si dice che il nord traina il sud, i più, compresi gli insegnanti settentrionali, ai quali sono stati inculcati il senso di colpa, il dovere della “generosità” fino al masochismo  o alla dabbenaggine e uno stoico ed equivoco dovere di solidarietà (essere scavalcati a casa propria dovrebbe invece essere considerato, seppur con fatica, accettabile soltanto se vigesse la meritocrazia), pensano che si tratti di becera propaganda leghista e non di un dato di fatto. Ci sono tabù duri a morire. Chi prova a mettere in discussione quel "dovere" viene tacciato in malo modo di razzismo, di ignoranza e di gretto egoismo, per risvegliare il senso di colpa.

Conosco bene quel senso di colpa e quel senso del dovere, è il velo ipocrita di cui parlavo prima e di cui io stessa mi sono spogliata solo ieri.

Ecco perché considero importante diffondere informazione, non propaganda, con pacatezza e abbassando i toni, estirpare l'ideolgia, stimolare la coscienza critica. Certe manifestazioni viscerali e intemperanti sono dannosissime.

Non sarebbe stato più facile mandare gli ispettori piuttosto che raffrontare i dati dei test con le medie dell'anno scolastico e da quello calcolare il "tasso di cheating"? Ah certo, in italia ci sono 150 ispettori...

la "prova" statistica è sufficiente per incriminarlo?

Spero, con tutto il cuore, di no.

Usare "prove" statistiche per incriminare no, ma per annullare i test si...

 

Chiaramente non si possono mandare in galera gli insegnanti con prove ``statistiche''. Ci mancherebbe altro che questo. Sono un po' perplesso da queste .

Il rimedio al problema nel test e' piu' semplice: introdurre 3-4 test diversi, ognuno dato nella stessa classe. Il costo aggiuntivo e' minimo, e si evita il problema. A questo hanno gia' pensato nei paesi piu' ``avanzati'' (il che fra l'altro dimostra che la natura umana e' generale, e che questi non sono solo problemi di Posillipo).

Invece, per la stampa italiana non c'e' rimedio, quella andra' sostitutita con personale nuovo e fresco.

 

Invece, per la stampa italiana non c'e' rimedio, quella andra' sostitutita con personale nuovo e fresco.

Anche repubblica ieri citava questa roba. La chiosa dell'articolo e' da pulitzer:

E se l'anomalia venisse spiegata diversamente? Nelle elaborazioni Invalsi i risultati vengono anche disaggregati in base all'origine degli alunni: italiani (autoctoni) o non italiani. I punteggi degli alunni stranieri, anche per via del test di lingua italiana, sono di gran lunga inferiori a quelli dei coetanei nostrani. E siccome nelle regioni settentrionali la percentuale di alunni stranieri è sei volte superiore a quella delle regioni meridionali. Perché i migliori risultati del Sud devono essere attribuiti a comportamenti anomali e non alla minore presenza di alunni stranieri?

 

Alberto,

Il tuo post mi sembra che diua per scontato che la procedura statistica utilizzata per "correggere"i dati sia valida, tanto e' vero che addirittura ti chiedi se possa essere usata come "prova" legale. Immagino tu abbia letto il rapporto ed in particolare l'appendice 5, che riporta il metodo usato. Leggendo a me qualche dubbio mi e' venuto. In particolare il rapporto usa 4 indicatori per individuare le classi "opportunistiche", media delle risposte giuste per classe, variabilita' introno alla media, un indice di risposte mancate e un indice di risposte "comuni" (incluse le corrette). Almeno tre degli indici, i primi due e il quarto, sono ovviamente correlati alla performance della classe. 

Infatti, riporto dall'appendice 5:

Ciò permette di interpretare la prima componente (asse orizzontale) come l’asse che identifica le classi anomale, ovvero caratterizzate da un punteggio medio prossimo al 100% del punteggio massimo conseguibile ed una variabilità quasi nulla rispetto a j p , mentre le scuole che si proiettano sulla parte positiva della prima componente saranno caratterizzate da valori medi più contenuti e valori degli indici di variabilità nella norma.

Il secondo asse (asse verticale) è caratterizzato principalmente dall’indicatore e può, quindi, essere interpretato come un indicatore del grado di adesione (propensione a rispondere) della scuola presa in considerazione.

In sostanza il rapporto individua automaticamente le classi con migliori risultati come quelle che hanno una probabilita' maggiore di aver copiato. Con questa metologia e' ovvio che i risultati siano stati ribaltati, non poteva essere altrimenti. Non trovi?

Metodi statistici si usano correntemente per scovare cheaters nei compiti a risposte multiple, ma questi si basano soprattutto sulle risposte uguali non corrette, un indicatore curiosamente tralasciato dal rapporto.

 

Vincenzo: ho visto anch'io l'Appendice. Ammetto che non conosco bene quali siano i metodi "classici", ma mi par ovvio che gli indici siano correlati alla performance: chi copia fa meglio, e quindi e' fra questi che cerchi i copiatori - e' come "profiling" per etnia all'aeroporto - quelli di un'etnia che di solito lancia bombe vengono controllati con piu' frequenza - o per razza sulle autostrade amerikane. . 

Non ho letto i servizi del Corriere e di Repubblica (da dove sono non riesco sempre a trovare giornali italani). Tuttavia ero al corrente dei sospetti che nei test INVALSI gli scolari potessero essere aiutati dagli insegnanti, perché se ne è discusso tra matematici. Del resto è risaputo che spesso questo avviene anche nelle prove di matematica della maturità. Credo che lo INVALSI stia mettendo a punto metodologie che evitino almeno l'interesse diretto degli insegnanti che sorvegliano le prove ad un esito positivo delle prove stesse.  L'ideale sarebbe che fossero in conflitto di interesse, cioè che i risultati dei loro studenti fossero giudicati in base al confronto con i risultati degli studenti da loro sorvegliati. Mi fa ridere l'idea che il comportamento "misericordioso" degli insegnanti possa costituire reato. Noi italiani siamo abituati dalla scuola a considerare lecito "copiare" i compiti del compagno più bravo e vergognoso ed arrogante per uno studente bravo il rifiuto di passare il compito al compagno meno bravo. Andando a studiare negli SU si impara che cosa vuol dire lo "honour system". Su questo la citazione più interessante è quella del libretto di Gaetano Salvemini "Memorie di un fuoruscito". Tuttavia, debbo aggiungere che sospetto che anche i risultati dei test PISA di altri paesi possano essere truccati, come erano truccati i risultati degli atleti dei paesi dell'est europeo. Infatti una delle concause del basso endimento degli studenti italiani ai test PISA è (o meglio era) la  scarsa importanza data al test da studenti e insegnanti.

Cioè in altri paesi si "allenano" espressamente al test PISA e da noi no?  

[La mia domanda tradisce una sesquipedale ignoranza in merito al PISA test; ma l'affermazione del prof. FT fa pensare che altrove qualcuno "is gaming the system" ]

A conferma che barare non e' sport esclusivamente italico (qui, qui, qui e qui)

Non so pero' quale sia il livello di validita' del test PISA in particolare.

 

 

JB, sono complessivamente in disaccordo con il tuo commento. Mi sono letto le note metodologiche (appendice 5) del testo INVALSI e mi sembra che siano analisi corrette pur con tutti i  limiti degli studi osservazionali.

Devi tenere presente che gli errori sistematici non sono sempre eliminabili tramite il disegno dell'indagine. Che tipo di controlli a priori e posteriori proponi? In questo caso la distribuzione di questionari differenti come propone Aldo Rustichini puo' essere utile per ridurre gli scopiazzamenti tra studenti, ma non ha nessun effetto se l'insegnante suggerisce le risposte corrette agli studenti. Evitare questo secondo errore sistematico avrebbe richiesto l'invio di commissari in ogni classe e probabilmente l'allontamento degli insegnanti di ruolo dall'aula durante il test.

Riassumo per i lettori qui di seguito i passaggi metodologici adottati da INVALSI

1- Hanno presentato i risultati grezzi

2- Hanno proposto 4 indicatori che gli autori ritengono siano correlati con la probabilita' di comportamenti opportunistici (media, scarto quadratico medio, Indice di Gini di eterogeneita', e indice di partecipazione) e li hanno stimati classe per classe.

3- Inoltre, poiche' gli autori sembrano consapevoli che nessuno di questi indicatori e' sufficientemente sensibile e specifico, nessuno di loro e' usato isolatamente ma assieme agli altri. Gli autori hanno "creato" quindi un indicatore sintetico di "cheating": gli autori ipotizzano infatti che ognuno di questi indicatori concorra, da diversi punti di vista, a definire la variabile latente a cui sono interessati, la probabilita' che i professori o gli studenti o entrambi barino al test.  L'analisi delle componenti principali che hanno eseguito e' coerente con questa ipotesi (mi chiedo perche' abbiano estratto 2 componenti invece che 1 quando i dati empirici puntavano abbastanza chiaramente per una soluzione mono-fattoriale). Hanno quindi costruito 2 punteggi che indicano la propensione a barare usando i coeffcienti prodotti da questa analisi.

4- Successivamente hanno usato un algoritmo di clustering per raggruppare le classi in base al valore che ogni classe aveva nei punteggi calcolati come descritto al punto 3 e usato questo coefficiente finale per correggere i risultati del test. 

Non mi pare esista quindi alcun tentativo di barare di INVALSI per far tornare i conti secondo le ipotesi iniziali. INVALSI infatti non usa alcuna ipotesi a priori iniziale sulla propensione a barare delle diverse regioni. La misura empiricamente, classe per classe, tramite degli indicatori, questi si' decisi a priori. Il metodo proposto da JB mi e' invece oscuro. Come pensa di assegnare i coefficienti a priori? Come si puo dire che la regione X bara Y volte di piu' della regione Z se non tramite qualche metodo empirico diretto o indietto?

E' chiaro pero' che anche l'analisi INVALSI non e' priva di limiti. 

1- Come hanno scelto i 4 indicatori selezionati? Anche se ragionevolmente sembra che gli indicatori selezionati siano correlati alla propensione a barare, non vi e' alcuna prova empirica che sia in effetti questo il caso. Dovrebbe essere presentato uno studio di validazione per confermare questa ipotesi. Questa incertezza si riflette anche sull'interpretazione dei fattori estratti dalla PCA e sul coefficiente di correzione finale.

2- I coefficienti di correzione potrebbero non essere stabili. Sarebbe necessario cross-validarli e aggiungere appropriate analisi secondarie per verificare la robustezza dei risultati.

Luca hai letto il mio post precedente?

Al punto 3) fai un resoconto corretto degli indicatori usati. 1) la media, ovviamente correlata con la performance di ogni classe. 2) variabilita' intorno alla media, ovviamente migliore e' la performance di ogni classe minore sara' la variabilita' (se tutti danno risposte esatte la variabilia' e' zero). 4) la variabilita' delle risposte in generale, anche questa correlata con la performance. Piu' risposte corrette ci sono in una classe e piu' risposte uguali ci sono poiche' quella corretta e' la stessa per tutti. Dicevo nel mio post che, curiosamente, quest'ultimo indicatore non e' stato "depurato" delle risposte corrette. E' chiaro che risposte uguali e sbaglaite siano un indicatore di cheating vero.

Il mio problema e' che con questi indicatori automaticamente i ricercatori dell'INVALSI hanno associato una probabilita' maggiore di cheating a quelle classi che hanno presentato risultati migliori. Questo ti sembra un metodo valido??

Vincenzo, non avevo letto il tuo post precedente. La tua mi sembra una critica corretta. Chi ha ottenuto punteggi alti ha anche piu' probabilita' di finire classificato come cheater anche se la correlazione tra punteggi medi e fattore di correzione e' piuttosto debole (r=0.4). Questo indica che altri fattori sono piu' importanti nello spiegare il coefficiente di correzione che non la performance. Come avevo fatto notare penso che sia necessario che validino il loro indicatore sintetico. Cosi' com'e' non puo' certo essere usato per, ad esempio, stanziare fondi...

Avrebbero dovuto depurare questo indicatore dalle risposte corrette o usare anche il numero di risposte concordanti e sbagliate. Anche se in questo caso non si elimina la distorsione causata dal fatto che i professori suggeriscono le risposte corrette per migliorare i risultati della loro classe.

E' anche vero pero' che questi test (e immagino anche questo) sono spesso tarati per ridurre i ceiling effect che riducono il potere discriminante del test stesso anche attraverso la differenziazione dei punteggi dati alle domande "facili" e alle domande "difficili". Se la proporzione di punteggi al top e' estremamente fuori dalla norma per le domande difficili e' lecito pensare che ci sia qualcosa di storto. Cioe' ho l'impressione (che andrebbe sostanziata da uno studio di validazione) che l'indicatore in questione abbia fatto il suo mestiere di individuare gli outliers (e quindi i sospetti). Se guardi i coeffficienti in effetti in genere la correzione non e' cosi' forte tranne che per qualche regione (calabria e campania in testa). Plottando i coefficienti di correzione e le medie si vede proprio che ci sono 3 clusters distinti per quanto riguarda i coefficienti di correzione (1: calabria e campania; 2: Abruzzo Basilicata, Sicilia e Puglia; 3: tutti gli altri) a fronte di una sostanziale omogeneita' della distribuzione delle medie.

Penso che esistano certamente degli algoritmi migliori di quello usato ma questo mi pare una approssimazione migliore che lasciare solo i dati grezzi.

Per JB: ho capito, ma non ho avuto l'impressione che il metodo usato sia stato implementato solo a posteriori, anzi. Tu da dove deduci che questi si sono guardati risultati che non piacevano e dopo abbiano magheggiato per aggiustarli?

Da pagina 2 del rapporto:

Dal campione emergono evidenti indicazioni di comportamenti opportunistici in alcune scuole.
Questo fenomeno ha richiesto una procedura di correzione dei dati (editing statistico) per eliminare
l’effetto distorsivo prodotto dai suddetti comportamenti anomali.

Magari son io che amo pensar male ma quel che leggo è che "dal campione emergono evidenti indicazioni di comportamenti opportunistici" e che quindi sono state adottate procedure di correzione dei dati. Non che era stata predisposta una procedura d'analisi che tenesse conto di questi (prevedibili) comportamenti opportunistici.

Non ci siamo capiti. Ma dato che in questi casi la colpa è di chi non si è fatto capire faccio un mea culpa e ci riprovo.

Premesso che a me l'Indice di Gini di eterogeneità non sembra s'ta gran genialata (in un test a crocette è ovvio che tutte le risposte giuste saranno identiche) il mio punto non era sulla qualità della trattazione statistica. Il punto è che le metodologie da applicare vanno decise prima di avere i dati in mano, poi applicate e infine i risultati finali vanno accettati. L'impressione (che può essere smentita da qualcuno che abbia letto il report dell'Invalsi con più attenzione) invece è che questa trattazione statistica sia stata scelta dopo aver visto che le cose non tornavano. Ovvero: dato che i dati non mi suonano invece di prenderli così come sono (come avevo inizialmente ipotizzato di fare) li tratto statisticamente con un metodo ad hoc che elimini quelo che io ipotizzo essere il motivo della discrepanza fra attese e risultati.

Io non voglio assegnare i coefficienti a priori (sarebbe, ovviamente un'idiozia), voglio decidere il metodo di trattamento dei dati a priori. Se tutta l'analisi descritta nell'appendice 5 era stata preventivata prima di svolgere i test allora mi va tutto bene (a meno di discutere la scelta degli indicatori). Se invece è stata messa insieme dopo aver visto i risultati invece non mi va bene per niente.

Mi sono spiegato un po' meglio?

Io ho una domanda leggermente diversa per i giuristi: la prova statistica e' sufficiente per iniziare indagini piu' approfondite su eventuali illeciti compiuti dagli insegnanti nella conduzione delle prove? 

piuttosto non credi che un organo del Governo Italiano abbia l'obbligo di essere un po' piu' rigoroso nelle proprie analisis e rapporti prima di dire che le scuole del Sud sono piene di imbroglioni? Va bene che losi dica in un blog, ma un rapporto di un organo ministeriale? Sono pronto a scommettere che se si adotta la metodologia dell'INVALSI (appendice 5) a qualsiasi altra indagine si hanno gli stessi risultati di stravolgere le classifiche. Sarebbe questa la "prova statistica"? 

Ed io vorrei aggiungere: esiste una norma che preveda una sanzione per simili comportamenti, una volta provati?

Ed inoltre, maliziosamente ma, credo, realisticamente: prevarrebbe un'eventuale - e tutta da dimostrare - volontà di giungere alla sanzione?

Ed infine: siamo certi che il sindacato non si metterebbe di traverso, insieme alla autorità locali?

Andrea,

la risposta è si. Mi pare che anche la compatibilità fra il dna rinvenuto in una scena del crimine e quella di un indiziato sia una questione statistica, oltre ovviamente agli alibi, i moventi e così via.

Credo che il dibattito sulla validità delle procedure statistiche di correzione faccia perdere di vista il punto di fondo: nelle quattro regioni "incriminate" si è copiato alla grande. Purtroppo il linguaggio arido del rapporto non lo evidenzia, ma le parole di Roberto Ricci, responsabile del rapporto, sono più chiare (cito dalla Stampa di oggi):

Nelle quattro regioni incriminate le anomalie erano macroscopiche: nella stessa classe risposte identiche a tutte le domande; tassi di risposta corretta alle domande più difficili molto più alti rispetto alla media nazionale; punteggi uniformi e livellati verso l’alto tra gli allievi della stessa classe, compresi i «somari». «L’anomalia, sia chiaro, deriva dalla presenza contemporanea di alcuni di questi fattori nella stessa classe», precisa Ricci. «Uno solo dei parametri “opportunistici” non basta». Ma quando ce ne sono diversi scatta il «coefficiente di correzione», e cioè un aggiustamento, «una depurazione tramite un sofisticato meccanismo statistico: si applica un coefficiente tanto più alto quanto più forte è l’indicazione di comportamenti anomali». 

Il punto non è tanto l'individuazione di una tecnica statistica adeguata, ma la denuncia di una situazione assolutamente folle, che non consente di effettuare rilevazioni adeguate sulla qualità dell'insegnamento. Mi chiedo davvero se non ci siano elementi sufficienti per un'indagine da parte delle autorita' giudiziarie. 

Gli esami di terza media e gli esami di maturità sono Esami di Stato - a norma dell'Art. 33 della Costituzione - e i docenti occupati nell'espletamento delle relative prove sono equiparati a Pubblici Ufficiali. Ogni condotta che in ultima analisi portasse ad accusa di falso in atto pubblico cade sotto la lente dell'art. 476 del Codice Penale.

Queste sono proprio quelle garanzie che sono state messe a bella posta per tutelare la serietà e l'omogeneità dei giudizi sul territorio nazionale (NB alla Costituente il democristiano pensava anche all'equiparazione delle scuole private) e non ci trovo niente di male, perchè la strada "concettualmente" è corretta, anche se uno poi deve pensare alla implementazione che è quello che conta. In ultima analisi si rifanno al concetto giuridico di certezza pubblica che oggi è sotto attacco da parte di quelli che, sotto le parole d'ordine del "merito" e della "concorrenza", finiscono per straparlare di "abolizione del valore legale" ecc. ecc. - ma non ho tempo di fare polpettoni più lunghi adesso.

RR

Per una volta il valore legale torna utile :-)

Che ne dite di quella tabella? Al sud gli indigeni si avvicinano pericolosamente agli standard, chiaramente più bassi, dei non italiani?

Desta inoltre notevole preoccupazione il fatto che il risultato
conseguito nella prova di matematica dagli allievi italiani delle scuole meridionali è sostanzialmente
analogo a quello conseguito dagli studenti stranieri che frequentano le scuole del Centro-nord.

In puglia i non nati in Italia totalizzano 10.7 punti nella comprensione del testo narratico contro i 10.6 degli italiani. Ancora meglio fanno nella comprensione del testo espositivo. Boh...

Premesso che di statistica so molto poco, non mi sembra scontato che in test del genere sia una buona idea decidere a priori la metodologia di analisi.

Nulla da ridire quando hai a che fare con dei fotoni, ma i professori che hanno barato potrebbero benissimo prenderne atto e suggerire risposte errate quanto basta per non farsi classificare come outliers.

Direi che il momento migliore è dopo i test ma prima di iniziare l'analisi.

Il momento migliore è prima di vedere i dati. Se poi hai paura che i prof tarino i suggerimenti in base agli algoritmi statistici che si prevede di utilizzare (secondo me fai troppo credito alle competenze dei prof delle medie ma magari hai ragione tu) allora li rendi noti solo dopo la conclusione del test. Però li devi aver decisi prima di esserti fatto un'idea del risultato altrimenti il bias è inevitabile (per quanto magari involontario).

Trovo svariate parti di questo dibattito affascinanti. È proprio vero che gli dei, quando vogliono dannare qualcuno, sanno come farlo ...

Mentre CGIL, CISL, UIL e Confindustria presentano un fronte unito contro le gabbie salariali (che sono una cretinata peronista) non perché intendano schierarsi a favore del libero mercato del lavoro, ma in nome dell'uniformità salariale, qui si disquisisce sul fatto che - forse forse - le assurde anomalie rilevate dall'INVALSI si devono ad altro che la corruzione pura e dura.

Poi, da 15 anni a questa parte, qualche anima beata continua a chiedersi come sia possibile che degli squallidi populisti come Bossi&Co raccolgano sempre più consensi!

Non so gli altri quindi rispondo solo per me stesso: mai messo in dubbio che le anomalie ci siano e che al sud abbiano copiato molto più che al nord. Quello che contesto è quello che è stato fatto "dopo" aver riscontrato le anomalie con l'unico scopo di stilare a tutti i costi una classifica (non ripeterò le mie tesi anche qui dato che inizio a sentirmi un po' uno spammer a furia di ripeterle).

JB, non ho ancora capito se la correzione è stata fatta a posteriori e quindi sono state consegnate due relazioni oppure è stata fatta contestualmente alla ricerca che, a questo punto, è stata presentata completa e già fornita delle statistiche finali.

Sante parole :)

Tra l'altro pochi di quanti contestano le correzioni han notato che se queste vengono applicate uniformemente non è affatto semplice trovare un metodo che discrimini su base territoriale. Non dubito che di bari (veri o presunti) ne abbiano trovati ovunque, se al sud ne han trovati di più mi sembra poco plausibile che sia per una distribuzione drammaticamente diversa dei risultati.

@JB

Sopra intendevo proprio prima di vedere i dati.E non sottovaluterei le capacità statistiche dei prof, visto che non interessano quelle medie ma quelle accessibili tramite colleghi/amici/parenti.

Aggiungo che siccome gli umani han la tendenza a barare in modi diversi a seconda delle circostanze, anche correzioni a posteriori possono essere necessarie.

ma quante sono le scuola meridionali che hanno imbrogliato? non l'ho capito, ma mi pare che leggendo questa appendice 5, nelle conclusioni si suggerisce una quota superiore alla meta' delle scuole meridionali (mancando un gruppo di controllo, l'individuazione e' stata fatta sulla base della media, quindi il cheating e' scoperto solo se e' superiore al cheating medio).  Mi pare troppo, pero' se questo fosse confermato allora tutti i risultati sarebbero da buttare. Infatti, sarebbe bastato un gruppo di controllo con ispettori ninja che somministrano il test a questi adolescenti sia al nord che al sud.

Negli USA e' reato imbrogliare ai test (alcuni stati hanno arrestato dei principal che hanno manomesso le schede) ma li' il test e' obbligatorio e poi c'e' la legge  no child left behind. Sistemi statistici sono stati utilizzati per scovare i cheaters, e in alcuni casi hanno portato al licenziamento dei casi piu' evidenti (Jacob e Levitt si sono cimentati a Chicago su richiesta di Arne Duncan, oggi ministro dell'istruzione...su freakonomics c'e' una sientesi). Le prove statistiche possono essere utilizzate nei tribunali, ma servono piu' a dimostrare l'innocenza che la colpevolezza, essendo lo standard quello del "ragionevole dubbio", cio' 99% sicuri (quindi molto difficile, visto che anche test super potenti applicati a fenomeni rari porta piu' falsi positivi che veri positivi). Va meglio nelle cause civili dove lo standard e' "preponderance of evidence". 

A little Italy, questo test, da quello che ho capito, era una prova sperimentale, volontaria e anonima (almeno cosi alcuni insegnanti l'hanno capita), quindi senza farla lunga, difficile che possa esserci una sanzione. Comunque un magistrato di bologna mi pare abbia ritenuto di non procedere su un insegnante che si era rifiutato di somministrare il test invalsi lo scorso anno.

Ma Anxia che fine ha fatto?

 

Negli USA e' reato imbrogliare ai test

Credo anche in Italia sia reato penale barare nelle valutazioni scolastiche, come scrive RR. La differenza non e' questa ma il fatto che l'applicazione della legge in Italia e' elastica e subordinata all'esercizio e al mantenimento del potere, oltre che spesso alle convinzioni ideologiche personali.

ma quante sono le scuola meridionali che hanno imbrogliato? non l'ho capito, ma mi pare che leggendo questa appendice 5, nelle conclusioni si suggerisce una quota superiore alla meta' delle scuole meridionali (mancando un gruppo di controllo, l'individuazione e' stata fatta sulla base della media, quindi il cheating e' scoperto solo se e' superiore al cheating medio).  Mi pare troppo, pero' se questo fosse confermato allora tutti i risultati sarebbero da buttare.

Non sono d'accordo, quando ci sono dei dati vanno utilizzati.  Oltretuttto, si deve evitare di dare un incentivo a chi bara annullando il lavoro di chi ha operato diligentemente con correttezza. I dati possono fornire indicazioni sia sulla preparazione degli studenti sia su chi bara ed entrambe le informazioni sono molto utili.

che gli studenti delle scuole meridionali abbiano performance in media inferiori ai loro omologhi settentrionali e' previsto dalla teoria e confermato da svariate altre indagini. Quindi non vi e' nulla di nuovo, e in questo senso i dati, se la meta' delle scuole ha barato, sono inutili, salvo il punto che lo sbraco e' totale. Cosa te ne fai di dati che sono inquinati per oltre il 50%. Forse servira' per l'anno prossimo a capire se lo sbraco aumenta o si riduce.  Esperienza per la prova dell'anno prossimo.

Anche io ho letto l'articolo (di Repubblica) sui test INVALSI e, per la seconda volta in poco tempo, sono rimasto stupito dell'uso “disinvolto” dei test di validazione.

All'epoca non sono entrato nel dibattito sulla valutazione delle Università, non mi interessa, ma notai una cosa, sfuggita ai più: la Gelmini nel presentare i dati disse testualmente “stranamente fra le prime ce ne sono anche alcune del Sud”.

Quello “stranamente” a me ha detto molto di più dei test: si voleva un quadro XZY e tutto quello che non rientrava in quel quadro è compreso in quel “stranamente”. Altrimenti avrebbe detto: ci sono nell' università eccellenze al Nord e al Sud, queste eccellenze sono prevalenti al Nord. No, non bastava, ci voleva “stranamente”..

Adesso i test INVALSI che “stranamente” dicono che al Sud gli studenti (non le scuole) sono migliori che al Nord. Quindi che si fa ? Si cambiano i risultati.

Io, rovescio completamente l'analisi di bisin, che si domanda se ci siano i presupposti penali per procedere contro gi insegnanti che avrebbero suggerito le risposte. Io mi domando: è possibile aver speso dei soldi (nostri !!) per avere un risultato inaffidabile ? E' competente la struttura che ha ideato dei test simili ? Ha agito in maniera tale da evitare problemi del tipo di quelli poi da loro evidenziati ? E perchè hanno corretto “statisticamente” i risultati, a mio avviso invalidandoli del tutto ? Non era opportuno ripetere, a sorpresa, il test in quelle classi dal comportamento anomalo ? Quante erano ?

 

Insomma, i miei soldi, gestiti da questi dell'INVALSI sono stati spesi bene, o è meglio licenziarli tutti, di modo che i prossimi trovino un sistema ( ne ho letti alcuni anche qui su nfa) per evitare imbrogli (visto che, tra l'altro, hanno dichiarato che anche alcune classi del nord avrebbero barato ?)

 

Chiudo con una nota: siamo sicuri che gli insegnanti abbiano suggerito le risposte, o non ci siano stati casi di “scopiazzamento” generale, dovuti a un lassismo degli insegnanti, che anziché sorvegliare sono andati a leggere il giornale ? Tutto sommato anche il nostro PdC ha cominciato vendendo i compiti di italiano ai compagni di classe, non è che poi così rischiamo di inibire il formarsi di una nuova classe imprenditoriale ?

 

Concordo. Ma soprattutto tornerei al principio: l'Invalsi ha fatto fare un test, poi ha giudicato i risultati inattendibili e li ha manipolati con "procedure statistiche" finche' i risultati non sono sembrati piu' verosimili.

Non e' cosi' che si fanno i test. Non e' cosi' che un "istituto di ricerca" dovrebbe presentare i suoi report. Se i risultati "attendibili" li sapevi da principio, non dovevi sprecare tempo e risorse per fare i test. Il mio giudizio e' totalmente negativo.

Ma l'aggiustamento statistico si fa sempre in questo tipo di indagini.....Non e' mica una novita'. Si puo' discutere sul metodo usato come abbiamo cercato di fare qui, ma non e' certo una novita' il tentativo di correggere errori sistematici con la statistica.

Tutte le tecniche statistiche avanzate, quelle che si usano in tutti i campi della scienza, servono per correggere errori sistematici quando non e' possibile o e' troppo costoso fare un'esperimento controllato.

Si sostiene che e' stato deciso a posteriori di fare analisi aggiuntive perche' si e' visto che i dati presentavano delle regolarita' interessanti e che questo invalidi i risultati presentati. Non vi e' alcuna prova di questo se non un'ambigua frase nel rapporto INVALSI che JB ha citato (magari i ricercatori dell'INVALSI potranno dir qualcosa a proposito). Ma anche se fosse vero, ce ne passa dal dire che i ricercatori abbiano magheggiato per far venire i numeri che volevano loro (che e' tutta un'altra faccenda).

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

D'altronde Ricolfi, con un altro algoritmo e su un altro campione (i test delle elementari) ha ottenuto fattori di correzione addirittura maggiori (qualcuno ha gia' postato il suo articolo uscito su La Stampa).

 

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

Non sono in grado di parlare riguardo "gli altri campi" in cui le analisi da fare si decidono a posteriori. Le mie competenze iniziano e finiscono in un campo molto limitato che è quello della fisica sperimentale e non ho l'ambizione di conoscere o capire a fondo i metodi delle scienze sociali. D'altra parte sono stato io a tirar fuori il discorso e quindi cerco di chiarire il mio pensiero.

Mettiti nei panni di un ricercatore che possa ripetere infinite volte il suo test/esperimento. Lo fa una volta, vede quali sono i risultati, stabilisce una procedura per l'analisi degli stessi, butta via i dati e ripete n-mila volte l'esperimento per accumulare una quantità significativa di dati a cui applica le metodologie decise prima. Il passaggio di buttare via il set di dati con cui si è deciso quali metodi statistici usare è fondamentale per evitare di introdurre bias (da noi si impara abbastanza presto che, scegliendo un metodo di analisi piuttosto che un altro si può ottenere il risultato che più si preferisce).

Se poi l'esperimento può essere fatto una volta sola (caso tipico in medicina, sociologia, economia ed altre discipline) le metodologie devono essere decise a priori o sulla base di un sub-set dei dati che poi non verrà utilizzato per l'analisi finale, pena (ancora una volta) l'introduzione di un bias nei risultati.

Ora, io non voglio dire che quelli dell'Invalsi abbiano coscientemente alterato i risultati; quello che voglio dire è che, dato che i metodi usati sono cose abbastanza standard (a me l'uso dell'indice di etereogenità lascia perplesso ma son disquisizioni tecniche), rigore scientifico avrebbe voluto che questi venissero decisi "prima" di vedere i dati. Che lo abbiano fatto prima o dopo dal rapporto non è chiarissimo ma ci sono alcune frasi in qua e in là che lasciano temere una decisione a posteriori. Su questo punto (metodologicamente a mio parere importante) sarebbe carino che qualcuno dell'Invalsi facesse chiarezza. Anche perché, se venisse chiarito che le tecniche d'analisi erano state decise a priori, questo taglierebbe la testa al toro e metterebbe a tacere tutte le critiche sul fatto che i risultati siano stati "aggiustati ad hoc".

Marco, sullo "stranamente" hai tutte le ragioni, io avrei trovato strano il contrario.

Sull' Invalsi non ti seguo: credi ahe abbiano uomini da mandare in ogni scuola? O che ci mandino i carabinieri? Come pensi sia possibile altrimenti evitare che barino se studenti e professori sono collusi?

Ovvio che bari ce ne sono anche al nord, il contrario farebbe il paio con lo "stranamente" di sopra.

Che differenza fa poi se i prof hanno collaborato coi bari attivamente o passivamente?

Bellissima quella sul PDC, speriamo proprio di liberarci da quel genere di classe imprenditoriale :)

Ovviamente stranamente. Certo che il ministro potrebbe imparare a dire le cose altrimenti...
Comunque ormai sembra abbastanza chiaro: hanno fatto copiare a tutti per difendersi da eventuali premi, da assegnare ai singoli docenti od alle scuole, parametrati esclusivamente sui risultati del test.
Sbagliato ma comprensibile visto la campagna pregiudizialmente anti meridionalista in corso a Roma e visto i presenti intenti del ministero.

C'è qualcosa nei rapporti Sud-Nord che si va delineando: siamo tutti una bella nazione, siamo tutti per l'unità nazionale, ma in fondo in fondo sono sempre gli altri (nel senso di italiani altri, quelli abitano dall'altra parte dello stivale) ad essere i peggiori.

Tuttoscuola ha le idee chiare: i peggiori sono gli altri (del Nord). 

PS: interessante come l'autore dell'articolo (un insegnante, almeno dovrebbe esserlo) descrive gli strumenti di analisi utilizzati per la validazione dei dati. Speriamo solo non insegni matematica o inglese...

 

Tuttoscuola ha le idee chiare:

Una lettura, come dire, avvincente: immagino con grande soddisfazione dei leghisti di Bossi, di Calderoli, di Maroni che magari si rammaricano di non avere applicato la "correzione fuzzy logic" ai concorsi che sono stati vinti da meridionali che oggi sono presenti in tutti gli uffici del Nord ed infliggono con la loro presenza  una intollerabile umiliazione ai cittadini padani che si rivolgono a loro.

Lo stesso autore , Pietro Ancona, segretario generale della cgil Sicilia in pensione, si esibisce anche in “Federalismo etnico e stato di polizia”, il titolo è già un programma della congerie di iperboliche ***  che vi si leggono. Davvero si stenta a credere che  se ne possano concentrare tante tanto sfacciate.

L’incipit: La decisione unanime del Consiglio Provinciale di Vicenza di rivendicare ai veneti le presidenze delle scuole del veneto segna l'ingresso nelle istituzioni del federalismo etnico.

La Mafai deve aver trovato qui la “fonte” che ha dato origine al suo  sdegnato pamphlet …

Questi articoli mistificatori e deliranti fomenteranno tutti coloro che hanno interesse ad accreditarli (qualcuno accredita per mero interesse, qualcun altro, pure interessato, se le beve supinamente).

Tuttoscuola ha le idee chiare: i peggiori sono gli altri (del Nord).

L'articolo espone una ridicola tesi secondo cui i cattivi risultati che emergono dai dati elaborati dall'Invalsi sarebbero risultato di un complotto razzista ai danni del Sud.  Nella breve esibizione di retorica e di cultura profusa nell' intervento sfugge all'autore uno strafalcione di Storia:

Il grande Leonardo fece un grande affresco della battaglia di Anghiari purtroppo in gran parte perduto che descrive la carneficina tra fiorentini e pisani.

L'autore si confonde con la battaglia di Montaperti che cita in precedenza, perche' la battaglia di Anghiari venne combattuta dai fiorentini contro i milanesi e non i pisani (http://www.anghiari.it/new/italiano/battaglia_anghiari.asp). Secondo Macchiavelli inoltre la battaglia non fu assolutamente cruenta.

Stelle Cadenti

Marcks 12/8/2009 - 23:22

Nei giorni in cui gli italiani si appellano al cielo, sperando di scorgervi striscie luminose alle quali affidare le più intime speranze, a viale Trastevere precipita sempre più in basso la Stella Gelmini...al suo passaggio non si esprimono desideri, anzi si manifestano paure.

Tifiamo la Gelmini quando propone seppure timidamente la ripartizione dei fondi universitari con criteri appena meritocratici; nn la tifiamo più quando invece  contesta la sentenza del TAR intesa a limitare il peso di mitra e tiare nelle scuole...

Ma io dico: ma questi luminari di Trastevere (ner mezzo der core der core de Roma Bella) ma nn lo capiscono che potrebbero diventare tutti più credibili se le giuste battaglie per la meritocrazia (invise a parte del mondo sindacale e della sinistra in genere) si accompagnassaro a battaglie per la laicità nella scuola? Sarebbe un bel modo di sparigliare le carte, per dimostrare, sopratutto a quegli eunuchi politici del PD ormai allo sbando, che la destra c'è e cambia le cose anche contro i preti!! Ma nn potrebbero avere un guizzo di riformismo vero...non questo gioco di bocce scontato dove la sinistra attacca sulla meritocrazia e la destra sul laicismo..ma nn ha fantasia questa destra al potere? Non dico la fantasia al potere ma il potere con un po' di fantasi si, dai! Ma perchè nn ci stupisce piacevolmente, anche noi così ottusamente non elettori di destra? Perchè nn diventa destra vera, laica e libertaria? In quale emisfero devo guardare? Ditemi, a quale stella cadente devo votarmi?

Dai su, non ti arrabbiare, che non vale la pena.

Mi sembra abbastanza chiaro che la dichiarazione della Gelmini sia dovuta al credito di cui il Vaticano gode presso il governo dopo gli scandali delle donne di Berlusconi.

Inizia una nuova discussione

Login o registrati per inviare commenti