Titolo

Alcune prime osservazioni sui risultati dei test PISA 2009

5 commenti (espandi tutti)

Amici insegnanti continuamente sollevano questo tipi di obiezioni, a me pare in un esercizio di denial collettivo di proporzioni gigantesche.

Non è mia intenzione negare l'utilità dei test PISA.

Io ti invito, sinceramente, ad andarti a vedere gli esempi delle domande, alcune delle quali ho riportato nel testo proprio perché sapevo che sarebbero arrivati certi commenti. Davvero occorre essere "esercitati" per rispondere alla domanda "Se una scala è alta 252 cm e ha 21 gradini, quanto alti sono i gradini?". Lo stesso vale per le domande sulla lettura. Non mi pare ci sia un "teach to the test" per queste domande, soprattutto quelle più elementari cui un buon 20% e più degli studenti italiani non riesce a rispondere. 

Se non hai mai fatto test nella tua vita (scolastica), puoi avere qualche difficoltà in più ad affrontare un tipo di prova inusuale. Non credo che ciò alteri in maniera drammatica i risultati, ma probabilmente la cosa una qualche influenza ce l'ha.

Gli studenti italiani che si preparano per il TOEFL o per il GMAT si esercitano con test dello stesso genere. Poi, che siano bravi o meno dipende certo da altro, ma se non hanno alcuna familiarità con il tipo di prova è da mettere in conto uno svantaggio aggiuntivo.

Del resto se è vero che si sono registrati miglioramenti nei risultati (per quanto limitati) ciò non dipende certo da un cambiamento del sistema scolastico nell'ultimo anno. È più ragionevole pensare che semplicemente si sappia meglio affrontare il test. Senza che che i livelli di apprendimento siano granché cambiati.

Ripeto ancora una volta che ciò non toglie valore ai test PISA. Solo, quando facciamo confronti (tra un anno e l'altro o tra un paese e l'altro), cerchiamo di tener presente cosa stiamo misurando: non il livello delle scuole in astratto, ma la capacità di affrontare i test PISA. In maniera indiretta questa è anche una misura dell'efficienza di un sistema scolastico. Ma, appunto, in maniera indiretta.

Ripeto ancora una volta che ciò non toglie valore ai test PISA. Solo, quando facciamo confronti (tra un anno e l'altro o tra un paese e l'altro), cerchiamo di tener presente cosa stiamo misurando: non il livello delle scuole in astratto, ma la capacità di affrontare i test PISA. In maniera indiretta questa è anche una misura dell'efficienza di un sistema scolastico. Ma, appunto, in maniera indiretta.

Non esiste il "livello delle scuole in astratto", si tratta di un concetto filosofico che vive in maniera non riproducibile nel cervello di chi ne parla e che non ha pressoche' alcuna utilita' concreta. Secondo me anche solo contrapporlo ai risultati PISA e' indicativo di una certa' mentalita' che io chiamerei idealismo prescientifico che e' endemica in Italia. Cio' che esiste, che e' valido concretamente, sono indicatori numerici, quantitativi, riproducibili, confrontabili sui risultati dell'educazione scolastica. Questo dice il metodo scientifico, questo indica la visione pragmatica ed empirica del mondo avviata con Hume, che si e' affermata nei Paesi progrediti ma che in Italia ha serie difficolta' ad affermarsi ancora oggi, a causa della nostra storia fatta di controriforma, analfabetismo di massa, e attitudine idealistica prescientifica, direi anche medievale e premoderna, delle elites.

I test PISA sono come ha mostrato Andrea Moro delle domande del tutto ragionevoli per capire quanto gli studenti hanno appreso per capire un testo scritto, per applicare il ragionamento matematico che e' alla base della conoscenza scientifica moderna, per interpretare scientificamente la realta'.  Sono certo e se ho tempo ci scrivo un articolo su nFA che dentro lo stesso Stato (come in Italia) c'e' una corrispondenza pressoche' totale tra risultati dei test PISA, PIL pro-capite regionale, analfabetismo storico, e tante altre cose.

Non e' facilmente attuabile fare un'istruzione mirata al successo dei test PISA, che sono molto generali. Sarebbe probabilmente comunque meglio in Italia organizzare l'educazione scolastica avendo come riferimento l'obiettivo di ottenere un buon punteggio sui test PISA, quando si considera che le domande PISA corrispondono abbastanza bene al tipo e al livello di conoscenze che un sistema scolastico dovrebbe dare nel mondo moderno (non in quello dei bei tempi andati di Aristotele e Platone).

Non esiste il "livello delle scuole in astratto", si tratta di un concetto filosofico che vive in maniera non riproducibile nel cervello di chi ne parla e che non ha pressoche' alcuna utilita' concreta. Secondo me anche solo contrapporlo ai risultati PISA e' indicativo di una certa' mentalita' che io chiamerei idealismo prescientifico che e' endemica in Italia.

Forse i test PISA di comprensione di un testo dovrebbero essere introdotti anche all'Università. Non ho affermato che esista un "livello delle scuole in astratto", ho detto che spesso mi pare che si ragioni sui test PISA come se descrivessero in astratto questo livello.

Mi sembra di avere affermato, molto empiricamente, che i test misurano la capacità di rispondere al test, che questa misura è cosa buona e giusta, che una misura è meglio di nessuna, ma che tale misurazione (come sempre accade) ha anche limiti di cui è opportuno essere consapevoli.

Mi rendo conto che di fronte alla resistenza al cambiamento la mia può essere scambiata per una difesa dell'esistente. Non è così. Non sono così fiducioso sulle luminose sorti progressive di una scuola che metta al centro del suo lavoro i soli test PISA e temo le distorsioni che questo può comportare, ma ignorarli è ancora peggio.

Tuttavia, poiché si era sollevato un problema concreto (come può una regione aver migliorato in un solo anno i suoi risultati), e visto che non è mia intenzione fare propaganda a priori per l'una o l'altra posizione, ho provato a dare una risposta.

All'obiezione che i quesiti erano facili vorrei far notare che non colpisce il bersaglio. Qui non stiamo parlando della risposta ad una singola domanda, ma dei risultati di tutta una prova. Se vuoi sostenere che sia ininfluente l'essere esercitati a svolgere un certo tipo di compito (nella gestione del tempo e nella strategia da usare) ho l'impressione che sbagli di grosso. La prima volta che affronti una  prova di tipo nuovo devi perdere un po' di tempo per capire come funziona e come svolgerla al meglio. E questo, in generale, un qualche svantaggio lo comporta. Mi sembra un'osservazione banale.

L'errore che fai e' pensare che i test pisa siano simili a TOEFL, GRE e GMAT, dove (ai tempi in cui gli ho fatti io) gli studenti (italiani) si presentavano senza capire cosa fossero gli ovali che bisognava riempire con la matita, qualcuno metteva la crocetta, qualcuno un pallino, etc... Inoltre, ora e allora, erano test congegnati male, in cui si testavano sia conoscenze, sia abilita' intellettuali, sia velocita' di ragionamento. Fattori magari correlati ma che il risultato del test tende a confondere aumentando il noise della sua informativita'. L'ultimo fattore, la velocita' di risposta, era essenziale per ottenere un punteggio ottimo, e per questo esercitarsi prima era essenziale, come dici tu. 

I test PISA, da quanto ho visto io, non hanno nulla a che vedere con i test di cui sopra, e le loro domande sono del tutto simili agli esercizi assegnati dai professori di matematica e geometria. 

Dando una rapida occhiata agli esempi di test proposti e assumendo per vero che i nostri studenti non siano preparati a quel tipo di test si evince che i nostri studenti non hanno MAI fatto un compito in classe in vita loro, nemmeno alle elmentari.

Insomma non mi sembrano i quesiti della sfinge non capisco che strategia e/o preparazione ci voglia per rispondere alla domanda: "quanti cubettini servono a Susan per costruire un cubo come in figura c" (per la cronaca ammesso che il nostro non sappia fare le moltiplicazioni in questo caso li può semplicemente contare dal disegno... O_O)

Non sono passati molti anni da quando io avevo 15 anni, ed è inutile girarci attorno siamo delle capre (mediamente), punto. Sfruttando trucchi ed alchimie si può arrivare al diploma senza saper fare una proporzione (o anche senza sapere le tabelline), tanto si dice non servono a nulla oppure non servono solo quelle... certo, certo...