Titolo

Alcune prime osservazioni sui risultati dei test PISA 2009

9 commenti (espandi tutti)

Per ottenere un buon punteggio occorre anche essere esercitati ad affrontare il tipo di prove richiesto dal test. 

Io ti invito, sinceramente, ad andarti a vedere gli esempi delle domande, alcune delle quali ho riportato nel testo proprio perché sapevo che sarebbero arrivati certi commenti. Davvero occorre essere "esercitati" per rispondere alla domanda "Se una scala è alta 252 cm e ha 21 gradini, quanto alti sono i gradini?". Lo stesso vale per le domande sulla lettura. Non mi pare ci sia un "teach to the test" per queste domande, soprattutto quelle più elementari cui un buon 20% e più degli studenti italiani non riesce a rispondere. 

Amici insegnanti continuamente sollevano questo tipi di obiezioni, a me pare in un esercizio di denial collettivo di proporzioni gigantesche. 

Insisto, vai a vederti le domande, ed i commenti sul perche' e percome siano state formulate in quel modo piuttosto che in un altro, con esattamente quelle parole invece che altre, e poi dimmi come fai a fare "teach to the test". 

 

Un'ultima osservazione sul "teach to the test". Un modo grezzo per farlo e' aumentare le ore nelle materie testate: italiano, matematica, scienze. Ebbene, una breve scorsa (non ho tempo per fare un calcolo di correlazione serio) alla tabella IV.3.16b del quarto volume del rapporto (pagina 235 del testo, l'ho estratta qui for your convenience) mostra che l'italia e' praticamente uno dei paesi dove si spendono piu' ore matematica e lingua propria. Alle medie, le differenze sono enormi per l'italiano insegnato in Italia (460 minuti alla settimana in Italia) rispetto al francese in Francia, il Tedesco in germania, il cinese a Shanghai, etc... (media OCSE: 227). Ma anche per la matematica le differenza fra italia e resto del mondo sono di tutto rispetto (Ita: 290m, OCSE 217). Alle superiori si insegna piu' lingua che altrove con differenze meno abissali che per le media (282 vs 207), e anche il numero di ore spese in matematica sono decisamente superiori della media OCSE, ma di meno (228 vs 211). Per le scienze, invece, molto sotto la media across the board. 

Visti i magri risultati TIMSS e PIRLS (matematica/scienze e lettura) per le medie, direi che (1) si spende una marea di tempo a insegnare Italiano con scarsi risultati nelle capacita' di lettura e comprensione del testo. Da quanto mi dicono i colleghi nelle universita', anche la capacita' di scrittura fanno schifo. (2) Sarebbe interessante andare a vedere la distribuzione delle ore intra-regionale per vedere se parte delle differenze sono originate anche da questo, tramite selezione in diversi tipi di liceo o scuola superiore. Certo non si spiegano le differenze riscontrate alle medie.

Sarebbe interessante conoscere la prospettiva di un insegnante di Italiano.

Ho girato la domanda ad un'amica che insegna italiano alle medie, ecco la risposta:

Innanzitutto il "tempo" dedicato all'apprendimento della lingua: nelle ore di "italiano" alle medie vengono conteggiate anche una serie di attività che (purtroppo) con l'apprendimento della lingua hanno poco a che fare (per esempio i progetti di "educazione affettiva", "educazione stradale" "educazione alla cittadinanza") che in altri paesi sono scorporati o inesistenti. Quindi, in pratica, mentre risultano, per esempio, 6 ore settimanali di Italiano, in realtà di lingua e grammatica se ne fanno, quando va bene, solo due o tre.

Amici insegnanti continuamente sollevano questo tipi di obiezioni, a me pare in un esercizio di denial collettivo di proporzioni gigantesche.

Non è mia intenzione negare l'utilità dei test PISA.

Io ti invito, sinceramente, ad andarti a vedere gli esempi delle domande, alcune delle quali ho riportato nel testo proprio perché sapevo che sarebbero arrivati certi commenti. Davvero occorre essere "esercitati" per rispondere alla domanda "Se una scala è alta 252 cm e ha 21 gradini, quanto alti sono i gradini?". Lo stesso vale per le domande sulla lettura. Non mi pare ci sia un "teach to the test" per queste domande, soprattutto quelle più elementari cui un buon 20% e più degli studenti italiani non riesce a rispondere. 

Se non hai mai fatto test nella tua vita (scolastica), puoi avere qualche difficoltà in più ad affrontare un tipo di prova inusuale. Non credo che ciò alteri in maniera drammatica i risultati, ma probabilmente la cosa una qualche influenza ce l'ha.

Gli studenti italiani che si preparano per il TOEFL o per il GMAT si esercitano con test dello stesso genere. Poi, che siano bravi o meno dipende certo da altro, ma se non hanno alcuna familiarità con il tipo di prova è da mettere in conto uno svantaggio aggiuntivo.

Del resto se è vero che si sono registrati miglioramenti nei risultati (per quanto limitati) ciò non dipende certo da un cambiamento del sistema scolastico nell'ultimo anno. È più ragionevole pensare che semplicemente si sappia meglio affrontare il test. Senza che che i livelli di apprendimento siano granché cambiati.

Ripeto ancora una volta che ciò non toglie valore ai test PISA. Solo, quando facciamo confronti (tra un anno e l'altro o tra un paese e l'altro), cerchiamo di tener presente cosa stiamo misurando: non il livello delle scuole in astratto, ma la capacità di affrontare i test PISA. In maniera indiretta questa è anche una misura dell'efficienza di un sistema scolastico. Ma, appunto, in maniera indiretta.

Ripeto ancora una volta che ciò non toglie valore ai test PISA. Solo, quando facciamo confronti (tra un anno e l'altro o tra un paese e l'altro), cerchiamo di tener presente cosa stiamo misurando: non il livello delle scuole in astratto, ma la capacità di affrontare i test PISA. In maniera indiretta questa è anche una misura dell'efficienza di un sistema scolastico. Ma, appunto, in maniera indiretta.

Non esiste il "livello delle scuole in astratto", si tratta di un concetto filosofico che vive in maniera non riproducibile nel cervello di chi ne parla e che non ha pressoche' alcuna utilita' concreta. Secondo me anche solo contrapporlo ai risultati PISA e' indicativo di una certa' mentalita' che io chiamerei idealismo prescientifico che e' endemica in Italia. Cio' che esiste, che e' valido concretamente, sono indicatori numerici, quantitativi, riproducibili, confrontabili sui risultati dell'educazione scolastica. Questo dice il metodo scientifico, questo indica la visione pragmatica ed empirica del mondo avviata con Hume, che si e' affermata nei Paesi progrediti ma che in Italia ha serie difficolta' ad affermarsi ancora oggi, a causa della nostra storia fatta di controriforma, analfabetismo di massa, e attitudine idealistica prescientifica, direi anche medievale e premoderna, delle elites.

I test PISA sono come ha mostrato Andrea Moro delle domande del tutto ragionevoli per capire quanto gli studenti hanno appreso per capire un testo scritto, per applicare il ragionamento matematico che e' alla base della conoscenza scientifica moderna, per interpretare scientificamente la realta'.  Sono certo e se ho tempo ci scrivo un articolo su nFA che dentro lo stesso Stato (come in Italia) c'e' una corrispondenza pressoche' totale tra risultati dei test PISA, PIL pro-capite regionale, analfabetismo storico, e tante altre cose.

Non e' facilmente attuabile fare un'istruzione mirata al successo dei test PISA, che sono molto generali. Sarebbe probabilmente comunque meglio in Italia organizzare l'educazione scolastica avendo come riferimento l'obiettivo di ottenere un buon punteggio sui test PISA, quando si considera che le domande PISA corrispondono abbastanza bene al tipo e al livello di conoscenze che un sistema scolastico dovrebbe dare nel mondo moderno (non in quello dei bei tempi andati di Aristotele e Platone).

Non esiste il "livello delle scuole in astratto", si tratta di un concetto filosofico che vive in maniera non riproducibile nel cervello di chi ne parla e che non ha pressoche' alcuna utilita' concreta. Secondo me anche solo contrapporlo ai risultati PISA e' indicativo di una certa' mentalita' che io chiamerei idealismo prescientifico che e' endemica in Italia.

Forse i test PISA di comprensione di un testo dovrebbero essere introdotti anche all'Università. Non ho affermato che esista un "livello delle scuole in astratto", ho detto che spesso mi pare che si ragioni sui test PISA come se descrivessero in astratto questo livello.

Mi sembra di avere affermato, molto empiricamente, che i test misurano la capacità di rispondere al test, che questa misura è cosa buona e giusta, che una misura è meglio di nessuna, ma che tale misurazione (come sempre accade) ha anche limiti di cui è opportuno essere consapevoli.

Mi rendo conto che di fronte alla resistenza al cambiamento la mia può essere scambiata per una difesa dell'esistente. Non è così. Non sono così fiducioso sulle luminose sorti progressive di una scuola che metta al centro del suo lavoro i soli test PISA e temo le distorsioni che questo può comportare, ma ignorarli è ancora peggio.

Tuttavia, poiché si era sollevato un problema concreto (come può una regione aver migliorato in un solo anno i suoi risultati), e visto che non è mia intenzione fare propaganda a priori per l'una o l'altra posizione, ho provato a dare una risposta.

All'obiezione che i quesiti erano facili vorrei far notare che non colpisce il bersaglio. Qui non stiamo parlando della risposta ad una singola domanda, ma dei risultati di tutta una prova. Se vuoi sostenere che sia ininfluente l'essere esercitati a svolgere un certo tipo di compito (nella gestione del tempo e nella strategia da usare) ho l'impressione che sbagli di grosso. La prima volta che affronti una  prova di tipo nuovo devi perdere un po' di tempo per capire come funziona e come svolgerla al meglio. E questo, in generale, un qualche svantaggio lo comporta. Mi sembra un'osservazione banale.

L'errore che fai e' pensare che i test pisa siano simili a TOEFL, GRE e GMAT, dove (ai tempi in cui gli ho fatti io) gli studenti (italiani) si presentavano senza capire cosa fossero gli ovali che bisognava riempire con la matita, qualcuno metteva la crocetta, qualcuno un pallino, etc... Inoltre, ora e allora, erano test congegnati male, in cui si testavano sia conoscenze, sia abilita' intellettuali, sia velocita' di ragionamento. Fattori magari correlati ma che il risultato del test tende a confondere aumentando il noise della sua informativita'. L'ultimo fattore, la velocita' di risposta, era essenziale per ottenere un punteggio ottimo, e per questo esercitarsi prima era essenziale, come dici tu. 

I test PISA, da quanto ho visto io, non hanno nulla a che vedere con i test di cui sopra, e le loro domande sono del tutto simili agli esercizi assegnati dai professori di matematica e geometria. 

Dando una rapida occhiata agli esempi di test proposti e assumendo per vero che i nostri studenti non siano preparati a quel tipo di test si evince che i nostri studenti non hanno MAI fatto un compito in classe in vita loro, nemmeno alle elmentari.

Insomma non mi sembrano i quesiti della sfinge non capisco che strategia e/o preparazione ci voglia per rispondere alla domanda: "quanti cubettini servono a Susan per costruire un cubo come in figura c" (per la cronaca ammesso che il nostro non sappia fare le moltiplicazioni in questo caso li può semplicemente contare dal disegno... O_O)

Non sono passati molti anni da quando io avevo 15 anni, ed è inutile girarci attorno siamo delle capre (mediamente), punto. Sfruttando trucchi ed alchimie si può arrivare al diploma senza saper fare una proporzione (o anche senza sapere le tabelline), tanto si dice non servono a nulla oppure non servono solo quelle... certo, certo...

Davvero occorre essere "esercitati" per rispondere alla domanda "Se una scala è alta 252 cm e ha 21 gradini, quanto alti sono i gradini?".

se è troppo esercitato, forse lo studente si accorge che non può rispondere a questa domanda (c'è la risposta: non ci sono info sufficienti?) :)