Recensione di un documento pubblicato dall’OCSE sul valore di predizione degli items del test di matematica messo a punto per l’indagine PISA

Version imprimable de cet article Version imprimable

Uso della valutazione: il caso dell’indagine PISA

Il lavoro di miglioramento dei test per usarli in modo adeguato non cessa. Ne è una prova il documento che pubblica l’OCSE nel quale si valuta il valore predittivo degli items del test di matematica dell’indagine PISA. E’ bene ricordare che la matematica fu il tema centrale dell’indagine PISA nel 2003 e nel 2012. E’ evidente che qui non si ha a che fare con un quiz. Inoltre, una questione è lo sfruttamento delle risposte fornite agli items del test e un’altra è la natura degli items, il tipo di competenze messe in gioco e valutate dal pacchetto degli items. Si tratta di due discussioni diverse. Una piuttosto tecnica e l’altra invece piuttosto filosofica. I due aspetti vanno tenuti distinti anche se sono connessi. Va proseguito il lavoro tecnico di analisi e di perfezionamento degli items del test e va approfondita la riflessione sulla natura della competenze e delle conoscenze che la scolarizzazione promuove o richiede.

 Il documento qui presentato è un tipico prodotto delle catacombe di PISA, cioè degli studi svolti dietro le quinte sui metodi delle valutazioni su larga scala. E’ stato preparato da un universitario polacco, Maciej Jakubowski, in collaborazione con altri colleghi suoi. Gli autori tentano di dimostrare come taluni items dei test di matematica di PISA abbiano una validità di predizione elevata, permettono cioè di anticipare come si comporterà anni dopo lo studente quindicenne che ha partecipato all’indagine PISA. Il documento è stato pubblicato dall’OCSE e serve indubbiamente per dimostrare che i test dell’indagine PISA sono eccellenti e non sono da buttare. E’ dunque un contributo politico nel senso che serve a valorizzare l’indagine PISA ma è anche un documento di ricerca scientifica di studio degli items utilizzati nei test messi a punto per valutare i sistemi scolastici e per farli evolvere. Nel documento si esaminano gli items del test di matematica utilizzati nell’indagine PISA del 2003 e si confrontano con la situazione degli studenti australiani che hanno partecipato all’indagine PISA nel 2003 alcuni anni dopo, più precisamente nel 2007 e 2010. Le informazioni provengono dall’indagine longitudinale australiana. LSAY [1]. 

Il documento "Analysis of the Predicative Power of PISA Test Items" [2] è qui presentato in modo ridotto e in lingua italiana. L’originale è in inglese e si può consultare cliccando qui. Lo si deve citare in questo modo:Jakubowski, M. (2013), “Analysis of the Predicative Power of PISA Test Items”, OECD Education Working Papers, No. 87,OECD Publishing.

E’ rilevante ricordare che i quindicenni nel proseguo della loro vita scolastica oppure della loro vita professionale andranno incontro a scelte drastiche , entreranno a un certo punto nel mondo del lavoro, dovranno scegliere una professione e prepararvisi. Per questa ragione il valore di predizione degli items di un test conta. Le indagini longitudinali effettuate in taluni sistemi scolastici offrono a questo riguardo l’opportunità di valutare il valore di anticipazione degli items di un test. E’ in questo ambito che il documento si colloca.Da questo punto di vista si può dire che il documento è un’eccellente dimostrazione dell’importanza delle indagini statistiche longitudinali, che sono molto costose e difficili da realizzare ma che forniscono indicazioni utilissime di svariato genere per la gestione degli apparati scolastici. Se si riuscisse a dimostrare che si può pronosticare l’esito scolastico e professionale di una persona con i risultati in un test fatto a 15 anni, si farebbe un gran colpo. Per esempio l’OCSE si assicurerebbe un finanziamento stabile della propria indagine PISA e i governi disporrebbero di informazioni ulteriori per pilotare le politiche scolastiche in un settore ultra-sensibile come quello della licealizzazione e della formazione professionale.

L’indagine è stata concepita in funzione di un determinato modello di società,la società della conoscenza, e valorizza quindi competenze e standards confacenti con questo modello. Questo tipo di lavoro permetterebbe di valutare con precisione le scuole, la formazione impartita. Si tratta di lavori costosi e complicati che vengono pertanto evitati per il momento nella maggioranza dei sistemi scolastici, a prescindere dalla discussione sul modello di società e sul tipo di conoscenze che vi si valorizza. 

I risultati dimostrano che la forza di previsione degli items esiste ma che varia in funzione dei tipi di items, cioè da come funzionano gli items; Tutto questo anticipa una evoluzione probabile dei test. Gli autori classificano gli items studiati in due gruppi: items piuttosto matematici e items più generici. Entrambi i gruppi di items si ritrovano nel test di matematica dell’indagine PISA 2003 e forse sono stati ripresi nel test successivo di PiSA imperniato sulle conoscenze matematiche (il test del 2012). 

Le indagini longitudinali di riferimento

Si conoscono tre indagini longitudinali che hanno seguito la coorte di quindicenni che componeva il campione di studenti che hanno partecipato all’indagine PISA: l’indagine canadese YITS [3], quella svizzera TREE [4] , entrambe basate sul campione PISA del 2000 e due indagini australiane, una che ha seguito il campione 2003 di quindicenni e l’altra il campione di quindicenni dell’indagine PISA 2006. Nell’articolo si è optato per sfruttare i dati dell’indagine australiana del 2003.Tutte queste indagini raccolgono informazioni sulla carriera scolastica dei quindicenni dopo l’indagine, ossia sulla loro formazione negli anni successivi a quello nel quale avevano 15 anni e frequentavano la scuola nella quale si trovavano quando hanno partecipato all’indagine PISA.Queste indagini sono interessanti anche perché forniscono indicazioni sulla crisi del "vocationalism", ossia degli indirizzi professionalizzanti nel settore scolastico. Cosa sta succedendo nella scolarizzazione nelle società della conoscenza? Perché si discute tanto di nuove competenze? Quelle che si decantano oggigiorno sono richieste in che tipo di società? Quali sono le norme , i criteri scolastici che fanno testo oggigiorno nelle cosiddette società avanzate?

L’articolo pubblicato dall’OCSE tende a classificare gli item del test in funzione del loro valore di predizione. In altri termini , l’articolo fa riferimento a una indagine che studia come funzionano gli items del test di matematica e conferma che gli gli items ( anzi le risposte agli items) predicono la carriera scolastica futura degli studenti.

Items di matematica

Qui ci si limita agli items con un contenuto matematico pronunciato. L’articolo raggruppa gli items in categorie e esamina la validità di queste categorie dal punto di vista del pronostico scolastico. Si tratta di un passo avanti nell’esame degli items dal quale si possono desumere gli strumenti di cui si deve disporre per indagare questo aspetto degli items di un test, il che non è affatto banale.

Dunque tra gli items classificati come matematici , ci sono due gruppi di items che pronosticano assai bene quanto può succedere in seguito almeno dal punto di vista scolastico : gli items di statistica e quelli riguardanti le proporzioni, i rapporti, le percentuali. Questi items inducono spesso gli studenti a applicare concetti matematici comuni nella soluzione di problemi inediti oppure che implicano molteplici tappe [5], che richiedono di pensare in modo flessibile, di capire e interpretare informazioni presentate in una maniera non familiare . Queste sono tipiche competenze di una società della conoscenza funzionale alla scolarizzazione odierna. 

Limiti

Per ora è troppo presto formulare un giudizio definitivo sulla validità previsionale di questi items. La maggioranza delle persone che partecipano all’indagine non sono ancora ancorati ad una attività professionale stabile o quasi stabile. I ricercatori lavorano su informazioni in ritardo rispetto allo stato odierno delle persone. Per esempio, i ricercatori hanno lavorato con informazioni riguardanti soprattutto il livello di istruzione, i diplomi di formazione delle persone raggiunte con l’indagine perché la maggioranza di questa popolazione nei dati trattati nell’indagine erano ancora al momento nel quale le informazioni sono state messe a disposizione della ricerca scientifica in formazione e non aveva una posizione stabile nel mondo del lavoro. 

 

 

 

 

[1] Sigla che sta per " Longitudinal Study Australian Youth";cliccare qui per maggiori informazioni su questa indagine longitudinale

[2] In italiano si potrebbe tradurre il titolo nel modo seguente: "Analisi del valore predittivo degli items del test dell’indagine PISA"

[3] Sigla per "Youth in Transition Survey"; cliccare qui per ulteriori informazioni

[4] Sigla per " Transition from Education to Employment"; cliccare qui per ulteriori informazioni

[5] "Multistep"