INValSI - elearning.uniroma1.it · INValSI, Frascati, 12/2005. Modulo n° 6 Analisi dei dati per la...

INValSI Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e di Formazione

Formazione per la Valutazione

Corso di formazione per operatori scolastici “La valutazione nel e del sistema dell’istruzione” (eVal.101)

a cura di Luciano Cecconi

Modulo didattico n° 6 – “Analisi dei dati per la validazione delle prove” di Giorgio Asquini

Progetto grafico a cura di Sicotem Realizzazione Alessandro Pernice

Impaginazione Cristina Lasorsa

Nessuna parte di questa pubblicazione può essere riprodotta o trasmessa senza il consenso scritto dell’INValSI. Attenzione: la riproduzione o la trasmissione non autorizzata di questa pubblicazione è un’infrazione della legge sui diritti

d’autore e può provocare un procedimento penale.

INValSI, Frascati, 12/2005

Modulo n° 6

Analisi dei dati per la validazione delle prove di Giorgio Asquini

INDICE Introduzione pag. I U.D.1 Costruire una tabella di dati pag. 1 U.D.2 L’inserimento dei dati pag. 5 U.D.3 L’indice di facilità pag. 24 U.D.4 L’indice di discriminatività pag. 33 U.D.5 La revisione dei quesiti pag. 46 U.D.6 L’item analisi con il metodo IRT pag. 59

INValSI

6.1C

ostruire una tabella di dati INValSI

UNITA’ DIDATTICA n° 1

Costruire una tabella di dati

INDICE Obiettivi pag. 1 Criteri generali pag. 2 Utilizzazione del foglio di calcolo pag. 4

OBIETTIVI In questa unità didattica cercheremo di capire quali sono i criteri fondamentali che guidano la costruzione di una tabella per l’inserimento dei dati provenienti da una prova di valutazione, con lo scopo di realizzare una analisi dei quesiti (item analisi) per verificare la funzionalità della prova stessa. In particolare vedremo:

• come definire gli spazi necessari (righe, colonne, celle) per l’inserimento dei dati e dei risultati dell’analisi;

• la necessità di operare una scelta chiara sull’orientamento della tabella di dati che intendiamo costruire;

• i vantaggi e rischi connessi con l’uso del computer, e in particolare con il foglio di calcolo.

Si tratta di un’unità introduttiva, per cui non sono previsti esercizi particolari.

1

6.1 P

unteggi normalizzati, m

assimi e m

inimi

INValSI

Criteri generali L’impostazione della tabella nella quale inserire i dati relativi a una prova può sembrare un’operazione banale, soprattutto per chi è già abituato a utilizzare il computer e in particolare i programmi basati sui fogli di calcolo. Ma per la comprensione delle tecniche di analisi dei dati resta sempre raccomandabile seguire la strada tracciata dagli analisti pre-informatici, che avevano a loro disposizione solo carta (quadrettata possibilmente), righello, matita e gomma. Naturalmente stiamo parlando delle procedure relative all’item analisi classica, che si può realizzare con accorgimenti e calcoli abbastanza semplici, ma non per questo meno efficaci rispetto a tecniche di analisi più complesse, come quelle basate sull’Item Response Theory (IRT), di cui parleremo nell’UD 6, che invece richiedono obbligatoriamente l’uso di specifici software. L’impostazione corretta di una tabella si deve basare sui dati disponibili e sugli scopi che l’analista dei dati intende perseguire, sintetizzabili nella definizione della qualità della prova di valutazione che è stata allestita. Nel corso del modulo faremo riferimento a una prova di esempio composta da 10 quesiti a scelta multipla (con quattro alternative di risposta) somministrata in una classe di 19 allievi. Cominciamo con la costruzione della tabella che deve ospitare i dati e i risultati dell’analisi. Per l’inserimento dei dati sembrerebbe sufficiente una tabella di 19 righe (i quesiti) per 10 colonne (gli studenti), ma è evidente che servono più spazi, in particolare;

− bisogna prevedere una riga e una colonna in più per le etichette, sia dei quesiti, sia degli studenti;

− serve una riga in più per le chiavi di risposta dei quesiti (preferibilmente sotto l’ultima riga di dati);

− serve una colonna in più per il totale delle risposte corrette di ogni studente (preferibilmente a destra della colonna dei dati relativi all’ultimo studente);

− sono necessarie diverse righe in più per riportare i totali delle scelte relative a ogni alternativa di risposta (sotto la riga con le chiavi di risposta);

− infine è opportuno prevedere alcune righe per gli indici necessari per la realizzazione dell’item analisi.

Riassumiamo in uno schema gli elementi utili per disegnare la nostra tabella dati.

Colonne Righe Etichette allievi 1 Etichette quesiti 1 Quesiti 10 Allievi 19 Totali risposte corrette 1 Chiavi di risposta 1 Totali alternative risposta 4 Errori e omissioni 2 Indici di analisi 2 Totale colonne 12 Totale righe 29

Cos

truire

una

tabe

lla d

i dat

i

2

6.1C

ostruire una tabella di dati INValSI

Una annotazione operativa: la tabella può anche essere ruotata, ovvero possono essere scambiate le righe con le colonne. L’orientamento della tabella è sostanzialmente indifferente e rimanda alle abitudini personali dell’analista. E’ però raccomandabile, una volta scelto il modello, non modificarlo, soprattutto se viene condiviso all’interno di un gruppo di lavoro (per esempio in un istituto scolastico o in un distretto). Ecco il disegno definitivo della tabella in cui inserire i dati. Sono anche già state inserite alcune delle etichette necessarie. Prova_____________________svolta da____________________in data___________

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. chiave risp.A risp.B risp.C risp.D Si può notare che le etichette relative agli studenti sono ancora generiche, poiché verrà utilizzato un accorgimento per l’ordine di inserimento dei dati. Ricordiamo che nella nostra prova esempio sono previsti quesiti dello stesso tipo (4 alternative di risposta), ma se nella prova che dobbiamo tabulare sono presenti quesiti di tipo diverso (per esempio vero-falso, con solo due alternative, o scelte multiple a 5 alternative) la tabella deve essere costruita considerando il numero di righe necessario per il quesito con più alternative. Naturalmente per i quesiti con meno alternative utilizzeremo solo alcune righe (per esempio le righe risp.A e B per i quesiti vero-falso).

3

6.1 P


assimi e m

inimi

INValSI

Utilizzazione del foglio di calcolo Il disegno della tabella in cui inserire i dati è realizzabile direttamente al computer. Nel nostro esempio faremo riferimento al foglio di calcolo più diffuso, cioè Microsoft Excel, ma naturalmente può essere utilizzato qualsiasi programma simile, anche su sistemi operativi diversi (per esempio della suite Star Office su Linux o su MacOs). Come si può notare nella tabella seguente, che è stata direttamente importata da Excel, l’aspetto è molto simile, ma con due particolarità: ancora non sono presenti alcune righe perché ancora sprovviste di etichette (in Excel è possibile costruire tabelle con 65.536 righe e 256 colonne, ma vengono esportate solo quelle effettivamente compilate); gli studenti hanno già il numero identificativo, poiché l’inserimento dei dati può avvenire senza particolari accorgimenti.

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.1 stud.2stud.3stud.4stud.5stud.6stud.7stud.8stud.9stud.10stud.11stud.12stud.13stud.14stud.15stud.16stud.17stud.18stud.19risp. Arisp. Brisp. Crisp. D

La tabella originale in formato .xls è contenuta nel file ud1.xls, localizzata all’interno della cartella “Unita_didattica_01”

La differenza sostanziale di una tabella costruita in un foglio di calcolo rispetto a una disegnata “carta e matita” (ma anche una costruita con un normale programma di grafica o scrittura) è che è possibile inserire nelle celle (una cella è lo spazio risultante dall’incrocio di una riga con una colonna) non solo dati, ma anche formule per svolgere dei calcoli su una serie di celle contenente dati . In questo modo molte operazioni risultano automatizzate e permettono di avere i risultati dell’item analisi in brevissimo tempo. La velocità di analisi però non vuol dire che il lavoro di inserimento dei dati (e delle formule, per il foglio di calcolo) diventi più semplice, anzi, l’aumento della velocità può trasformarsi in eccesso di confidenza dell’analista, che per giungere velocemente al risultato rischia di non accorgersi di errori di inserimento (anche sistematici, cioè ripetuti per tutti gli studenti o per tutti gli item) che finiscono per falsare i risultati ottenuti. Per questo proseguendo nel modulo faremo riferimento in primo luogo all’analisi “carta e matita”, facendo poi gli opportuni riferimenti al foglio di calcolo, evidenziando anche, per quanto possibile, i passaggi critici, in cui è possibile sbagliare l’inserimento.

Cos

truire

una

tabe

lla d

i dat

i

4

6.2L’inserim

ento dei dati INValSI


L’inserimento dei dati

INDICE Obiettivi pag. 5 Pre-trattamento delle prove pag. 6 Esercitazione guidata pag. 7 Accorgimenti pratici pag. 9 I vantaggi del foglio di calcolo pag. 15 Esercitazione guidata pag. 21 Esercitazioni pag. 22

OBIETTIVI In questa unità affronteremo tutti i problemi relativi all’inserimento dei dati provenienti da una prova di valutazione nella tabella di analisi. L’operazione verrà svolta sia con il metodo “carta e matita”, utile per comprendere meglio le modalità di compilazione della tabella, sia con l’utilizzazione del foglio di calcolo, che permette di velocizzare e automatizzare le operazioni. In particolare vedremo come:

• correggere le prove o ordinarle prima dell’immissione; • determinare i punteggi ottenuti dagli studenti; • trascrivere le risposte degli studenti nella tabella; • contare le risposte corrette e quelle errate , distinguendo le alternative; • controllare la qualità dei dati immessi; • verificare la presenza di errori nelle formule di calcolo.

Durante l’unità saranno proposti alcuni semplici esercizi da risolvere e un’esercitazione riassuntiva finale.

5

6.2L’inserim


Pre-trattamento delle prove Poiché abbiamo deciso di seguire in primo luogo il modello “carta e matita”, prima di procedere all’inserimento dei dati è necessario un trattamento preventivo dei materiali, cioè delle prove compilate dagli studenti. In pratica si tratta di una correzione di tipo tradizionale, in cui prendiamo una prova alla volta e cerchiamo di capire come è andato lo studente sommando il numero di risposte esatte che ha dato. Per fare questo è necessario confrontare le risposte segnate da ogni studente con le chiavi di risposta corrette (quindi avere a disposizione una prova di riferimento “perfetta”). Un semplice esempio di codifica consiste nel cerchiare con una matita rossa i numeri d’ordine delle domande con risposta corretta. Al termine di ogni correzione il punteggio dello studente nella prova corrisponderà al totale delle domande cerchiate. Tale punteggio deve essere riportato nell’intestazione della prova. In questa fase può risultare utile anche evidenziare eventuali omissioni o errori di risposta. L’omissione corrisponde alla risposta non data, può essere segnalata con una “N” (preferibile a una “O”, troppo simile al cerchietto della risposta corretta); l’errore di risposta (diverso dalla risposta errata) corrisponde all’impossibilità da parte del correttore di capire quale sia la risposta data dallo studente, per esempio se lo studente ha indicato due alternative di risposta o se, correggendo la risposta, ha talmente “sporcato” il foglio che è impossibile capire quale fosse la sua effettiva volontà di risposta. Si tratta in entrambi i casi di una perdita di informazioni, ma la possibilità che si verifichino (omissioni e errori di risposta) è molto più bassa in presenza di istruzioni alla compilazione della prova che risultino essere chiare (in particolare sulle modalità di risposta e correzione) e motivanti (soprattutto per le omissioni). Su questi aspetti rimandiamo a quanto detto nel modulo 4, anche per quanto riguarda le modalità di somministrazione della prova.

6

6.2 P


assimi e m

inimi

INValSI

Un problema particolare per il conteggio delle risposte esatte è dato dall’eventuale compresenza nella stessa prova di quesiti di tipo diverso, con diverse alternative di risposta. E’ evidente che non possono essere messi sullo stesso piano un quesito vero-falso e una scelta multipla a 4 alternative di risposta, per cui è necessario procedere a una pesatura dei quesiti in relazione alla possibilità di rispondere correttamente, ma in modo casuale. Anche questo aspetto è stato affrontato nel dettaglio nel modulo 4, pertanto qui vediamo come si riflette la diversa articolazione dei punteggi sul risultato dello studente da trascrivere nell’intestazione della prova. Se nella prova fossero compresi dei quesiti vero-falso (due sole alternative di risposta) converrebbe utilizzare questi come unità di misura, per cui ogni risposta corretta a questo tipo di quesito vale un punto. Nelle domande a scelta multipla con 4 alternative di risposta le possibilità di sbagliare sono 3 su 4, quindi è possibile assegnare a ogni risposta esatta 3 punti. Pertanto se la prova è composta da quesiti di diverso tipo, accanto a ogni domanda cerchiata (che indica risposta corretta) bisogna aggiungere il valore della risposta. Naturalmente se si sceglie un modello di attribuzione dei punteggi che penalizza le risposte errate bisogna aggiungere, accanto a ogni domanda non cerchiata, il relativo punteggio negativo (in genere -1 per qualsiasi tipo di quesito). Il punteggio da trascrivere nell’intestazione corrisponderà alla somma dei singoli punteggi (somma algebrica in caso di punteggi negativi).

ESERCITAZIONE GUIDATA

A questo punto può risultare utile un esercizio. Seguendo le indicazioni appena fornite riportare per ognuno dei tre studenti esempio il punteggio totale da trascrivere nell’intestazione, considerando la particolarità dei quesiti (vero-falso, scelta multipla). Per concentrare l’attenzione sull’oggetto dell’esercizio non viene indicato il testo dei quesiti, ma solo le chiavi (sotto il numero identificativo di ogni quesito) e le risposte di ogni studente (segno di spunta accanto alla risposta data). Non sono da penalizzare le risposte errate.

L’in

serim

ento

dei

dat

i

7

Puntegg

6.2L’inserim


Esercizio 6.1 – Determinazione dei punteggi totali degli studenti

Studente 1 Studente 2 Studente 3 Quesiti Punteggio …. Punteggio …. Punteggio ….

1) B

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

2) A

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

3) B

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

4) F

V F

√

V F

√ V F

√ V F

5) F

V F

√

V F

√ V F

√

V F

6) F

V F

√

V F

√ V F

V F

7) D

A… B… C… D…

√

A… B… C… D…

A… B… C… D…

√

A… B… C… D…

8) A

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

9) V

V F

√ V F

√

V F

√ V F

10) V

V F

√ V F

√ V F

√

V F

11) D

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ √

A… B… C… D…

12) F

V F

√

V F

√ V F

√

V F

Correzione esercizio Lo studente 1 ha ottenuto in totale 12 punti, rispondendo correttamente a 8 domande, di cui 2 a scelta multipla (3 punti ognuna) e 6 vero-falso (un punto ognuna). Lo studente 2 ha ottenuto in totale 13 punti, rispondendo correttamente a 5 domande, di cui 4 a scelta multipla e una sola vero-falso. Da notare che per la domanda 7 risulta un’omissione di risposta. Lo studente 3 ha ottenuto in totale 6 punti, rispondendo correttamente a una domanda a scelta multipla e 3 vero-falso. Da notare l’omissione per la domanda 6 e l’errore di risposta (doppia spunta) per la domanda 11.

8

6.2 P


assimi e m

inimi

INValSI

Accorgimenti pratici Continuiamo con la nostra prova esempio di 10 quesiti somministrata a 19 alunni. Dopo averla corretta e aver trascritto per ogni studente il punteggio totale ottenuto mettiamo in ordine le prove partendo dal punteggio più basso (ottenuto dallo studente 3) a quello più alto (studente 11). Nel caso in cui diversi studenti presentassero lo stesso punteggio totale la loro posizione nel pacco di prove è indifferente, ovvero si può adottare un criterio di ordinamento diverso e non legato alla prova. Nel nostro esempio gli studenti che hanno ottenuto lo stesso punteggio sono stati ordinati (in modo crescente) secondo il loro numero identificativo. Ecco il prospetto completo delle prove degli studenti, già ordinate dal punteggio più basso (a destra) a quello più alto.

L’in

serim

ento

dei

dat

i

9

St.3 St.1 St.4 St.15 St.18 St.2 St.8 St.10 St.13 St.14 St.5 St.16 St.7 St.9 St.12 St.6 St.17 St.19 St.11 Pnt.1 Pnt.3 Pnt.4 Pnt.4 Pnt.4 Pnt.5 Pnt.5 Pnt.5 Pnt.5 Pnt.5 Pnt.6 Pnt.6 Pnt.6 Pnt.7 Pnt.7 Pnt.8 Pnt.8 Pnt.9 Pnt.10 1) C

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

2) A

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√ A… B… C… D…

3) D

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

4) C

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

5) B

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

6) C

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

7) D

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

8) C

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…


√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

9) A

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…

√

A… B… C… D…

√ A… B… C… D…

√ A… B… C… D…


√A…B…C…D…

√A…B…C…D…

√ A… B… C… D…

10) D

A… B… C… D…

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

A… B… C… D…

A… B… C… D…

√

A… B… C… D…

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

10

6.2 P


assimi e m

inimi

INValSI

Ora è possibile cominciare a immettere i dati nella tabella che avevamo predisposto. Cominciamo dallo studente 3, avendo l’accortezza di trascrivere nelle celle corrispondenti a ogni quesito solo le risposte errate (in pratica per le risposte corrette lasciamo la cella vuota). Le celle compilate in ogni fase dell’esercitazione guidata sono evidenziate dal fondino colorato. Prova___Esempio_______________ svolta da___classe esempio__________ in data___29-02-05_______

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1

stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. chiave C A D C B C D C A D risp.A risp.B risp.C risp.D Sono state compilate tutte le celle tranne quella relativa al quesito 5, in cui lo studente ha dato la risposta corretta (B, corrispondente alla chiave). E’ stato trascritto anche il punteggio totale dello studente. Da notare che per il quesito 10, a cui lo studente non ha dato risposta, è stata trascritta una “n” per evitare confusioni con le risposte errate. Proseguiamo con la compilazione relativa al secondo studente (il numero 5) con le stesse accortezze.

L’in

serim

ento

dei

dat

i

11

6.2L’inserim


Prova___Esempio_____svolta da___classe esempio__________ in data___29-02-05_______

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. stud. chiave C A D C B C D C A D risp.A risp.B risp.C risp.D Per lo studente 1 sono state compilate 7 celle, lasciando in bianco le tre risposte corrette. Da notare che l’immissione dei dati diventa sempre più rapida, poiché crescono le risposte corrette e conseguentemente le celle da non compilare, fino all’ultimo studente di cui in pratica bisogna trascrivere solo il punteggio totale, poiché ha dato tutte le risposte corrette. Ecco come appare la tabella dopo l’inserimento di tutti i dati.

12

6.2 P


assimi e m

inimi

INValSI

Prova___Esempio_________svolta da___classe esempio__________in data___29-02-05_____

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A risp.B risp.C risp.D Nel nostro esempio non ci sono errori di risposta (evidentemente le istruzioni per la compilazione erano ben formulate), ma se ci fossero stati avremmo inserito una “e”, sempre per distinguerla dalle risposte errate. La non immissione delle risposte corrette se da una parte velocizza la trascrizione, dall’altra ci permette di avere già una stima visiva dei risultati per quanto riguarda i quesiti. Spiccano in particolare le colonne relative ai quesiti 5 e 8: la prima completamente vuota fa capire subito che si tratta di un quesito estremamente facile, a cui hanno risposto proprio tutti, compreso lo studente meno abile (si tratta peraltro dell’unica risposta corretta che ha dato); la seconda, piena di lettere diverse dalla chiave “C”, fa pensare a un quesito difficile, o con problemi nei distrattori, anche se si nota anche che lo studente più abile ha risposto correttamente. Inoltre anche il semplice buon senso ci fa intuire che scendendo nella tabella (andando cioè verso i dati relativi agli studenti più abili) gli spazi bianchi dovrebbero sempre aumentare, ma notiamo nella colonna della domanda 4 ci sono più celle bianche nella parte alta della tabella. Naturalmente non possiamo accontentarci di queste osservazioni materiali sulla tabella dati, ma, come vedremo nell’elaborazione degli indici e nella loro analisi, anche questa componente visiva può agevolare l’interpretazione.

L’in

serim

ento

dei

dat

i

13

6.2L’inserim


Prima di riporre le prove degli studenti è opportuno un controllo di qualità dell’immissione per cui estraiamo a caso tre prove (non consecutive) dal pacchetto e ricontrolliamo i dati trascritti nella tabella. Se troviamo degli errori è opportuno ripetere il controllo con altre tre prove: la certezza assoluta di un’immissione corretta non l’avremo mai, per cui il vero obiettivo è limitare il più possibile gli errori di inserimento. Una prima operazione da svolgere sui dati, molto semplice, riguarda il conteggio delle risposte esatte e delle risposte errate. L’operazione va fatta per ogni quesito, distinguendo le risposte errate secondo le lettere dei distrattori. Cominciamo con il quesito 1, compilando le quattro celle sotto la chiave di risposta. Prova___Esempio________svolta da___classe esempio__________in data___29-02-05______

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A 2 risp.B 5 risp.C 9 risp.D 3 omiss. 0 errate 0 Da notare che le risposte per l’alternativa “C” (corretta) corrispondono agli spazi bianchi. Anche se per il primo quesito non si sono verificati omissioni o risposte errate, è opportuno compilare anche altre due righe dedicate esplicitamente a queste due modalità di risposta. Un semplice riscontro dei conteggi è dato dal totale delle risposte nelle 6 celle, che deve corrispondere al numero totale delle risposte. Con le stesse modalità trascriviamo i totali delle risposte per tutti i quesiti.

14

6.2 P


assimi e m

inimi

INValSI

Prova___Esempio_________svolta da___classe esempio__________in data___29-02-05____

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A 2 15 1 4 0 3 0 6 11 0 risp.B 5 1 9 3 19 3 3 10 3 0 risp.C 9 3 4 10 0 10 2 1 4 0 risp.D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 Se alcune alternative di risposte non sono state scelte da alcuno studente bisogna scrivere “0”. Nella nostra prova esempio non ci sono errori di risposta, mentre le omissioni si concentrano solo nel quesito finale. A questo punto siamo pronti per passare all’elaborazione degli indici che permettono di svolgere l’item analisi. I vantaggi del foglio di calcolo Tutte le operazioni illustrate in questa unità possono essere svolte utilizzando un foglio di calcolo, con alcuni vantaggi in termini di velocità di inserimento e di automazione dei conteggi. In primo luogo non è necessaria la correzione preventiva delle prove e l’ordinamento delle stesse, perché queste operazioni possono essere svolte dal computer. Vediamo come, facendo sempre riferimento al foglio di lavoro Excel visto nella precedente unità. Ecco come appare la compilazione del foglio di calcolo dopo la semplice immissione delle risposte fornite dagli studenti.

L’in

serim

ento

dei

dat

i

15

6.2L’inserim


item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.01 D C B A B D D B C Dstud.02 B A B C B B D B B Dstud.03 B C C A B B C D B nstud.04 D A A C B A B D C Dstud.05 B A C C B C B A A Dstud.06 C A D B B C D A A Dstud.07 C A D A B B D A C Dstud.08 A A B C B D D B A nstud.09 C A B B B C D B A Dstud.10 C A C D B A D B C Dstud.11 C A D C B C D C A Dstud.12 D A D B B C D A A Dstud.13 C C B D B C D B D Dstud.14 A A B A B C B A A Dstud.15 C B C C B A D B B nstud.16 B A B C B C D B A nstud.17 C A B C B C D B A Dstud.18 B A B C B D C A A nstud.19 C A D C B C D B A Dchiave C A D C B C D C A Drisp. Arisp. Brisp. Crisp. Domiss.errate


Da notare che l’ordine di inserimento è quello relativo alla lista studenti, ma potrebbe essere anche casuale, poiché il foglio di calcolo permette di riordinarli (menù “Dati”, comando “Ordina”, specificando la colonna di ordinamento) secondo diversi criteri. Per inciso notiamo che il numero d’ordine degli studenti è sempre a due cifre (01, 02…) proprio per permettere il riordinamento automatico. A questo punto si possono sfruttare le potenzialità del foglio di calcolo, immettendo nelle celle in cui vogliamo leggere dei conteggi le formule per realizzarle. Nella cella del “Totale” dello “stud.01” costruiamo la seguente formula:

=SOMMA(SE(B2=$B$21;1;0)+SE(C2=$C$21;1;0)+SE(D2=$D$21;1;0)+SE(E2=$E$21;1;0)+SE(F2=$F$21;1;0)+SE(G2=$G$21;1;0)+SE(H2=$H$21;1;0)+SE(I2=$I$21;1;0)+SE(J2=$J$21;1;0)+SE(K2=$K$21;1;0))

può sembrare complessa, ma se la osserviamo bene si tratta di una semplice somma (=SOMMA) di 10 condizioni (=SE), in pratica il foglio di calcolo confronta ogni risposta dello studente con la relativa chiave:

SE(B2=$B$21;1;0)

16

6.2 P


assimi e m

inimi

INValSI

B2 è la risposta dello studente al quesito 1, se è uguale (=) alla cella della chiave ($B$21) viene calcolato il punteggio 1, altrimenti il punteggio 0. Nei successivi addendi della somma la condizione è la stessa, ma riferita di volta in volta alle successive risposte dello studente e alle relative chiavi, per cui la parte che segue la prima condizione è (sono evidenziate in rosso le parti della formula modificate): SE(C2=$C$21;1;0) in cui la seconda risposta (C2) viene confrontata con la seconda chiave ($C$21). Il foglio di calcolo fornisce molti ausili per costruire la formula attraverso una serie di finestre guida, ma forse l’aspetto più importante è che la formula può essere velocemente copiata in tutte le celle della colonna “Totale”, in cui è richiesto esattamente lo stesso conteggio per tutti gli studenti. Da notare che mentre l’indicazione della cella delle risposte è semplice (B2, B indica la colonna, 2 la riga), l’indicazione della cella relativa alla chiave è “bloccata” dalla presenza dei simboli $. Questo accorgimento permette di copiare la formula tra le celle della colonna “Totale” senza perdere i riferimenti con le chiavi di risposta, che devono rimanere costanti per tutti gli studenti. Ecco il risultato dell’inserimento delle formule relative ai punteggi degli studenti. item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.01 D C B A B D D B C D 3stud.02 B A B C B B D B B D 5stud.03 B C C A B B C D B n 1stud.04 D A A C B A B D C D 4stud.05 B A C C B C B A A D 6stud.06 C A D B B C D A A D 8stud.07 C A D A B B D A C D 6stud.08 A A B C B D D B A n 5stud.09 C A B B B C D B A D 7stud.10 C A C D B A D B C D 5stud.11 C A D C B C D C A D 10stud.12 D A D B B C D A A D 7stud.13 C C B D B C D B D D 5stud.14 A A B A B C B A A D 5stud.15 C B C C B A D B B n 4stud.16 B A B C B C D B A n 6stud.17 C A B C B C D B A D 8stud.18 B A B C B D C A A n 4stud.19 C A D C B C D B A D 9chiave C A D C B C D C A D risp. A risp. B risp. C risp. D omiss. errate


L’in

serim

ento

dei

dat

i

17

6.2L’inserim


Per inciso notiamo che se per la prova fossero stati previsti punteggi differenziati, era sufficiente intervenire sulla formula SE. Per esempio, se per il primo quesito si volevano assegnare 3 punti, la relativa parte della formula diventava: SE(B2=$B$21;3;0) Passiamo ora al riempimento dei totali per ogni risposta. In questo caso la formula da inserire nella cella che incrocia “item 1” e “risp. A” è la seguente: =CONTA.SE(B2:B20;"A") Qui sfruttiamo la funzione del foglio di calcolo CONTA.SE, che cerca fra tutte le risposte degli studenti al primo quesito (che si trovano nell’intervallo di celle compreso fra B2 e B20) quelle uguali a “A”, quindi le somma. Scendendo per le altre alternative di risposta le formule restano uguali, con l’unico cambiamento della lettera da contare. Per esempio per la cella in cui sommare le risposte “B” la formula risulta la seguente: =CONTA.SE(B2:B20;"B") Una volta inserite le 6 formule relative alle alternative di risposta per il quesito 1 (omissioni e errate comprese), è possibile copiarle velocemente nelle celle degli altri quesiti. Poiché le celle degli intervalli non sono state bloccate, il foglio di calcolo, nel copiare le formule, le adatterà agli intervalli di celle da considerare, per cui nella cella relativa al quesito 2, risposta A la formula sarà: =CONTA.SE(C2:C20;"A") in questo caso l’intervallo in cui il foglio di calcolo cerca le risposte “A” è quello relativo alle risposte date dagli studenti al secondo quesito (C2:C20). Ecco come appare il foglio di calcolo dopo l’immissione di tutte le formule di conteggio:

18

6.2 L’

inse

rimen

to d

ei d

ati

INValSI

item 1

item 2

item 3

item 4

item 5

item 6

item 7

item 8

item 9

item 10 Totale

stud.01 D C B A B D D B C D 3stud.02 B A B C B B D B B D 5stud.03 B C C A B B C D B n 1stud.04 D A A C B A B D C D 4stud.05 B A C C B C B A A D 6stud.06 C A D B B C D A A D 8stud.07 C A D A B B D A C D 6stud.08 A A B C B D D B A n 5stud.09 C A B B B C D B A D 7stud.10 C A C D B A D B C D 5stud.11 C A D C B C D C A D 10stud.12 D A D B B C D A A D 7stud.13 C C B D B C D B D D 5stud.14 A A B A B C B A A D 5stud.15 C B C C B A D B B n 4stud.16 B A B C B C D B A n 6stud.17 C A B C B C D B A D 8stud.18 B A B C B D C A A n 4stud.19 C A D C B C D B A D 9chiave C A D C B C D C A D risp. A 2 15 1 4 0 3 0 6 11 0 risp. B 5 1 9 3 19 3 3 10 3 0 risp. C 9 3 4 10 0 10 2 1 4 0 risp. D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0


A questo punto la tabella costruita nel foglio di calcolo appare molto simile a quella “carta e matita” del paragrafo precedente, con due differenze: qui tutte le celle delle risposte sono compilate (mentre là erano in bianco quelle delle risposte corrette), qui l’ordine segue l’elenco studenti (prima colonna), là l’ordine del punteggio totale (ultima colonna).

19

L’inserimento dei dati

6.2INValSI

Due annotazioni prima di passare al calcolo degli indici: l’uso del foglio di calcolo velocizza sicuramente l’immissione dei dati, ma non riduce le possibilità di errore, per cui è raccomandabile sempre un ricontrollo casuale degli inserimenti e soprattutto una verifica attenta delle formule, anche dopo le operazioni di copiatura fra le diverse celle. In alcuni casi è il foglio di calcolo stesso che segnala eventuali incongruenze nella formula. In altri si rischia di sbagliare senza rendersene conto. Per esempio, nelle formule utilizzate, è doveroso verificare con attenzione gli intervalli in cui sono svolti i conteggi, poiché alcune formule possono dare risultati corretti anche in intervalli sbagliati, e quindi indurre in errore. Se la prima formula di conteggio delle risposte “A” al quesito 1 fosse stata: =CONTA.SE(B2:B19;"A") l’intervallo (B2:B19) non avrebbe considerato l’ultimo studente, ma il risultato della formula sarebbe stato lo stesso della formula giusta (2); l’errore sarebbe comparso nella cella della risposta “C” (quella data dall’ultimo studente), ma se non si corregge l’errore anche nella cella della risposta “A”, quando si va a copiare la formula nelle altre celle in orizzontale, si copia anche l ‘errore, come si può osservare nelle celle relative ai quesiti… vediamo se sappiamo accorgerci degli errori.

20

6.2 P


assimi e m

inimi

INValSI

ESERCITAZIONE GUIDATA Se immettiamo nella cella che conta le risposte “A” del primo quesito la formula sbagliata =CONTA.SE(B2:B18;"A") e la copiamo in tutte le celle relative ai conteggi delle risposte “A”, per quali quesiti il totale delle risposte “A” risulta errato? Risposta corretta Quesiti 2, 8 e 9. L’intervallo è errato perché taglia fuori gli ultimi due studenti, che hanno scelto l’alternativa “A” per le risposte 2 e 9 (entrambi) e 8 (solo lo studente 18), per cui in queste celle il totale è chiaramente errato. Attenzione però: la formula è errata anche nelle altre celle, anche se il conteggio risulta uguale a quello che si ha con la formula corretta, è proprio questo che può rendere difficile trovare l’eventuale errore. Non si può però nascondere che, effettuati gli opportuni controlli, il foglio di calcolo facilita enormemente il lavoro dell’analista, soprattutto perché una volta predisposte le formule principali le successive analisi possono essere svolte sulle stesse “maschere” (fogli vuoti, ma già impostati con le formule di calcolo), adattando di volta in volta le formule secondo i numeri dei quesiti e degli studenti.

L’in

serim

ento

dei

dat

i

21

6.2L’inserim


ESERCITAZIONI

Per inviare le esercitazioni allo staff, usare il testo delle esercitazioni contenuto nel file “6.2_02.Esercitazioni.rtf”, collocato all’interno della cartella “Unità_didattica_02”.

Per mettere alla prova anche la competenza operativa di immissione di dati in una tabella proponiamo la seguente esercitazione. Nel tabellone che segue sono riportate, in modo sintetico, cioè senza riferimenti ai contenuti dei quesiti, le risposte di un gruppo di 17 studenti a una prova composta da 7 quesiti, tutti del tipo a scelta multipla con 4 alternative di risposta. Bisogna costruire la tabella dati per accogliere i dati e svolgere i calcoli necessari per l’analisi (può essere utile tornare a consultare l’unità 1) e quindi inserire i dati desumendoli dal tabellone, secondo le indicazioni fornite nella presente unità. L’esercizio può essere volto sia con il sistema “carta e matita”, sia con il foglio di calcolo. Nel primo caso ricordarsi del trattamento preventivo delle prove e di lasciare nella tabella lo spazio (due righe) per il calcolo degli indici, poiché la tabella risultante sarà utilizzata per successive esercitazioni, nel secondo le righe necessarie per gli indici potranno essere aggiunte in seguito. Nel caso si scelga di svolgere l’esercizio con il foglio di calcolo, si prega di inviare direttamente il foglio di calcolo.

20

Tabellone riassuntivo prova Esercitazione

St.1 St.2 St.3 St.4 St.5 St.6 St.7 St.8 St.9 St.10 St.11 St.12 St.13 St.14 St.15 St.16 St.17 Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt…

. Pnt….

1) B

A… B… C… D… √

A…B…C…D…

√A… B… C… D… √

A… B… C… D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√

A…B…C…D…

√no√

A… B… C… D…

√A…B…C…D…

√A…B…C…D… √

A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√

A… B… C… D…

2) C

A… B… C… D…

√

A…B…C…D…

√

A… B… C… D…

√A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D…

√

A…B…C…D… √

A…B…C…D…

√

A…B…C…D…

√A… B… C… D…

√

A…B…C…D…

√

A…B…C…D…

√A…B…C…D… √

A…B…C…D…

√√

A…B…C…D…

√

A…B…C…D…

√A… B… C… D…

3) A

A… B… C… D… √

A…B…C…D…

√A… B… C… D…

√A… B… C… D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A… B… C… D…

√A…B…C…D…

√


A…B…C…D…

√

A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A… B… C… D…

4) D

A… B… C… D… √

A…B…C…D…

√

A… B… C… D…

√

A… B… C… D… √

A…B…C…D…

√A…B…C…D… √



A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

√A…B…C…D… √





A…B…C…D…

√A… B… C… D…

5) D

A… B… C… D… √


A… B… C… D…

√A… B… C… D… √



A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√


A… B… C… D… √


A…B…C…D…

√





A… B… C… D…

6) A

A… B… C… D… √

A…B…C…D…

√A… B… C… D…

√A… B… C… D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D… √

A…B…C…D…

√A…B…C…D…

√A… B… C… D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A… B… C… D…

7) C

A… B… C… D…

√A…B…C…D…

√

A… B… C… D…

A… B… C… D…

√

A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A…B…C…D…

√A… B… C… D…

√

A…B…C…D…

√A…B…C…D…

√A…B…C…D…

A…B…C…D…

A…B…C…D…

√

A…B…C…D…

√

A… B… C… D…

21

6.3L’indice di facilità

INValSI


L’indice di facilità

INDICE Obiettivi pag. 24 Cosa misura e come si calcola pag. 25 Le soglie critiche pag. 27 Ancora con il foglio di calcolo pag. 29 Esercitazioni pag. 31

OBIETTIVI In questa unità didattica saranno illustrate le procedure e gli accorgimenti per calcolare l’indice di facilità dei quesiti di una prova, primo degli aspetti da considerare per l’analisi degli item. Dopo una premessa necessaria per capire come interpretare correttamente i risultati dell’item analisi in relazione al gruppo di studenti che ha compilato la prova saranno affrontati in particolare i seguenti punti:

• come calcolare l’indice di facilità di un quesito; • definire il campo di variazione dell’indice di facilità; • cosa fare con i quesiti che raggiungono i valori estremi dell’indice; • riconoscere le soglie critiche di accettabilità del quesito; • riflettere sul valore delle omissioni di risposta; • utilizzare il foglio di calcolo per ricavare l’indice di facilità.

Al termine verrà proposta un’esercitazione riassuntiva finale per verificare la capacità di applicare i contenuti presentati nell’unità.

24

6.3 P


assimi e m

inimi

INValSI

Cosa misura e come si calcola Un primo elemento da considerare per l’analisi dell’efficacia di un quesito contenuto in una prova è il suo livello di difficoltà, cioè verificare quanto è difficile trovare la risposta corretta per il gruppo che ha compilato la prova. Questo aspetto relativistico è fondamentale per capire il funzionamento dell’item analisi, che non intende definire la qualità dei quesiti in assoluto, ma stimarne l’efficacia in relazione al gruppo sottoposto a valutazione. Questo vuol dire che lo stesso quesito può risultare molto efficace per un gruppo e inutile per un altro, che evidentemente è composto da soggetti molto diversi per quanto riguarda il livello di abilità necessario per risolvere il quesito. Su questo aspetto torneremo comunque più avanti nel corso del modulo. Le differenze di difficoltà fra i quesiti che compongono una prova permettono al progettista della prova stessa di capire, da una parte quali sono i nodi (della comprensione, della conoscenza, della competenza) che risultano più complessi da sciogliere, dall’altra quali fra gli aspetti sottoposti a verifica dalla prova risultano essere pienamente o sufficientemente padroneggiati dagli studenti. L’analisi della difficoltà, quindi rimanda a una lettura nel merito dei quesiti, per capire i motivi che rendono (sempre per il gruppo che ha compilato la prova) facile o difficile una domanda. In questa sede l’attenzione è centrata sulle modalità di analisi tecnica, ma per un insegnante il ritorno ai contenuti della prova è fondamentale, se non altro per capire in che modo la performance del gruppo è stata determinata dalla didattica o se, in presenza di risultati inattesi, ci siano stati problemi nella costruzione e nell’uso dello strumento di valutazione. La difficoltà di un quesito si misura considerando quanti studenti hanno risposto correttamente al quesito stesso, e per rendere questo riferimento misurabile su una scala lo si deve rapportare al numero di studenti che hanno partecipato alla prova, per cui l’indice di facilità si ricava dalla semplice formula: Indice di facilità = totale risposte corrette numero degli studenti Anche se i concetti di facilità e difficoltà sono chiaramente reversibili, preferiamo chiamare questo indice di facilità perché al crescere dell’indice cresce la facilità (e diminuisce la difficoltà). Quali sono gli estremi di questo indice? E’ abbastanza semplice verificare che se nessuno studente ha risposto al quesito la formula assume il seguente aspetto: Indice di facilità = 0 = 0 n dove “n” è il numero degli studenti. Il valore 0 quindi rappresenta la massima difficoltà. Se invece tutti gli studenti hanno risposto correttamente la formula diventa: Indice di facilità = n = 1 n

L’in

dice

di f

acili

tà

25


INValSI

con il valore 1 che attesta la massima facilità per il quesito. Quindi l’indice di facilità varia tra 0 e 1, in relazione a quanti studenti, rispetto al totale, hanno risposto correttamente al quesito. Riprendendo la nostra tabella dati “carta e matita” dalla precedente unità possiamo passare alla compilazione della riga relativa all’indice di difficoltà. Vediamo che per il primo quesito le risposte corrette (“C”) sono state 9, per cui la formula dell’indice di facilità diventa: Indice di facilità item 1 = 9 = 0,47 19 Ricordiamo che il gruppo era formato da 19 studenti. Allo stesso modo applichiamo la formula a tutti i quesiti e aggiungiamo alla tabella i valori di facilità. Prova___Esempio______svolta da___classe esempio__________ in data___29-02-05_______

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A 2 15 1 4 0 3 0 6 11 0 risp.B 5 1 9 3 19 3 3 10 3 0 risp.C 9 3 4 10 0 10 2 1 4 0 risp.D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1 0,53 0,74 0,05 0,58 0,74

26

6.3 P


assimi e m

inimi

INValSI

Le prime osservazioni confermano le impressioni visuali della tabella dati: l’item 5 raggiunge il valore massimo dell’indice, infatti tutti gli studenti hanno risposto correttamente, mentre all’opposto l’item 8 sfiora il valore minimo, con solo uno studente che risponde correttamente. Questi due item possono essere considerati due esempi evidenti di inadeguatezza. Infatti se lo scopo della prova è stimare (cioè misurare con ragionevole approssimazione) l’abilità degli studenti, questi due item di fatto non misurano nulla. Se li eliminassimo dalla prova la scala delle prestazioni degli studenti resterebbe invariata (l’unico che vedrebbe cambiare la sua posizione sarebbe lo studente 11, che però passerebbe semplicemente dal primo posto in solitudine alla primo posto condiviso con il compagno 19). Dal punto di vista della misura quindi questi due quesiti sono inutili, e se si volesse riproporre la prova in un gruppo simile si potrebbero tranquillamente eliminare. Si può però decidere di mantenerli per diversi, e buoni, motivi. Per esempio nel caso in cui la prova sia utilizzata per una verifica didattica (al termine di un ciclo di lezioni) la restituzione della prova allo studente 3 risulterebbe certo deprimente con il punteggio 1, ma assolutamente mortificante con 0. In generale poi, uno o più quesiti molto facili (indice prossimo a 1) posti in apertura della prova possono favorire la motivazione a rispondere, per cui la loro conservazione può assumere valore didattico, anche se, ripetiamo, dal punto di vista della misura la loro capacità informativa è minima. Naturalmente ben diverso è il caso in cui la maggior parte dei quesiti presenta indici di facilità troppo alti (o troppo bassi): vuol dire che la prova non è adeguata al gruppo a cui è stata somministrata. E’ necessario cambiare completamente la prova, o somministrarla in un gruppo diverso: una prova di comprensione troppo difficile per una prima media potrebbe risultare efficace, in termini di facilità, per una terza. Le soglie critiche Se risulta abbastanza semplice l’analisi dei quesiti che presentano valori estremi di facilità, risulta più complesso definire le soglie critiche, quei valori cioè che distinguono i quesiti efficaci. In realtà risulta abbastanza intuibile anche il fatto che gli item più efficaci per misurare l’abilità del gruppo siano quelli con un indice di facilità intermedio, cioè quelli che dividono il gruppo degli studenti in due parti quasi uguali e pertanto risultano molto sensibili alle differenze di abilità fra i diversi componenti del gruppo. E’ il caso dei quesiti 1, 4 e 6, che presentano indici di facilità compresi fra 0,47 e 0,53. Se osserviamo l’andamento delle risposte a questi tre quesiti degli studenti che si trovano nella fascia intermedia (a cavallo fra i punteggi 5 e 6), si nota che sono proprio questi i quesiti che introducono più differenze fra gli studenti: nessuno fra loro a risposto correttamente a tutti e tre i quesiti, nessuno li ha sbagliati tutti e tre. Ma naturalmente nell’esperienza reale di costruzione prove non sempre si riescono ad avere quesiti di facilità intermedia, per cui si ripropone il problema delle soglie critiche. L’esperienza svolta in indagini su ampi campioni ha dimostrato che i quesiti più efficaci sono quelli che presentano un indice compreso fra 0,25 e 0,75, distinguendo fra quelli di medio bassa facilità (0,25-0,50) e quelli di medio alta facilità (0,50-0,75). Ecco quindi una tabella riassuntiva delle soglie e dei valori dell’indice di facilità, con accanto l’esemplificazione dei quesiti ripresi dalla nostra tabella.

L’in

dice

di f

acili

tà

27


INValSI

Classificazione Soglie Quesiti esempio Eccessiva difficoltà 0-0,25 8 Medio bassa facilità 0,25-0,50 3 - 1 Medio alta facilità 0,50-0,75 4 - 6 - 9 - 7 - 10 Eccessiva facilità 0,75-1 2 - 5

Dunque secondo la nostra tabella, oltre ai già segnalati quesiti 8 e 5 per eccesso di difficoltà/facilità, un solo altro quesito (2) risulta troppo facile, ma considerando che resta comunque sotto lo 0,80 bisognerebbe entrare nel merito del quesito per considerare l’opportunità di eliminarlo dalla prova, anche analizzando (lo faremo nella prossima unità) la capacità discriminativi del quesito. Un osservazione invece va fatta sul quesito 10, che pur rientrando formalmente nella categoria dei medio facili, presenta un’anomalia, cioè la presenza di 5 omissioni di risposta. Si tratta dell’ultima domanda della prova, e poiché è l’unica che presenta omissioni, è ragionevole pensare che i 5 studenti che non hanno risposto non siano riusciti a completare la prova per mancanza di tempo. Se osserviamo con attenzione la tabella vediamo che gli studenti che hanno risposto alla domanda hanno risposto tutti correttamente, per cui il quesito dovrebbe passare nella categoria di eccessiva facilità. Le omissioni di risposta in effetti possono costituire un problema nell’analisi degli item, in relazione ai diversi stili di compilazione della prova utilizzate dagli studenti: ci sono i metodici che affrontano le domande una alla volta e non vanno avanti finchè non rispondono, per cui rischiano di non raggiungere gli ultimi quesiti; ci sono gli irrequieti che scorrono velocemente le domande e rispondono subito a quelle che sanno, saltellando fra i quesiti e lasciandone diversi in bianco senza un ordine preciso. Non bisogna peraltro neanche dimenticare i diversi livelli di emotività con cui si può affrontare la prova, per cui davanti a un’omissione è difficile avere certezze di analisi. Naturalmente se le omissioni si concentrano su alcune parti della prova o su alcuni quesiti vuol dire che ci potrebbero essere dei problemi specifici, legati al contenuto dei quesiti o al tempo assegnato per la compilazione.

28

6.3 P


assimi e m

inimi

INValSI

Ancora con il foglio di calcolo Come abbiamo fatto per la precedente unità vediamo come impostare il foglio di calcolo per trovare l’indice di facilità dei quesiti. Ecco la tabella da cui ripartiamo

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.01 D C B A B D D B C D 3stud.02 B A B C B B D B B D 5stud.03 B C C A B B C D B n 1stud.04 D A A C B A B D C D 4stud.05 B A C C B C B A A D 6stud.06 C A D B B C D A A D 8stud.07 C A D A B B D A C D 6stud.08 A A B C B D D B A n 5stud.09 C A B B B C D B A D 7stud.10 C A C D B A D B C D 5stud.11 C A D C B C D C A D 10stud.12 D A D B B C D A A D 7stud.13 C C B D B C D B D D 5stud.14 A A B A B C B A A D 5stud.15 C B C C B A D B B n 4stud.16 B A B C B C D B A n 6stud.17 C A B C B C D B A D 8stud.18 B A B C B D C A A n 4stud.19 C A D C B C D B A D 9chiave C A D C B C D C A Drisp. A 2 15 1 4 0 3 0 6 11 0risp. B 5 1 9 3 19 3 3 10 3 0risp. C 9 3 4 10 0 10 2 1 4 0risp. D 3 0 5 2 0 3 14 2 1 14omiss. 0 0 0 0 0 0 0 0 0 5errate 0 0 0 0 0 0 0 0 0 0facilità


Nella prima cella a destra di “Facilità” inseriamo la seguente formula: =B24/19 la cella B24 corrisponde alle risposte corrette (“C”) per il primo quesito, 19 è il numero degli studenti. Facciamo la stessa operazione per gli altri quesiti, copiando la formula e sostituendo la cella di riferimento (per il secondo quesito sarà C22, che contiene le risposte “A”). Ecco come appare la tabella dopo il riempimento.

L’in

dice

di f

acili

tà

29


INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.01 D C B A B D D B C D 3stud.02 B A B C B B D B B D 5stud.03 B C C A B B C D B n 1stud.04 D A A C B A B D C D 4stud.05 B A C C B C B A A D 6stud.06 C A D B B C D A A D 8stud.07 C A D A B B D A C D 6stud.08 A A B C B D D B A n 5stud.09 C A B B B C D B A D 7stud.10 C A C D B A D B C D 5stud.11 C A D C B C D C A D 10stud.12 D A D B B C D A A D 7stud.13 C C B D B C D B D D 5stud.14 A A B A B C B A A D 5stud.15 C B C C B A D B B n 4stud.16 B A B C B C D B A n 6stud.17 C A B C B C D B A D 8stud.18 B A B C B D C A A n 4stud.19 C A D C B C D B A D 9chiave C A D C B C D C A Drisp. A 2 15 1 4 0 3 0 6 11 0risp. B 5 1 9 3 19 3 3 10 3 0risp. C 9 3 4 10 0 10 2 1 4 0risp. D 3 0 5 2 0 3 14 2 1 14omiss. 0 0 0 0 0 0 0 0 0 5errate 0 0 0 0 0 0 0 0 0 0facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74


30

6.3 P


assimi e m

inimi

INValSI

ESERCITAZIONE


Applichiamo quanto indicato nella presente unità continuando la compilazione della tabella di esercitazione già utilizzata in precedenza. Di seguito ecco la tabella contenente i dati della prova, sia nel sistema “carta e matita”, sia come foglio di calcolo. Completare l’ultima riga di una delle due tabelle trascrivendo gli indici di facilità di tutti i quesiti. Completare anche la tabellina di classificazione dei quesiti secondo il loro livello di difficoltà.

Prova___Esericitazione__ svolta da___classe esercitazione_ in data__31-04-05__

item 1 item 2 item 3 item 4 item 5 item 6 item 7 Totale stud.08 A D B B D B 1 stud.03 D A C A n 2 stud.13 D B D C A 2 stud.01 D D D A 3 stud.09 C C C B 3 stud.14 D C B n 3 stud.10 A C A 4 stud.17 C B A 4 stud.05 A B 5 stud.06 A B 5 stud.07 B B 5 stud.12 C A 5 stud.15 e n 5 stud.16 A B 5 stud.02 C 6 stud.11 B 6 stud.04 7 chiave B C A D D A C risp.A 3 2 12 2 1 13 4 risp.B 9 2 1 1 2 2 5 risp.C 2 10 2 4 2 0 5 risp.D 3 2 2 10 12 2 0 omiss. 0 0 0 0 0 0 3 errate 0 1 0 0 0 0 0 facilità

Classificazione quesiti Quesiti esercitazione Eccessiva difficoltà

……………. Medio bassa facilità

……………. Medio alta facilità

……………. Eccessiva facilità

…………….

L’in

dice

di f

acili

tà

29

item 1 item 2 item 3 item 4 item 5 item 6 item 7 Totalestud.01 D C D D D D A 3stud.02 B C A C D A C 6stud.03 D A A C A A n 2stud.04 B C A D D A C 7stud.05 B C A A D A B 5stud.06 A C A D D A B 5stud.07 B C A D B A B 5stud.08 A D B D B D B 1stud.09 C C A C C A B 3stud.10 B A A C D A A 4stud.11 B C A B D A C 6stud.12 B C C D D A A 5stud.13 D B D D C A A 2stud.14 B D C D D B n 3stud.15 B e A D D A n 5stud.16 A C A D D B C 5stud.17 C B A A D A C 4chiave B C A D D A Crisp. A 3 2 12 2 1 13 4risp. B 9 2 1 1 2 2 5risp. C 2 10 2 4 2 0 5risp. D 3 2 2 10 12 2 0omiss. 0 0 0 0 0 0 3errate 0 1 0 0 0 0 0facilità


INValSI

30

6.4L’indice di discrim

inatività INValSI


L’indice di discriminatività

INDICE Obiettivi pag. 33 Cosa misura e come si calcola pag. 34 Le soglie critiche pag. 38 Ancora con il foglio di calcolo pag. 39 Esercitazioni pag. 44

OBIETTIVI Nel corso dell’unità didattica saranno presentate le modalità di calcolo dell’indice di discriminatività dei quesiti di una prova, il secondo degli aspetti da considerare per l’analisi degli item. In primo luogo si presenteranno i presupposti che permettono di capire il funzionamento dell’indice in relazione al gruppo di studenti che ha compilato la prova, in particolare il suo legame con il livello di abilità complessivo. Nel dettaglio vedremo in che modo:

• calcolare l’indice di discriminatività di un quesito; • definire il campo di variazione dell’indice di discriminatività; • riconoscere la soglia critica di accettabilità del quesito • riflettere sugli aspetti critici riguardanti il calcolo dell’indice; • definire la discriminatività negativa e i criteri per l’eliminazione dei quesiti; • utilizzare il foglio di calcolo per ricavare l’indice di discriminatività; • sfruttare il foglio di calcolo per avere un quadro completo sulla discriminatività

dei distrattori. Al termine verrà proposta un’esercitazione riassuntiva finale per verificare la capacità di applicare i contenuti presentati nell’unità.

33

6.4 P


assimi e m

inimi

INValSI

Cosa misura e come si calcola Dopo aver verificato come la facilità/difficoltà del singolo quesito incida sulla qualità della prova, consideriamo un’altra caratteristica del quesito, la sua capacità di discriminare, cioè di distinguere gli studenti più bravi dagli studenti meno bravi nella competenza che viene verificata dalla prova. In questo caso è possibile anticipare, rispetto alle modalità di calcolo dell’indice, quali debbano essere le caratteristiche ottimali del quesito in termini di discriminatività. Se il nostro obiettivo è quello di stimare l’andamento di un gruppo circa una particolare competenza, risultano più utili quei quesiti che riescono a separare, il più nettamente possibile, il gruppo in due parti. Abbiamo già visto che è questa la caratteristica dei quesiti che presentano un indice di facilità medio (intorno a 0,50), ma i due gruppi che si vengono così a formare (studenti che hanno risposto bene e studenti che hanno sbagliato) dovrebbero avere una composizione non casuale: i più bravi dovrebbero aver risposto correttamente alla domanda posta dal quesito, al contrario dei meno bravi, che hanno sbagliato (o non risposto). Il criterio secondo cui misuriamo la bravura degli studenti è determinato dal punteggio complessivo ottenuto nella prova, poiché assumiamo che i più bravi siano andati, nel complesso, meglio dei meno bravi. Quindi quando stimiamo la capacità discriminatoria di un quesito dobbiamo confrontare l’andamento dei punteggi nel singolo quesito con l’andamento complessivo della prova: tanto più questi due andamenti saranno coerenti, tanto più il quesito risulterà discriminativo, cioè saremo ragionevolmente certi che misuri la competenza intorno a cui è costruita la prova. Al contrario, un andamento anomalo nel singolo quesito rispetto alla graduatoria complessiva dei punteggi ci farà sospettare che il quesito misuri qualcosa di sostanzialmente diverso rispetto agli altri quesiti, ponendo il problema se conservare o meno il quesito stesso. Il valore auspicabile dell’indice di discriminatività che ci apprestiamo a definire dovrebbe essere quindi il più alto possibile. Ma vediamo come trasformare la premessa in calcolo. Nella fase di immissione dei dati nella tabella “carta e matita” avevamo raccomandato di trascrivere i dati ordinando gli studenti secondo il punteggio totale ottenuto dagli studenti. Ora diventerà evidente il motivo più importante di tale accorgimento.Riportiamo di seguito la tabella, a cui manca ormai solo la compilazione dell’ultima riga, con due importanti evidenziazioni che riguardano il primo quesito.

L’in

dice

di d

iscr

imin

ativ

ità

34


inatività INValSI

Prova___Esempio________svolta da___classe esempio__________ in data___29-02-05_____

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A 2 15 1 4 0 3 0 6 11 0 risp.B 5 1 9 3 19 3 3 10 3 0 risp.C 9 3 4 10 0 10 2 1 4 0 risp.D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1 0,53 0,74 0,05 0,58 0,74 discrim. In verde sono evidenziate le celle contenenti le risposte dei 6 studenti più bravi, in arancio quelle degli studenti meno bravi, dove la bravura è legato al punteggio complessivo (ultima colonna). Notiamo subito che nell’intervallo verde prevalgono le celle vuote (risposte corrette), mentre di celle vuote nell’intervallo arancio ne troviamo una sola. Sembra quindi confermata l’aspettativa di trovare risultati migliori, nel singolo quesito, del gruppo di studenti più bravi. Per trasformare questa impressione in una misura vediamo come calcolare l’indice di discriminatività. Ecco la formula necessaria: Indice di discriminatività = Risposte esatte estremo superiore – Risposte esatte estremo inferiore Numero di studenti di un estremo L’estremo superiore è composto dagli studenti più bravi (intervallo verde), mentre l’estremo inferiore è composto dagli studenti meno bravi (intervallo arancio). Nell’estremo inferiore contiamo 5 celle vuote, cioè 5 risposte esatte, nell’estremo inferiore la risposta esatta è una sola. Ogni estremo (sia inferiore che superiore) è composto da 6 studenti, per cui l’indice di discriminatività del primo quesito è dato dalla seguente formula. Indice di discriminatività item 1 = 5 – 1 = 4 = 0,67 6 6

35

6.4 P


assimi e m

inimi

INValSI

Abbiamo rilevato un valore di 0,67, che intuitivamente possiamo associare a una discriminatività abbastanza alta, visto che il numero di risposte corrette degli studenti più bravi è nettamente più alto di quello fornito dai loro compagni meno abili. Ripetiamo l’operazione per il secondo quesito, dove vediamo che le risposte corrette degli studenti più bravi sono 6, contro le 3 degli studenti dell’estremo inferiore. Indice di discriminatività item 2 = 6 – 3 = 3 = 0,50 6 6 E’ abbastanza chiaro come l’indice si posizioni sul valore 0,50 quando gli studenti meno bravi che rispondono correttamente sono esattamente la metà rispetto ai compagni più bravi. Passiamo a calcolare, con le stesse modalità, l’indice per tutti gli item e quindi trascriviamo i dati nella tabella, che finalmente è completa. Prova___Esempio__________svolta da___classe esempio__________ in data___29-02-05___

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.3 B C C A B C D B n 1 stud.1 D C B A D B C 3 stud.4 D A A B D C 4 stud.15 B C A B B n 4 stud.18 B B D C A n 4 stud.2 B B B B B 5 stud.8 A B D B n 5 stud.10 C D A B C 5 stud.13 C B D B D 5 stud.14 A B A B A 5 stud.5 B C B A 6 stud.16 B B B n 6 stud.7 A B A C 6 stud.9 B B B 7 stud.12 D B A 7 stud.6 B A 8 stud.17 B B 8 stud.19 B 9 stud.11 10 chiave C A D C B C D C A D risp.A 2 15 1 4 0 3 0 6 11 0 risp.B 5 1 9 3 19 3 3 10 3 0 risp.C 9 3 4 10 0 10 2 1 4 0 risp.D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1 0,53 0,74 0,05 0,58 0,74 discrim. 0,67 0,50 0,67 -0,17 0,00 1,00 0,50 0,17 0,83 0,50

L’in

dice

di d

iscr

imin

ativ

ità

36


inatività INValSI

Notiamo subito due valori, 0 per il quesito 5 e 1 per il quesito 6, ma notiamo anche la presenza di un valore negativo per l’item 4. Però prima di passare alla definizione dei valori estremi e delle soglie critiche è necessario riflettere su due aspetti. Perché ogni estremo è composto da 6 studenti? Se vogliamo verificare la capacità del quesito di “spaccare” il gruppo, perché non confrontare le due metà del gruppo (a parte la difficoltà di dividere in due parti uguali un gruppo dispari). In questo caso dobbiamo fare riferimento all’esperienza maturata nella procedura di item analisi, in cui si è verificato, per rilevare la capacità discriminatoria di un quesito, che è sufficiente confrontare i punteggi di circa un terzo (1/3) degli studenti più bravi con la stessa quantità di studenti meno bravi. In questo modo si radicalizza il confronto, poiché non viene considerata la fascia centrale dei punteggi, che, come abbiamo già visto per l’indice di facilità, presenta un andamento più mobile fra i diversi quesiti. Nel nostro caso, con un gruppo di 19 studenti, ogni estremo è composto da 6, corrispondente a circa un terzo del totale. Se il gruppo di studenti è molto più ampio, l’estremo può essere leggermente ridotto (intorno al 30% del gruppo), ma anche in presenza di gruppi estesi è opportuno non scendere sotto il 25%. Estremizzando il ragionamento nel nostro esempio, se confrontassimo solo lo studente più bravo con quello meno bravo quasi tutti gli indici assumerebbero valore massimo (1), ma sarebbe incauto sostenere che si tratta di quesiti perfettamente discriminativi. Un altro punto critico da segnalare è la composizione relativa degli estremi in relazione ai punteggi totali. Notiamo infatti che, mentre per l’estremo superiore sono stati considerati tutti gli studenti che hanno ottenuto un punteggio di 7 o superiore, nell’estremo inferiore rientrano tutti gli studenti che hanno un punteggio di 4 o inferiore e un solo studente con punteggio 5. Nell’ordinamento dei punteggi è stato considerato come criterio secondario (a parità di punteggio), il numero d’ordine, ma utilizzando un altro criterio il gruppo dell’estremo inferiore poteva essere leggermente diverso, con possibili conseguenze sul calcolo dell’indice. Vediamo infatti che, se sostituiamo lo studente 2 con lo studente 10 (che ha lo stesso punteggio totale di 5) le risposte esatte per il quesito 1 dell’estremo inferiore salgono a 2, e conseguentemente l’indice scende a 0,50. Come vedremo, non si tratta quasi mai di differenze significative (in questo caso la capacità discriminatoria del quesito è sostanzialmente confermata) e in ogni caso le modifiche sono solo parziali (per la maggior parte dei quesiti sostituire lo studente 2 con il 10 non modifica l’indice). Inoltre il nostro riferimento è una caso abbastanza estremo, una prova di 10 quesiti somministrata a soli 19 studenti. Se la prova è costituita da più quesiti, la gamma dei punteggi dovrebbe ampliarsi e rendere meno critico il punto di spaccatura degli estremi, come pure l’aumento del numero di studenti che formano il gruppo rende meno sensibile l’indice rispetto alla composizione degli estremi. Il problema però esiste e un attento analista deve guardare i dati per capire se alcuni quesiti hanno bisogno di un supplemento di indagine in caso di indici troppo influenzati dalla composizione degli estremi.

37

6.4 P


assimi e m

inimi

INValSI

Le soglie critiche Per prima cosa verifichiamo i valori estremi che può assumere l’indice di discriminatività. Nella nostra tabella abbiamo già notato il valore 1 riferito all’item 6, ed è abbastanza semplice osservare che tutti gli studenti dell’estremo inferiore hanno risposto correttamente, contro nessuno dell’estremo inferiore. La formula in questo caso diventa: Indice di discriminatività massimo = 6 – 0 = 6 = 1 6 6 in pratica in questo caso il quesito ha distinto perfettamente i due estremi. L’altro caso osservato riguarda l’item 5, in cui le risposte corrette dell’estremo inferiore e superiore si equivalgono, per cui la formula diventa: Indice di discriminatività minimo = 6 – 6 = 0 = 0 6 6 In questo caso non ci sono differenze fra i due estremi, per cui il quesito non riesce a distinguere gli studenti secondo la competenza misurata dall’intera prova, cioè non c’è coerenza fra il quesito e l’insieme degli altri quesiti. Da notare che in questo caso la minima discriminatività si associa a un’eccessiva facilità (tutti gli studenti hanno risposto correttamente) ma la mancanza di discriminatività si può verificare anche per quesiti con facilità media. Sembrerebbe auspicabile quindi una prova tutta costituita da quesiti che discriminano fortemente gli estremi, ma se ciò si verificasse finiremmo per avere un terzo degli studenti con il punteggio massimo e un terzo con il punteggio minimo (prossimo a 0). Nella realtà questo in genere non si verifica, per cui è necessario fissare una soglia di accettabilità dell’indice, cioè il punto in cui possiamo dire che la capacità discriminatoria del quesito è sufficiente. Anche in questo caso torna utile l’esperienza maturata in indagini su ampi campioni, in cui in genere vengono guardati con sospetto i quesiti che presentano un indice inferiore a 0,30. Il superamento di tale soglia permette ragionevolmente di pensare che il quesito discrimini sufficientemente il gruppo, anche se bisogna considerare l’articolazione degli indici: una prova efficiente presenta una discreta gamma di indici, con alcuni quesiti decisamente discriminativi (superiori a 0,50) e altri accettabili. Come già detto per l’indice di facilità, la varietà degli indici è preferibile alla loro uniformità, vuol dire che lo strumento di misura è sensibile in diversi punti della scala di competenza considerata. In base a quanto detto, rileggiamo la riga relativa all’indice di discriminatività della prova esempio e vediamo che (a parte gli item 5 e 6 di cui abbiamo già parlato) risultano accettabili i quesiti 1, 2 ,3, 7, 9 e 10, mentre il quesito 8, con un valore di 0,17, risulta poco discriminativo. Resta però da spiegare il caso dell’item 4, in cui l’indice presenta un valore negativo.

L’in

dice

di d

iscr

imin

ativ

ità

38


inatività INValSI

Può succedere infatti che il numero di risposte esatte dell’estremo inferiore sia più alto di quello dell’estremo inferiore, come nella seguente formula, che definisce l’indice dell’item 4: Indice di discriminatività item 4 = 3 – 4 = -1 = -0,17 6 6 Quando l’indice assume un valore negativo vuol dire che le risposte corrette dei meno bravi sono maggiori dei compagni più bravi, cioè esattamente il contrario di quanto abbiamo ipotizzato circa la capacità discriminatoria di un quesito. In questo caso parliamo di discriminatività negativa, si tratta evidentemente di un caso anomalo e i quesiti di questo tipo devono essere eliminati dalla prova senza esitazioni, poiché misurano un’abilità sostanzialmente diversa rispetto a quelle misurate dagli altri quesiti. Se esasperiamo l’anomalia, si potrebbe verificare che tutti gli studenti dell’estremo inferiore abbiano risposto correttamente, contro nessuno dell’estremo inferiore, per cui l’indice assumerebbe il valore estremo dato dalla seguente formula: Indice di discriminatività negativa massimo = 0 – 6 = -6 = -1 6 6 L’indice di discriminatività quindi varia tra -1 e 1, ma sono da considerare accettabili solo i quesiti che presentano un valore superiore a 0,30. Ancora con il foglio di calcolo La differenza esistente fra la compilazione della tabella “carta e matita” e l’uso del foglio di calcolo diventa evidente con l’indice di discriminatività. I vantaggi crescono sia per le modalità di effettuazione del calcolo, sia per la possibilità di svolgere in modo automatico un’analisi più accurata della discriminatività del quesito, con riferimento non solo alla risposta corretta, ma anche ai distrattori utilizzati in ogni item. Ripartiamo dalla tabella che avevamo lasciato nell’unità precedente.

39

6.4 P


assimi e m

inimi

INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totalestud.01 D C B A B D D B C D 3stud.02 B A B C B B D B B D 5stud.03 B C C A B B C D B n 1stud.04 D A A C B A B D C D 4stud.05 B A C C B C B A A D 6stud.06 C A D B B C D A A D 8stud.07 C A D A B B D A C D 6stud.08 A A B C B D D B A n 5stud.09 C A B B B C D B A D 7stud.10 C A C D B A D B C D 5stud.11 C A D C B C D C A D 10stud.12 D A D B B C D A A D 7stud.13 C C B D B C D B D D 5stud.14 A A B A B C B A A D 5stud.15 C B C C B A D B B n 4stud.16 B A B C B C D B A n 6stud.17 C A B C B C D B A D 8stud.18 B A B C B D C A A n 4stud.19 C A D C B C D B A D 9chiave C A D C B C D C A Drisp. A 2 15 1 4 0 3 0 6 11 0risp. B 5 1 9 3 19 3 3 10 3 0risp. C 9 3 4 10 0 10 2 1 4 0risp. D 3 0 5 2 0 3 14 2 1 14omiss. 0 0 0 0 0 0 0 0 0 5errate 0 0 0 0 0 0 0 0 0 0facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74discrim.


Uno dei vantaggi dell’inserimento dei dati nel foglio di calcolo è stato che non si è reso necessario l’ordinamento degli studenti in relazione al loro punteggio totale, ma per poter calcolare l’indice di discriminatività attraverso il confronto degli estremi diventa ora indispensabile riordinare gli studenti dal meno bravo al più bravo. Per fare questo è sufficiente entrare nel foglio di calcolo, evidenziare le righe con i dati degli studenti e riordinarle grazie al comando “Ordina” del menù “Dati”, indicando come criterio di ordinamento (crescente) la colonna L, cioè quella del “Totale”. Il risultato che otteniamo è la seguente tabella.

L’in

dice

di d

iscr

imin

ativ

ità

40


inatività INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.03 B C C A B B C D B n 1stud.01 D C B A B D D B C D 4stud.04 D A A C B A B D C D 3stud.15 C B C C B A D B B n 2stud.18 B A B C B D C A A n 3stud.02 B A B C B B D B B D 3stud.08 A A B C B D D B A n 3stud.10 C A C D B A D B C D 3stud.13 C C B D B C D B D D 2stud.14 A A B A B C B A A D 1stud.05 B A C C B C B A A D 2stud.07 C A D A B B D A C D 2stud.16 B A B C B C D B A n 2stud.09 C A B B B C D B A D 2stud.12 D A D B B C D A A D 1stud.06 C A D B B C D A A D 1stud.17 C A B C B C D B A D 3stud.19 C A D C B C D B A D 3stud.11 C A D C B C D C A D 2chiave C A D C B C D C A D risp. A 2 15 1 4 0 3 0 6 11 0 risp. B 5 1 9 3 19 3 3 10 3 0 risp. C 9 3 4 10 0 10 2 1 4 0 risp. D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74 discrim.


Notiamo che ora la tabella è molto simile a quella “carta e matita”, a parte la presenza di tutte le risposte degli studenti. Ora possiamo impostare la formula per il calcolo dell’indice. Sempre partendo dalla prima cella a destra di “discrim.”, che riguarda il primo quesito della prova, inseriamo la seguente formula: =(CONTA.SE(B15:B20;B21)-CONTA.SE(B2:B7;B21))/6 In pratica si tratta della trasposizione della formula vista all’inizio dell’unità. La prima funzione CONTA.SE considera l’intervallo B15:B20 e conta i casi in cui in tali celle è presente un valore uguale alla cella B21 (che contiene la chiave di risposta del quesito); si tratta delle risposte corrette dell’estremo superiore. La seconda funzione CONTA.SE fa la stessa cosa per l’intervallo dell’estremo inferiore (B2:B7), sempre confrontando le risposte con la chiave di B21. Tra i due conteggi c’è il segno di sottrazione e tutta l’operazione è fra parentesi, poiché il suo risultato deve essere diviso per il numero di studenti dell’estremo (6), come si può vedere nella parte finale della formula. Se copiamo la formula in tutte le celle della riga essa si adatterà automaticamente alle colonne relative, per cui il risultato finale sarà il seguente:

41

6.4 P


assimi e m

inimi

INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.03 B C C A B B C D B n 1stud.01 D C B A B D D B C D 4stud.04 D A A C B A B D C D 3stud.15 C B C C B A D B B n 2stud.18 B A B C B D C A A n 3stud.02 B A B C B B D B B D 3stud.08 A A B C B D D B A n 3stud.10 C A C D B A D B C D 3stud.13 C C B D B C D B D D 2stud.14 A A B A B C B A A D 1stud.05 B A C C B C B A A D 2stud.07 C A D A B B D A C D 2stud.16 B A B C B C D B A n 2stud.09 C A B B B C D B A D 2stud.12 D A D B B C D A A D 1stud.06 C A D B B C D A A D 1stud.17 C A B C B C D B A D 3stud.19 C A D C B C D B A D 3stud.11 C A D C B C D C A D 2chiave C A D C B C D C A D risp. A 2 15 1 4 0 3 0 6 11 0 risp. B 5 1 9 3 19 3 3 10 3 0 risp. C 9 3 4 10 0 10 2 1 4 0 risp. D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74 discrim. 0,67 0,50 0,67 -0,17 0,00 1,00 0,50 0,17 0,83 0,50


A questo punto però possiamo sfruttare la rapidità di calcolo per ottenere i valori di discriminazione di tutti i distrattori. Infatti, se ci attendiamo che la risposta corretta del quesito risulti discriminatoria fra bravi e meno bravi, parallelamente le scelte errate sui distrattori dovrebbero presentare dei valori simili, ma di discriminazione negativa, cioè dovrebbero essere stati scelti da un maggior numero di studenti meno bravi rispetto agli studenti bravi. Per fare questo è sufficiente modificare la formula inserita nella cella dell’indice di discriminatività, riferendola non alla risposta corretta, ma ad un distrattore, e questo può essere fatto per tutti i distrattori. Ecco come risulta la formula modificata per il quesito 1 e il distrattore “A”, da inserire due celle sotto quella dell’indice di discriminatività (è opportuno lasciare una riga bianca): =(CONTA.SE(B$15:B$20;$A31)-CONTA.SE(B$2:B$7;$A31))/6

L’in

dice

di d

iscr

imin

ativ

ità

42


inatività INValSI

La formula risulta simile alla precedente, ma questa volta il riferimento delle funzioni CONTA.SE non è la cella contenente la chiave corretta, ma la A31, che contiene la risposta “A”. Sono stati bloccati con il segno $ i riferimenti di riga degli intervalli B$15:B$20 e B$2:B$7 e il riferimento di colonna della cella $A31, per poter copiare la cella mantenendo la correttezza dell’intervallo degli estremi e della cella di riferimento. Naturalmente la formula deve essere copiata per tutte le alternative di risposta, prima verso il basso (alternative “B”, “C” e “D”) e poi verso destra (quesiti da 2 a 10). Di seguito ecco la tabella risultante: item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.03 B C C A B B C D B n 1stud.01 D C B A B D D B C D 4stud.04 D A A C B A B D C D 3stud.15 C B C C B A D B B n 2stud.18 B A B C B D C A A n 3stud.02 B A B C B B D B B D 3stud.08 A A B C B D D B A n 3stud.10 C A C D B A D B C D 3stud.13 C C B D B C D B D D 2stud.14 A A B A B C B A A D 1stud.05 B A C C B C B A A D 2stud.07 C A D A B B D A C D 2stud.16 B A B C B C D B A n 2stud.09 C A B B B C D B A D 2stud.12 D A D B B C D A A D 1stud.06 C A D B B C D A A D 1stud.17 C A B C B C D B A D 3stud.19 C A D C B C D B A D 3stud.11 C A D C B C D C A D 2chiave C A D C B C D C A D risp. A 2 15 1 4 0 3 0 6 11 0 risp. B 5 1 9 3 19 3 3 10 3 0 risp. C 9 3 4 10 0 10 2 1 4 0 risp. D 3 0 5 2 0 3 14 2 1 14 omiss. 0 0 0 0 0 0 0 0 0 5 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74 discrim. 0,67 0,50 0,67 -0,17 0,00 1,00 0,50 0,17 0,83 0,50 discrim. distrattori A 0,00 0,50 -0,17 -0,33 0,00 -0,33 0,00 0,17 0,83 0,00 B -0,50 -0,17 -0,17 0,50 0,00 -0,33 -0,17 0,00 0,50 0,00 C 0,67 -0,33 -0,33 -0,17 0,00 1,00 -0,33 0,17 -0,33 0,00 D -0,17 0,00 0,67 0,00 0,00 -0,33 0,50 -0,33 0,00 0,50


Notiamo che, naturalmente, il dato relativo alla risposta corretta di ogni quesito corrisponde con l’indice di discriminatività, per cui il dato di “C” per il quesito 1 è 0,67, il dato di “A” per il quesito 2 è 0,50 e così via. Si tratta di una ridondanza accettabile, considerato che sarebbe più macchinoso (ma volendo si può fare) escludere dal calcolo le alternative corrette. Disporre del valore della discriminatività per tutte le alternative risulterà utile per un’analisi accurata dei quesiti, in particolare per la qualità dei distrattori, ed è quello che vedremo nella prossima unità didattica.

43

6.4 P


assimi e m

inimi

INValSI

ESERCITAZIONI


Per verificare la comprensione di quanto illustrato nell’unità, completiamo la compilazione della tabella già utilizzata per le esercitazioni delle precedenti unità. Devono essere calcolati gli indici di discriminatività di tutti i 7 quesiti, trascrivendo i risultati nell’ultima riga della tabella. Anche in questo caso è sufficiente compilare una sola delle due tabelle proposte. Per chi sceglie la compilazione del foglio di calcolo è possibile eseguire il calcolo della discriminatività per tutte le alternative di risposta, affinando ulteriormente l’analisi. Si tratta evidentemente di un incoraggiamento indirizzato a coloro che hanno compilato finora solo gli esercizi “carta e matita”, affinché si cimentino anche con il foglio di calcolo.

Prova_Esericitazione__svolta da___classe esercitazione_ in data__31-04-05_

item 1 item 2 item 3 item 4 item 5 item 6 item 7 Totale stud.08 A D B B D B 1 stud.03 D A C A n 2 stud.13 D B D C A 2 stud.01 D D D A 3 stud.09 C C C B 3 stud.14 D C B n 3 stud.10 A C A 4 stud.17 C B A 4 stud.05 A B 5 stud.06 A B 5 stud.07 B B 5 stud.12 C A 5 stud.15 e n 5 stud.16 A B 5 stud.02 C 6 stud.11 B 6 stud.04 7 chiave B C A D D A C risp.A 3 2 12 2 1 13 4 risp.B 9 2 1 1 2 2 5 risp.C 2 10 2 4 2 0 5 risp.D 3 2 2 10 12 2 0 omiss. 0 0 0 0 0 0 3 errate 0 1 0 0 0 0 0 facilità 0,53 0,59 0,71 0,59 0,71 0,76 0,29 discrim.

L’in

dice

di d

iscr

imin

ativ

ità

42


inatività INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 Totalestud.01 D C D D D D A 3stud.02 B C A C D A C 6stud.03 D A A C A A n 2stud.04 B C A D D A C 7stud.05 B C A A D A B 5stud.06 A C A D D A B 5stud.07 B C A D B A B 5stud.08 A D B D B D B 1stud.09 C C A C C A B 3stud.10 B A A C D A A 4stud.11 B C A B D A C 6stud.12 B C C D D A A 5stud.13 D B D D C A A 2stud.14 B D C D D B n 3stud.15 B e A D D A n 5stud.16 A C A D D B C 5stud.17 C B A A D A C 4chiave B C A D D A Crisp. A 3 2 12 2 1 13 4risp. B 9 2 1 1 2 2 5risp. C 2 10 2 4 2 0 5risp. D 3 2 2 10 12 2 0omiss. 0 0 0 0 0 0 3errate 0 1 0 0 0 0 0facilità 0,53 0,59 0,71 0,59 0,71 0,76 0,29discrim.

43

6.5La revisione dei quesiti

INValSI


La revisione dei quesiti

INDICE Obiettivi pag. 46 Il controllo dei distrattori pag. 47 Quando un quesito deve essere recuperato o deve essere eliminato pag. 50 Costruire un archivio di quesiti pag. 52 Esercitazioni pag. 55

OBIETTIVI In questa unità didattica completeremo la procedura di item analisi e vedremo come si può intervenire sui quesiti di una prova. In particolare vedremo:

• come analizzare l’efficacia dei distrattori di un quesito, in termini di facilità e discriminatività;

• come sintetizzare le informazioni dell’item analisi in un commento complessivo del quesito;

• quali sono i principali criteri che guidano la revisione dei quesiti; • le modalità di costruzione di un archivio dei quesiti interno alla scuola.

L’unità è completata da due esercitazioni abbastanza impegnative riguardanti l’interpretazione dei dati di item analisi.

46

6.5 P


assimi e m

inimi

INValSI

Il controllo dei distrattori Parlando degli indici di facilità e discriminatività abbiamo centrato l’attenzione sulla qualità della risposta corretta prevista per l’item, poiché gli indici vengono calcolati proprio sull’alternativa corretta. Ma una revisione completa dei quesiti non può trascurare la qualità dei distrattori, cioè delle alternative errate previste per i quesiti a scelta multipla. Abbiamo già visto, nell’unità precedente, le modalità di calcolo dell’indice di discriminatività per tutte le alternative di risposta, e in pratica possiamo dire che per l’analisi dei distrattori si devono calcolare gli stessi indici della risposta corretta, ma cambiano sostanzialmente i valori secondo cui considerarli efficaci. Ripartiamo quindi dalla tabella dati che ben conosciamo, ma questa volta utilizziamo solo la versione costruita con il foglio elettronico, poiché solo su quella avevamo calcolato gli indici di discriminatività di tutti i distrattori. Questa scelta può risultare forzata per chi è abituato a lavorare “carta e matita”, ma, come abbiamo già detto diverse volte, i vantaggi operativi del foglio di calcolo sono tali che ci sentiamo di esortare tutti coloro che devono svolgere analisi dei dati a utilizzare il computer, anche se è necessario sforzarsi per risolvere eventuali difficoltà nell’approccio con la macchina. Resta comunque possibile svolgere tutte le operazioni indicate (compreso il calcolo delle discriminatività della precedente unità) anche sulla carta, con l’ausilio di una semplice calcolatrice. La tabella dati che riportiamo presenta una sola novità: nelle righe riservate al conteggio delle risposte per tutte le alternative, i numeri assoluti di risposta sono sostituiti dalle percentuali, cioè dal rapporto tra studenti che hanno scelto la risposta e numero totale degli studenti. La formula da immettere nella cella che incrocia “item 1” e “risp. A” è la seguente. =(CONTA.SE(B2:B20;"A")*100)/19 La modifica, rispetto a quanto detto nel paragrafo dell’unità didattica 2 “I vantaggi del foglio di calcolo” (pag. 12), è che il conteggio delle risposte “A” viene moltiplicato per 100 e diviso per 19, ottenendo la percentuale di risposte. Risulta vantaggioso utilizzare le percentuali perché diventa possibile ragionare sugli esiti a prescindere dal numero di studenti che hanno svolto la prova, confrontando in tal modo prove e somministrazioni diverse. La formula sopra indicata deve essere copiata (con le funzionalità previste del foglio di calcolo) in tutte le celle di conteggio, comprese quelle relative a errori e omissioni. Ecco come appare la tabella dopo le modifiche:

La re

visi

one

dei q

uesi

ti

47


INValSI

item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 Totale stud.03 B C C A B B C D B n 1stud.01 D C B A B D D B C D 4stud.04 D A A C B A B D C D 3stud.15 C B C C B A D B B n 2stud.18 B A B C B D C A A n 3stud.02 B A B C B B D B B D 3stud.08 A A B C B D D B A n 3stud.10 C A C D B A D B C D 3stud.13 C C B D B C D B D D 2stud.14 A A B A B C B A A D 1stud.05 B A C C B C B A A D 2stud.07 C A D A B B D A C D 2stud.16 B A B C B C D B A n 2stud.09 C A B B B C D B A D 2stud.12 D A D B B C D A A D 1stud.06 C A D B B C D A A D 1stud.17 C A B C B C D B A D 3stud.19 C A D C B C D B A D 3stud.11 C A D C B C D C A D 2chiave C A D C B C D C A D risp. A 11 79 5 21 0 16 0 32 58 0 risp. B 26 5 47 16 100 16 16 53 16 0 risp. C 47 16 21 53 0 53 11 5 21 0 risp. D 16 0 26 11 0 16 74 11 5 74 omiss. 0 0 0 0 0 0 0 0 0 26 errate 0 0 0 0 0 0 0 0 0 0 facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74 discrim. 0,67 0,50 0,67 -0,17 0,00 1,00 0,50 0,17 0,83 0,50 discrim. distrattori A 0,00 0,50 -0,17 -0,33 0,00 -0,33 0,00 0,17 0,83 0,00 B -0,50 -0,17 -0,17 0,50 0,00 -0,33 -0,17 0,00 -0,50 0,00 C 0,67 -0,33 -0,33 -0,17 0,00 1,00 -0,33 0,17 -0,33 0,00 D -0,17 0,00 0,67 0,00 0,00 -0,33 0,50 -0,33 0,00 0,50


E’ stata evidenziata anche la riga relativa all’indice di facilità perché, dopo le modifiche alle formule delle celle di conteggio delle alternative, è necessario modificare anche quelle relative all’indice di facilità. Ricordiamo infatti che il calcolo dell’indice veniva effettuato sul conteggio semplice dell’alternativa corretta (diviso il numero degli studenti, vedi i paragrafi dell’unità didattica 3 “Cosa misura e come si calcola” a pag. 25 e “Ancora con il foglio di calcolo” a pag. 29), mentre ora, rispetto al valore percentuale che già prevede la divisione per il numero degli studenti, è necessario dividere lo stesso valore per 100. E’ facile osservare che il valore percentuale di ogni alternativa corretta corrisponde al valore decimale dell’indice di facilità (i centesimi di una scala 0-1 possono essere letti anche come percentuali), quindi, come abbiamo già calcolati gli indici di discriminatività per tutte le alternative, riportando le percentuali di risposta è come se avessimo calcolato gli indici di facilità anche per tutti i distrattori. In questo modo disponiamo delle informazioni necessarie per analizzare ogni distrattore in termini di efficacia, che deve risultare complementare all’efficacia della risposta corretta.

48

6.5 P


assimi e m

inimi

INValSI

Dal punto di vista della facilità, se l’indice ideale è intorno a 0,50, cioè metà delle risposte del gruppo di studenti, la complementarietà comporta che l’altra metà delle risposte (errate) sia equamente distribuita fra tutti i distrattori. E’ quanto accade, per esempio, per l’item 6, dove troviamo un indice di facilità di 0,53 (risposta corretta “C”), con i tre distrattori perfettamente appaiati (16% di scelte per ognuno). In questo caso possiamo dire che, in termini di capacità attrattive delle risposte degli studenti, tutti e tre i distrattori svolgono efficacemente il loro compito, per cui il quesito risulta equilibrato. Naturalmente se, come abbiamo visto, l’indice di facilità può risultare accettabile in una fascia compresa fra 0,25 e 0,75, anche le percentuali dei distrattori possono essere considerate efficaci con una certa elasticità. In particolare, anche se l’item risulta facile (tendente a 0,75) le percentuali dei distrattori non dovrebbero scendere comunque sotto il 5%. Prendiamo per esempio l’item 7, che presenta una facilità di 0,74 (risposta corretta “D”). Mentre i distrattori “B” e “C” risultano scelti in modo apprezzabile dagli studenti (rispettivamente 16% e 11%), il distrattore “A” non è scelto da nessuno, segno che il testo del distrattore è talmente “sbagliato” da non attirare l’attenzione di alcuno studente. Di fatto la domanda non risulta a quattro alternative di risposta, ma a tre, e quindi, pur in presenza di indici complessivamente accettabili, l’intervento sul distrattore “A” può ancora migliorare il quesito per un’eventuale riproposizione. Al contrario, se l’indice di facilità si avvicina alla soglia di accettabilità inferiore (0,25), nessun distrattore dovrebbe comunque presentare una percentuale di scelta superiore all’alternativa corretta. Prendiamo per esempio l’item 3, in cui la risposta corretta “D” è scelta dal 26% degli studenti, quindi ancora accettabile in termini di facilità. Analizzando i distrattori però si nota che mentre il distrattore “C” è scelto dal 21% degli studenti, quello “A” risulta poco efficace (5%) per quanto abbiamo detto poc’anzi, mentre il distrattore “B” attira quasi metà delle risposte, rivelandosi decisamente troppo plausibile rispetto alla risposta corretta. Risulta quindi necessario analizzare il testo del distrattore per capire i motivi di questa capacità attrattiva; può capitare che il distrattore contenga forti elementi di correttezza rispetto al quesito, che quindi risulterebbe avere due risposte giuste invece di una, e in tal caso un’attenta lettura del testo permette un “peggioramento” del distrattore che dovrebbe favorire la risposta veramente corretta. Per concludere l’analisi dei distrattori in termini di facilità relativa possiamo vedere i dati dell’item 1, con un ottimo indice di 0,47 (risposta “C”) integrato da percentuali dei distrattori non perfettamente equilibrate ma sostanzialmente accettabili, poiché oscillano fra l’11% del distrattore “A” e il 26% del “B”. Anche l’analisi dei distrattori deve però comprendere il controllo della discriminatività, e in questo caso la complementarietà dei valori è data dal fatto che, mentre è considerata accettabile per la risposta corretta una discriminatività superiore a 0,30, la discriminatività dei distrattori dovrebbe risultare negativa, cioè i distrattori dovrebbe “ingannare” soprattutto gli studenti dell’estremo inferiore (vedi l’unità didattica 4 paragrafo “Cosa misura e come si calcola” a pag. 34). Vediamo infatti, sempre facendo riferimento alla nostra tabella, che l’item 6 accanto ad una discriminatività massima (1,00) presenta tutti valori di discriminatività negativa per i distrattori “A”, “B” e “D”. Considerando quanto già detto per lo stesso item controllando la facilità dei distrattori, possiamo concludere che l’item è praticamente perfetto, almeno per il gruppo che ha svolto la prova. Al contrario l’item 4, che già avevamo segnalato (vedi l’unità didattica 4 paragrafo “Le soglie critiche” a pag. 38) per la sua discriminatività negativa per la risposta corretta, presenta una discriminatività positiva (0,50) per l’alternativa “B”, che quindi risulta plausibile, ma solo per gli studenti più bravi (considerati tali in relazione al punteggio complessivo nella prova). Da notare che l’indice di facilità dell’item è ottimo (0,53), ma i dati della discriminatività impongono una rilettura attenta del quesito, in particolare delle alternative “B” e “C”.

La re

visi

one

dei q

uesi

ti

49


INValSI

Una breve parentesi riguardante l’andamento complessivo del gruppo di studenti: la scoperta di valori critici per un quesito, se da una parte può comportare una sua revisione per utilizzi futuri, nell’immediato può portare alla sua eliminazione dal calcolo per il punteggio degli studenti. Se un quesito non risulta coerente con gli altri quesiti della prova (di fatto è il principio di funzionamento dell’indice di discriminatività) vuol dire che il quesito stesso sta misurando qualcosa di diverso rispetto all’intera prova, per cui potrebbe risultare opportuna la sua eliminazione dal punteggio complessivo, o almeno un trattamento separato rispetto agli altri quesiti. Quando un quesito può essere recuperato o deve essere eliminato Siamo ora in condizione di poter effettuare un’analisi completa di tutti gli item, distrattori compresi. Abbiamo già visto qualcosa per alcuni item esemplificativi, in particolare la piena efficacia dell’item 6, ma completiamo l’analisi per tutti i quesiti. Per brevità riportiamo solo le righe del foglio elettronico relative all’item analisi (è stata utilizzata la funzionalità “Nascondi” che non cancella righe e colonne contenenti dati). item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 chiave C A D C B C D C A D risp. A 11 79 5 21 0 16 0 32 58 0risp. B 26 5 47 16 100 16 16 53 16 0risp. C 47 16 21 53 0 53 11 5 21 0risp. D 16 0 26 11 0 16 74 11 5 74omiss. 0 0 0 0 0 0 0 0 0 26errate 0 0 0 0 0 0 0 0 0 0facilità 0,47 0,79 0,26 0,53 1,00 0,53 0,74 0,05 0,58 0,74discrim. 0,67 0,50 0,67 -0,17 0,00 1,00 0,50 0,17 0,83 0,50discrim. distrattori A 0,00 0,50 -0,17 -0,33 0,00 -0,33 0,00 0,17 0,83 0,00B -0,50 -0,17 -0,17 0,50 0,00 -0,33 -0,17 0,00 -0,50 0,00C 0,67 -0,33 -0,33 -0,17 0,00 1,00 -0,33 0,17 -0,33 0,00D -0,17 0,00 0,67 0,00 0,00 -0,33 0,50 -0,33 0,00 0,50


In giallo sono stati evidenziati i valori critici, per cui è possibile effettuare per ogni quesito le seguenti considerazioni sintetiche.

50

6.5 P


assimi e m

inimi

INValSI

Item Commento 1 Indici e valori pienamente nella norma. L’item non necessita di modifiche. 2 Eccessiva facilità, dovuta alla scarsa plausibilità dei distrattori “B” e “D”, che devono essere rivisti e

modificati per migliorare la loro capacità di attrazione. 3 Ottima la discriminatività, ma critico il valore di facilità, per una forte efficacia del distrattore “B”, che

potrebbe essere rivisto per renderlo meno plausibile. Da rivedere anche il distrattore “A” per motivi esattamente contrari.

4 Nonostante l’ottima facilità l’item risulta molto critico, poiché risulta rovesciata la discriminatività attesa fra risposta corretta e distrattore “B”, che pertanto devono essere sostanzialmente modificati per l’eventuale riproposizione dell’item.

5 Troppo facile, di fatto l’item non misura nulla in relazione al gruppo cui è stato somministrato e può essere eliminato.

6 Indici e valori perfettamente nella norma. L’item non necessita di modifiche. 7 Indici e valori nella norma, ma con alcuni problemi di facilità dovuti al distrattore “A” che risulta del

tutto inefficace e deve essere sicuramente modificato. 8 Eccessiva difficoltà e discriminatività troppo bassa, per cui l’item può essere eliminato. 9 Indici e valori pienamente nella norma, ma con il distrattore “D” scarsamente efficace e che

pertanto potrebbe essere rivisto e modificato. 10 L’indice di facilità è accettabile solo in considerazione delle omissioni, per cui l’efficacia dei

distrattori non è dimostrata e fa sospettare un’eccessiva facilità del quesito. Naturalmente la nostra tabella esempio è stata (appositamente) costruita per rappresentare quesiti molto diversi tra di loro. Una prova con il 30% di quesiti da eliminare, e solo due pienamente efficaci, è una pessima prova e i risultati ottenuti dagli studenti con una tale prova andrebbero considerati con molta cautela. Ma il nostro scopo era evidentemente quello di capire come l’analisi dei quesiti possa migliorare la qualità dei quesiti stessi e la capacità di costruzione da parte dell’insegnante, che utilizza queste prove per saggiare il profitto degli studenti. Proprio per questo i commenti appena visti possono essere interpretati alla luce della situazione specifica in cui la prova deve essere utilizzata. Facciamo alcuni esempi. L’item 5, candidato all’eliminazione, può essere conservato e spostato come primo quesito della prova per tranquillizzare gli studenti (soprattutto i più ansiosi), facendo in modo che non si demoralizzino troppo presto di fronte a quesiti più difficili. L’item 3, suscettibile di modifiche, potrebbe rimanere inalterato perché, rileggendo il quesito, risulta determinante la sua capacità discriminativa (ottima) in relazione all’argomento trattato, mentre eventuali modifiche potrebbero incidere negativamente su questo aspetto. L’item 10, in cui l’unica alternativa sembra essere quella fra risposta corretta e omissione, potrebbe essere verificato in una nuova somministrazione senza alcuna modifica, spostandolo però dall’ultima posizione della prova. In tal modo si potrà verificare se le omissioni (che comunque si concentrano fra gli studenti meno bravi e rendono comunque il quesito discriminativi) derivano solo da problemi di tempo assegnato agli studenti per rispondere alla prova. E’ sempre necessario che le indicazioni tecniche provenienti dall’item analisi siano utilizzate dall’autore-utilizzatore della prova considerando anche il merito dei quesiti e gli obiettivi della prova, per cui se diventa inevitabile l’eliminazione di una domanda, e ci si rende conto che questo crea un buco nella rilevazione delle conoscenze-competenze, bisogna creare un quesito alternativo.

La re

visi

one

dei q

uesi

ti

51


INValSI

Costruire un archivio di quesiti La scuola è il laboratorio ideale in cui mettere alla prova gli strumenti di valutazione. Proprio per questo anche le più importanti indagini internazionali prevedono una fase di try-out dei materiali sperimentali per la validazione dei quesiti, da realizzarsi all’interno delle scuole (per classi o livelli di età). La possibilità di utilizzare strumenti affidabili e collaudati qualifica una procedura di valutazione basata su prove oggettive, e ogni scuola, nel suo ambito specifico, può attuare le stesse procedure delle rilevazioni nazionali e internazionali, con il vantaggio di lavorare non su un campione selezionato, ma sull’universo della propria popolazione scolastica. Uno dei limiti pratici delle prove di valutazione utilizzate nelle scuole è che spesso, dopo un importante lavoro di creazione, le prove vengono sottoutilizzate. Questo vuol dire che un insegnante costruisce una prova su misura per il gruppo a cui la deve somministrare, ma dopo averla somministrata la ripone nel cassetto perché, almeno per qualche tempo, non gli serve più; quando poi si ritroverà davanti un gruppo simile (magari qualche anno dopo) sarà fortemente tentato, semmai ritrovasse la prova, di riscriverla per adattarla al nuovo gruppo che si trova di fronte. Ma come è stato ampiamente detto nel modulo 4, è importante cercare di ancorare qualsiasi scala di valutazione da utilizzare in una procedura didattica, per evitare un eccesso di relativismo. Quindi, anche in ambito scolastico, non c’è niente di meglio che cercare di sfruttare il più possibile gli strumenti di valutazione che vengono costruiti dagli insegnanti. La prima utilizzazione è strettamente legata agli scopi valutativi, la loro riproposizione fornisce più informazioni perché permette confronti. Ecco perché all’interno di ogni istituto dovrebbe essere costituito un archivio di quesiti, disponibile per tutti gli insegnanti e costantemente aggiornato con i dati delle rilevazioni svolte. Naturalmente archiviare quesiti non vuol dire solo raccogliere le fotocopie delle prove, ma anche le tabelle di item analisi, complete di tutte le informazioni utili per ricostruire l’effettivo uso della prova: data di somministrazione, classe/i in cui è stata somministrata (con numero effettivo degli studenti), tempi di somministrazione, commenti da parte di chi l’ha utilizzata (sia sui quesiti, sia sulle prestazioni degli studenti). La gestione dell’archivio deve essere materialmente affidata a un responsabile, o a un piccolo gruppo di lavoro, ma è importante che l’archivio sia accessibile a tutti gli insegnanti. D’altra parte le procedure di item analisi possono essere svolte anche da poche persone che si specializzano e rendono veloce il lavoro di analisi, ma tutti gli insegnanti dovrebbero essere in grado di leggere le tabelle e capire il significato degli indici. Per una lettura più agevole dell’archivio, e per evitare che l’item analisi risulti troppo staccata dai contenuti della prova stessa, si può allestire una versione particolare della prova, in cui inserire direttamente gli indici, come nel seguente esempio.

52

6.5 P


assimi e m

inimi

INValSI

Facilità Discriminatività 12. Il valore che ricorre con più frequenza in una distribuzione di punteggi si chiama

0,63 0,38

A) deviazione standard. 7 -0,10 B) media. 19 -0,25 C) mediana. 11 -0,18 D) moda.* 63 0,38

omissioni 0 0 errate 0 0

Naturalmente è possibile adattare tabelle, schemi e quadri riassuntivi alle proprie abitudini e ai propri mezzi informatici, ma ricordando che si tratta di strumenti di comunicazione, per cui devono essere chiari a tutti i potenziali lettori (cioè gli insegnanti della scuola). Nel nostro esempio dovrebbe essere chiaro a tutti che l’asterisco rappresenta la chiave di risposta del quesito. Una raccomandazione importante è che, pur parlando di archivio di quesiti, siano materialmente archiviate le prove: l’analisi degli item si svolge considerando l’andamento complessivo della prova, per cui quando leggiamo i dati relativi a un quesito controlliamo la sua efficacia all’interno della prova, non in assoluto. Vedremo più avanti che esiste una modalità di analisi che permette di svincolare il singolo quesito dalla prova, ma rimaniamo convinti che in ambito didattico sia più proficua un’analisi complessiva dello strumento, pur svolta quesito per quesito. Anche per questo bisognerebbe cercare di riproporre le prove in contesti diversi con il minor numero di cambiamenti possibili: un quesito non perfetto (ma con indici accettabili) è comunque preferibile a un quesito nuovo senza item analisi. Anche per questo, in caso di modifiche alla prova prima di una sua riproposizione, è opportuno confrontare in primo luogo i dati relativi ai quesiti rimasti inalterati. Se la prova viene riproposta periodicamente senza modifiche è possibile costruire una serie storica di risultati. Una situazione in cui può risultare molto utile una serie storica è l’analisi delle prove di ingresso. Un istituto che riesce a predisporre una batteria di prove, condivisa da tutti i docenti e somministrata regolarmente a tutti i nuovi studenti del primo anno, può confrontare periodicamente le item analisi relative ad ogni singola prova e trovarsi di fronte a una situazione come quella rappresentata nella seguente tabella, che raccoglie i dati relativi a un gruppo di quesiti riguardanti la competenza inferenziale di comprensione del testo, cioè la capacità di comprendere una serie di informazioni non direttamente esplicitate nel testo.

A.S. 2001-02 A.S. 2002-03 A.S. 2003-04 Quesito Facilità Discriminat. Facilità Discriminat. Facilità Discriminat.

7 0,49 0,43 0,53 0,40 0,58 0,36 8 0,78 0,31 0.82 0,30 0,81 0,25

11 0,36 0,39 0,49 0,35 0,43 0,32 13 0,26 0,58 0,37 0,43 0,55 0,50 18 0,65 0,45 0,63 0,51 0,73 0,36 media 0,51 0,57 0,62

La re

visi

one

dei q

uesi

ti

53


INValSI

Si può notare un progressivo aumento degli indici di facilità e una contenuta oscillazione delle discriminatività, segno che i quesiti mantengono la loro efficacia (con l’unico dubbio del quesito 8 che resta sempre troppo facile), ma mostrano sostanziali differenze di prestazione fra le tre generazioni di studenti che hanno compilato la prova, come si può vedere dalla facilità media dei tre quesiti riportata nell’ultima riga. Se siamo sicuri che la prova non sia stata in qualche modo conosciuta dagli studenti prima della somministrazione, possiamo ragionevolmente ipotizzare che negli anni successivi ci troviamo di fronte a un gruppo di studenti che presenta una migliore competenza di base nella comprensione inferenziale. Naturalmente questa informazione deve essere completata dallo studio dell’andamento dei punteggi secondo le modalità previste per il calcolo delle statistiche descrittive (vedi modulo 5).

54

ESERCITAZIONI Per inviare le esercitazioni allo staff, usare il testo delle esercitazioni contenuto nel file “6.5_02.Esercitazioni.rtf”, collocato all’interno della cartella

“Unità_didattica_05”. Esercitazione 1 – Caccia all’errore Nella compilazione di una tabella di item analisi possono essere fatti degli errori materiali di conteggio o di calcolo. Tali errori possono portare a una falsa interpretazione dei dati, per cui è opportuno controllare sempre la tabella risultante. Il compilatore della seguente tabella di item analisi ha lavorato con molta approssimazione.

Prova___Esericitazione 2_ svolta da___classe esercitazione_ in data__15-08-05_____ item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 item 11 item 12 Totale

stud.17 C C A B C B C A C A B D 1 stud.3 C B B C C D B A A 3 stud.12 B A D D A C B B D 3 stud.1 A B D A A D A C 4 stud.7 C D D C D B C C 4 stud.5 C A D B C B 6 stud.14 B B B A A A 6 stud.2 A B e D C 7 stud.11 B D C A D 7 stud.13 B B D B C 7 stud.16 B B B A C 7 stud.4 B D B D 8 stud.8 B B A 9 stud.6 D A 10 stud.9 B C 10 stud.15 B 11 stud.10 12 chiave A D C A A C B C D C D C risp.A 70,7 5,9 23,6 53,0 64,9 0 11,7 29,5 5,9 23,5 11,7 5,9 risp.B 11,7 23,5 58,9 11,7 11,7 5,9 47,0 23,5 11,7 0 11,7 64,8 risp.C 0 11,7 15,9 17,6 11,7 94,1 11,7 47,0 23,5 53,0 11,7 17,6 risp.D 17,6 58,9 23,6 11,7 11,7 0 29,5 0 58,9 17,6 64,9 11,7 omiss. 0 0 0 5,9 0 0 0 0 0 0 0 0 errate 0 0 0 0 0 0 0 0 0 0 0 0 facilità 0,71 0,66 0,06 0,53 -0,65 0,94 0,29 0,47 0,23 1,13 0,65 0,65 discrim. 0,50 0,59 1,17 0,83 0,33 0,17 0,83 -0,33 0,83 0,50 0,66 0,66

53


INValSI

Trovare gli errori contenuti nella tabella e trascriverli nel seguente schema (aggiungere in fondo eventuali errori trasversali ai singoli item). Item Errore

1

2

3

4

5

6

7

8

9

10

11

12

Altri errori

54

Esercitazione 2 – Commento item Ecco la tabella di item analisi corretta della precedente esercitazione. Di seguito sono presentati i commenti agli item, secondo le indicazioni fornite dai diversi indici e dal controllo dei distrattori. Completare i commenti con i numeri degli item e le lettere dei distrattori cui si riferiscono. Ogni commento si può riferire a un solo item. I commenti sono 14, quindi ci sono due commenti in più, cioè non sono riferibili a alcun item.

Prova___Esericitazione 2_ svolta da___classe esercitazione_ in data__15-08-05_____ item 1 item 2 item 3 item 4 item 5 item 6 item 7 item 8 item 9 item 10 item 11 item 12 Totale

stud.17 C C A B C B C A C A B D 1 stud.3 C B B C C D B A A 3 stud.12 B A D D A C B B D 3 stud.1 A B D A A D A C 4 stud.7 C D C D B C C 5 stud.5 C A D B C B 6 stud.14 B B B A A A 6 stud.11 B D C A D 7 stud.13 B B D B C 7 stud.16 B B B A C 7 stud.2 B e D C 8 stud.4 B D B D 8 stud.8 B B A 9 stud.6 D A 10 stud.9 B C 10 stud.15 B 11 stud.10 12 chiave A D C A A C B C D C D B risp.A 70,7 5,9 17,6 53,0 64,9 0 11,7 29,5 5,9 23,5 11,7 5,9 risp.B 11,7 23,5 58,9 11,7 11,7 5,9 47,0 23,5 11,7 5,9 11,7 64,8 risp.C 17,6 11,7 5,9 17,6 11,7 94,1 11,7 47,0 23,5 53,0 11,7 17,6 risp.D 0 58,9 17,6 11,7 11,7 0 29,5 0 58,9 17,6 64,9 11,7 omiss. 0 0 0 0 0 0 0 0 0 0 0 0 errate 0 0 0 5,9 0 0 0 0 0 0 0 0 facilità 0,71 0,59 0,06 0,53 0,65 0,94 0,47 0,47 0,59 0,53 0,65 0,65 discrim. 0,50 0,66 0,17 0,83 0,33 0,17 0,83 0,33 0,83 0,50 0,66 0,66

55

P

unteggi n


INValSI

Commenti da completare (scrivere numeri e lettere in corrispondenza degli spazi).

1. L’item …. presenta un valore di difficoltà ottimale e una buona discriminatività. Pienamente accetabili i distrattori …. e …., mentre può essere migliorato il distrattore …., scelto da un solo studente.

2. L’item …. mostra nel complesso buoni indici di facilità e discriminatività. Risulta poco efficace il distrattore …., scelto da un solo studente e quindi suscettibile di modifiche.

3. L’item …. presenta un’alta discriminatività e una facilità più che accettabile. Non pienamente efficace risulta il distrattore …., scelto da un solo studente, che pertanto può essere migliorato.

4. L’item …. risulta eccessivamente facile, e di conseguenza pochissimo discriminativi. Di fatto il quesito risulta a due sole alternative, poiché i distrattori …. e …. non sono stati considerati da alcun rispondente.

5. L’item …. risulta pienamente accettabile per i valori di facilità e discriminatività , che risulta molto alta. Può essere migliorato il distrattore …. , che risulta poco efficace, al contrario dei distrattori …. e …., che sono stati scelti in modo apprezzabile dai rispondenti.

6. L’item …. presenta una discriminatività molto alta e una facilità ottimale. Considerando anche il sostanziale equilibrio fra i distrattori, il quesito può essere considerato pienamente efficace.

7. L’item …. mostra un indice di facilità medio-basso, di poco superiore alla soglia minima, e una marcata discriminatività. Il distrattore …. risulta però troppo efficace, in quanto raccoglie più scelte della chiave, e deve pertanto essere modificato.

8. L’item …. presenta valori accettabili per entrambi gli indici, con una discriminatività appena superiore alla soglia. I distrattori risultano equilibrati.

9. L’item …. risulta troppo difficile, e di conseguenza anche la discriminatività è pressoché inesistente. Probabilmente ciò è dovuto all’eccessiva efficacia del distrattore …., scelto soprattutto dagli studenti più bravi.

10. L’item …. si rivela molto efficace sia per la facilità che per la discriminatività, con distrattori non del tutto equilibrati, ma sostanzialmente accettabili per considerare il quesito non suscettibile di modifiche.

11. L’item …. presenta una facilità medio alta e una buona discriminatività. I distrattori sono perfettamente equilibrati e permettono di considerare il quesito pienamente efficiente.

12. L’item …. risulta molto facile e poco discriminativo. Questo è spiegato dal fatto che il distrattore …. viene scelto solo dagli studenti più bravi, mentre gli altri due distrattori …. e …. risultano sostanzialmente efficaci.

13. L’item …. mostra un ottimo indice di facilità, ma con una discriminatività appena accettabile. Molto efficaci risultano i distrattori …. e …., ma risulta necessario intervenire sul distrattore …., che non è stato utilizzato dai rispondenti.

14. L’item …. presenta valori accettabili per entrambi gli indici, con una facilità prossima alla soglia superiore, probabilmente anche per l’effetto negativo del distrattore .… che finisce per ridurre il quesito a tre alternative di risposta.

56

6.6L’item

analisi con il metodo IR

T INValSI


L’item analisi con il metodo IRT

INDICE Obiettivi pag. 59 Dall’item analisi classica al metodo IRT pag. 60 Un’applicazione del metodo IRT pag. 62 Dall’item analisi ai punteggi degli studenti pag. 66 Interpretare i dati delle indagini internazionali pag. 72

OBIETTIVI In questa unità didattica affronteremo una tecnica innovativa di analisi dei dati relativi agli item che compongono una prova, l’item analisi con il metodo IRT (Item Response Theory), messa a punto nel corso delle più recenti indagini internazionali. In particolare vedremo:

• la logica di funzionamento dell’analisi IRT, con la definizione della curva caratteristica dell’item;

• le modalità di lettura dei dati secondo il metodo IRT attraverso esempi di utilizzazione di due diversi pacchetti software di analisi;

• gli effetti sull’analisi dei dati del presupposto teorico dell’analisi IRT, che considera insieme la difficoltà dell’item e l’abilità dello studente;

• le modalità di lettura dei dati provenienti dalle rilevazioni internazionali, con particolare riferimento ai risultati dell’indagine OCSE-PISA 2003.

Si tratta di un’unità espositiva, per cui non sono previsti esercizi particolari.

59

6.6 P


assimi e m

inimi

INValSI

Dall’item analisi classica al metodo IRT La definizione delle procedure di item analisi può essere fatto risalire al lavoro svolto da Spearman nei primi anni del ‘900, arricchito e sistematizzato fino agli anni ’60 con il contributo di Novick. Abbiamo visto che vengono analizzate alcune caratteristiche dei quesiti (facilità, discriminatività, qualità dei distrattori) per poter giudicare l’efficienza dell’intera prova. Viene naturalmente considerata indispensabile una caratteristica chiave di uno strumento di misura: la validità. Il test, nel suo insieme, ma anche nelle singole domande, deve misurare esattamente quello che si vuole misurare. Solo in questo modo è possibile considerare il punteggio ottenuto da uno studente nel test una stima effettiva di un’altra cosa (il suo profitto, la sua preparazione in ingresso, la sua competenza…. in un determinato ambito). Parallelamente alla calibrazione del modello classico di item analisi è cominciata però una riflessione sull’effettivo rapporto esistente fra il quesito e lo studente, cioè fra la facilità/difficoltà di risoluzione del primo e l’abilità del secondo, in definitiva il complesso rapporto esistente fra misura, strumento di misura e oggetto della misura. La riflessione, avviata negli anni ’40 dal Lawley, ha l’obiettivo di ottenere misure dai singoli quesiti di ogni prova, per cui prende il nome di Item Response Theory (IRT), arrivando ad una svolta con l’opera del matematico danese Rasch, che formula un modello innovativo di item analisi. Non entreremo nel dettaglio matematico delle formule (chi volesse farlo potrà trovare delle indicazioni più avanti, ma si prepari a leggere soprattutto materiali in lingua inglese), ma cercheremo, come fatto per l’item analisi classica, di illustrare la logica di funzionamento dell’item analisi IRT secondo il modello di Rasch. Rasch parte da un’assunzione: la probabilità che uno studente risponda correttamente a un quesito dipende da due fattori, la difficoltà dell’item e l’abilità dello studente, fattori che quindi risultano misurabili con una sola variabile su una sola scala. In pratica mentre con l’item analisi classica le misure relative ad un item non avevano niente a che fare con la scala dei punteggi degli studenti, con l’analisi IRT si utilizzano le stesse misure per stimare la qualità dell’item e la qualità dello studente, stimando per entrambi la posizione sulla scala dell’abilità misurata dalla prova, detta tratto latente (l’IRT è anche definita Latent Trait Theory). Il tratto latente è l’elemento che tiene uniti i quesiti di una prova, in pratica quello che la prova sta misurando (la validità), e ovviamente con l’analisi IRT è anche possibile verificare quali quesiti non sono coerenti con il tratto latente della prova, come pure quali studenti non sono coerenti. Per comprendere la relazione esistente fra diffcoltà dell’item e abilità dello studente si può osservare la curva caratteristica dell’item (ICC, Item Characteristic Curve) secondo il modello di Rasch.

L’ite

m a

nalis

i con

il m

etod

o IR

T

60

6.6L’item


T INValSI

Come si può notare con il crescere dell’abilità dello studente aumenta anche la probabilità di risposta corretta (area gialla del grafico). Se l’abilità è 0 (corrispondente all’abilità media del gruppo cui appartiene lo studente) la probabilità è del 50% (0,5), se l’abilità scende le probabilità diminuiscono, mentre per uno studente più abile le probabilità di risposta corretta crescono. La forma della curva è data dal particolare tipo di relazione fra le variabili, poiché l’abilità si misura in logit, cioè l’unità di misura dell’abilità dello studente è il logaritmo naturale del rapporto tra risposte corrette ed errate rispetto ad item che si trovano all’origine della scala, cioè che hanno valore 0. Allo stesso modo si può avere una curva caratteristica dello studente che risponde all’item, dove le probabilità di risposta sono legate alla difficoltà dell’item, esattamente con lo stesso andamento appena visto, ma riferito alla area bianca del grafico: difficoltà 0 con probabilità 50%, superiore a 0 (più difficile) probabilità crescenti e quindi raggiungibili dagli studenti più abili, inferiore a 0 probabilità discendenti, alla portata anche degli studenti meno abili. Anche dal punto di vista visivo il grafico dimostra come difficoltà e abilità rappresentino due facce della stessa medaglia, e si comprende anche perché mentre per l’item analisi classica si parlava di facilità dell’item, ora si considera la difficoltà (in definitiva la stessa misura, ma complementare): al crescere della difficoltà dell’item, deve crescere l’abilità necessaria per dare una risposta corretta.

61

6.6 P


assimi e m

inimi

INValSI

Un’applicazione del metodo IRT Quali sono i vantaggi dell’analisi degli item con il metodo IRT? Abbiamo già detto che è prevista una sola scala di misura per item e studenti, e questo può risultare molto utile per chi deve al tempo stesso considerare la qualità della prova e i risultati degli studenti. Per comprendere meglio le differenze con il metodo classico ora applicheremo l’analisi IRT alla stessa prova utilizzata nelle unità precedenti, ma è necessario fare una premessa tecnica. Il modello di analisi di Rasch, già non semplice a livello matematico, è stato ulteriormente sviluppato, raggiungendo livelli di complessità non implementabili in un comune foglio elettronico. Per cui per poter realizzare analisi IRT è necessario disporre di un software specifico. Attualmente sono disponibili pacchetti per l’analisi IRT solo in lingua inglese, hanno costi significativi e essendo costruiti per addetti ai lavori non raggiungono quel livello di familiarità tipico dei programmi più utilizzati nei personal computer. Bisogna però anche aggiungere che non si tratta di programmi che richiedono enormi potenze di calcolo, anche perché si fondano su una grafica essenziale. Per fare analisi IRT quindi bisogna spendere e studiare manuali non semplici (in inglese): vale la pena? Siamo convinti che per l’analisi degli item, e il conseguente trattamento dei punteggi degli studenti, in ambito scolastico, sia più che sufficiente un corretto utilizzo dell’item analisi classica. I vantaggi ottenibili con l’analisi IRT risultano troppo “costosi” per un utilizzo scolastico, ma poiché rappresentano l’ultima frontiera del trattamento dati per le rilevazioni sul profitto e le competenze dovrebbero essere conosciuti da tutti gli operatori, se non altro perché il metodo IRT è divenuto lo standard di analisi delle indagini internazionali. Non è quindi pensabile considerare le prossime pagine sufficienti per giungere ad una piena padronanza dell’analisi IRT, ma per chi volesse approfondire l’argomento vengono segnalati dei collegamenti in rete di enti che promuovono l’utilizzazione di software specifico (a pagamento) e forniscono utili approfondimenti anche per i fondamenti teorici dell’Item Response Theory. E’ interessante verificare le differenze esistenti fra i due modelli di analisi, per cui applichiamo l’analisi IRT alla “Prova esempio” vista nelle prime unità del modulo (per la tabella completa e il relativo commento vedi il paragrafo dell’unità didattica 5 “Il controllo dei distrattori” a pag. 47). L’analisi è stata svolta con il programma XCalibre, prodotto da Assessment Systems Corporation (per maggiori informazioni sul programma e sulle procedure IRT che utilizza si può consultare la pagina www.assess.com/index.htm ), da cui è possibile anche scaricare una versione demo del programma. Xcalibre permette di scegliere tra una serie di impostazioni per il trattamento dei dati. In particolare, per l’analisi della prova esempio, è stato impostato il modello logistico a due parametri, cioè si tiene conto non solo della facilità dell’item, ma anche della sua discriminatività. Il modello originale di Rasch è detto a un parametro perché considera solo la facilità dell’item, mentre esiste anche un modello a tre parametri che considera, oltre a facilità e discriminatività, anche la possibilità che lo studente risponda correttamente, ma tirando a indovinare. Ecco la tabella di item analisi prodotta da XCalibre:

L’ite

m a

nalis

i con

il m

etod

o IR

T

62

6.6L’item


T INValSI

XCALIBRE Analysis from Data File: C:\MODULO6\ESERDATI.TXT Date: Jan 13, 2005 Time: 9.21 ITEM ANALYSIS Endorsement Rate Item-Theta Corr. Item 1 2 3 4 Oth 1 2 3 4 Oth ---- --- --- --- --- --- --- --- --- --- --- 1 11 26 47~ 16 -7 -31 52~ -27 2 79~ 5 16 0 59~ -12 -58 0 3 5 47 21 26~ -22 -14 -40 65~ 4 21 16 53~ 11 -51 30 29~ -15 5 -- Deleted -- 6 16 16 53~ 16 -27 -38 68~ -28 7 0 16 11 74~ 0 -19 -44 47~ 8 32 53 5~ 11 9 0 54~ -53 9 58~ 16 21 5 68~ -45 -36 -10 10 -- Deleted -- Nelle colonne “Endorsement rate” sono riportate le percentuali di scelta per ogni distrattore (il programma utilizza i numeri al posto delle lettere, per cui “A” è diventata “1”) e infatti coincidono con i dati dell’item analisi classica. La risposta corretta, e di conseguenza l’indice di facilità, è segnalata dal simbolo “~” accanto al valore relativo, per cui la risposta corretta dell’item 1 è la 3 (“C”) con 47 (o 0,47 come indicato nella tabella di item analisi classica). Notiamo subito che due item sono stati cancellati perché non sottoposti a analisi. Si tratta dell’item 5, a cui hanno risposto correttamente tutti gli studenti; ricordiamo il commento a questo item nel paragrafo dell’unità didattica 5 “Quando un quesito deve essere recuperato o deve essere eliminato“ (pag. 50): “Troppo facile, di fatto l’item non misura nulla in relazione al gruppo cui è stato somministrato e può essere eliminato”. Il programma lo ha fatto ancora prima di elaborare la tabella riassuntiva, e lo stesso ha fatto per l’item 10, perché, anche in questo caso, tutti gli studenti che hanno risposto a questo item hanno dato la risposta corretta. In effetti per questo item ci sono anche 5 omissioni di risposta (vedi tabella dell’unità didattica 5 “Il controllo dei distrattori“ a pag. 48), ma bisogna dire che l’analisi IRT considera le omissioni di risposta sulle ultime domande in modo diverso, come quesiti “non raggiunti”, per cui non penalizza questo particolare tipo di omissione, ma stima le probabilità di risposta degli studenti che non hanno raggiunto l’item. In questo caso è evidente che la stima effettuata dal programma (sulla base delle risposte date dagli studenti nelle altre domande) è che tutti avrebbero risposto correttamente, rientrando quindi nel caso dell’item 5. Notiamo di passaggio che questa caratteristica dell’analisi IRT risulta molto efficace per assorbire eventuali problemi nei tempi di somministrazione, poiché non penalizza gli studenti più riflessivi che non riescono a leggere tutte le domande. La seconda parte della tabella considera la correlazione esistente fra ogni alternativa di risposta e il tratto latente della prova (theta), cioè l’abilità misurata dalla prova. La correlazione dovrebbe essere positiva per la risposta corretta e negativa per i distrattori. Di fatto si tratta di un’estensione del concetto di discriminatività, poiché si ipotizza che le risposte corrette siano date dagli studenti più abili, secondo il modello probabilistico della curva caratteristica dell’item. Per l’item 1 vediamo che l’unico valore positivo si ha per l’alternativa 3 (“C”), che corrisponde alla risposta corretta. Viene pertanto confermato il giudizio positivo sull’item già visto con il modello classico. Se consideriamo l’analisi relativa all’item 4, notiamo la presenza di due valori positivi: il distrattore 2 (“B”) con 30 e la risposta corretta 3 (“C”) con 29. il distrattore sembra quindi misurare l’abilità indagata dalla prova in modo più efficace della risposta corretta. Ricordiamo il commento a questo item dopo l’item analisi classica: “Nonostante l’ottima facilità l’item risulta molto critico, poiché risulta rovesciata la discriminatività attesa fra risposta corretta e distrattore “B”,

63

6.6 P


assimi e m

inimi

INValSI

che pertanto devono essere sostanzialmente modificati per l’eventuale riproposizione dell’item.” Di nuovo, piena coincidenza di analisi fra i due modelli. L’altro caso in cui c’è una correlazione positiva inattesa è l’item 8, già segnalato come item critico nell’analisi classica. Sembra quindi esserci una sostanziale coincidenza fra i due tipi di analisi, e questo non può che confermare l’efficacia del modello di item analisi classica, almeno per quanto riguarda il principale scopo dell’analisi, il controllo della qualità degli item. Ma vediamo dove il modello IRT permette un guadagno di informazioni. Per farlo sono stati presi gli stessi dati e trattati con un altro programma di analisi IRT, Winsteps, disponibile anche in versione demo (Ministep) gratuita sul sito www.winsteps.com. Ministep utilizza il modello tradizionale di Rasch a un solo parametro. Ecco la tabella di item analisi prodotta: TABLE 14.1 C:\modulo6\eserdati.txt Jan 14 17:31 2005 INPUT: 19 persons, 10 items MEASURED: 19 persons, 10 items, 2 CATS 3.55.0 -------------------------------------------------------------------------------- item STATISTICS: ENTRY ORDER +-----------------------------------------------------------------------+ |ENTRY RAW MODEL| INFIT | OUTFIT |PTMEA| | |NUMBER SCORE COUNT MEASURE S.E. |MNSQ ZSTD|MNSQ ZSTD|CORR.| item | |------------------------------------+----------+----------+-----+------| | 1 7 16 54.99 5.64|1.12 .6|1.01 .1| .53| 1 | | 2 13 16 34.13 6.93| .84 -.3| .61 -.3| .59| 2 | | 3 3 16 69.89 6.98| .96 .0| .72 -.2| .63| 3 | | 4 8 16 51.87 5.59|1.51 2.2|1.66 1.8| .33| 4 | | 5 16 16 7.14 18.44| MINIMUM ESTIMATED MEASURE | 5 | | 6 8 16 51.87 5.59| .77 -1.1| .67 -1.0| .67| 6 | | 7 12 16 38.48 6.31|1.15 .6| .95 .1| .48| 7 | | 8 0 16 96.75 18.25| MAXIMUM ESTIMATED MEASURE | 8 | | 9 9 16 48.77 5.61| .73 -1.4| .63 -1.1| .67| 9 | | 10 12 12 9.13 18.64| MINIMUM ESTIMATED MEASURE | 10 | |------------------------------------+----------+----------+-----+------| | MEAN 8.8 15.6 46.30 9.80|1.01 .1| .89 -.1| | | | S.D. 4.5 1.2 25.24 5.68| .25 1.1| .34 .9| | | +-----------------------------------------------------------------------+ Per brevità non entriamo nel dettaglio di tutta la tabella, ma notiamo subito che Ministep ha tolto dall’analisi, oltre ai soliti item 5 e 10, anche l’item 8 per l’eccessiva difficoltà. Notiamo anche che l’analisi degli item è stata fatta basandosi sulle risposte di 16 allievi (colonna “COUNT”), perché sono stati esclusi 3 studenti “estremi”, cioè quelli con i punteggi più alti e più bassi (sono gli studenti 3, 11 e 19, vedi tabella dell’unità didattica 5 “Il controllo dei distrattori“ a pag. 48). Queste esclusioni hanno lo scopo di evitare effetti distorcenti di punteggi anomali rispetto alla media. Da notare anche che l’analisi dell’item 10 ha considerato solo 12 studenti rispondenti, escludendo anche i non rispondenti come già aveva fatto XCalibre. Ricordando quanto già notato a proposito dell’item, vediamo che anche Ministep ci segnala valori critici nelle colonne “INFIT” e “OUTFIT”, che considerano rispettivamente le risposte anomale degli studenti che si trovano sullo stesso livello dell’item (che quindi dovrebbero aver risposto bene) e le risposte anomale degli studenti che si trovano ad un livello inferiore (che quindi non dovrebbero rispondere correttamente). I valori sono considerati accettabili se oscillano fra 0,5 e 1,5, e notiamo che gli unici valori non accettabili sono proprio quelli relativi all’item 4 (1,51 di INFIT e 1,66 di OUTFIT), segno che sull’item le risposte non seguono l’andamento dell’abilità degli studenti

L’ite

m a

nalis

i con

il m

etod

o IR

T

64

6.6L’item


T INValSI

La traduzione del termine inglese “Fit” circa il rapporto che si crea tra il singolo item e il tratto latente della prova (ciò che la prova misura) non risulta semplice, possiamo con una certa approssimazione parlare di coerenza dell’item, e forse risulta più chiara una verifica grafica di come un item “fitta”, di come è coerente. Ministep produce dei grafici con l’andamento di ogni item rispetto alla curva caratteristica dell’item che abbiamo visto in apertura dell’unità. Ecco la curva relativa a un item pienamente efficace, l’item 6.

Lo scarso numero dei punteggi disponibili (solo 16 studenti) produce una curva (in blu) più simile a una linea spezzata, ma è evidente che l’andamento risulta abbastanza vicino alla curva caratteristica dell’item (in rosso). Il relativo abbassamento nella parte bassa della curva, e la rapida salita, sono dovuti alla forte discriminatività dell’item, e infatti vediamo che le probabilità di risposta restano a 0 anche per studenti che si avvicinano alla difficoltà media 0, salendo bruscamente a probabilità 1 per studenti che si trovano solo un logit sopra la difficoltà media. Vediamo ora lo stesso grafico riferito all’item 4, per il quale tutte le item analisi hanno rilevato criticità.

65

6.6 P


assimi e m

inimi

INValSI

Risulta estremamente chiara l’irregolarità della curva rispetto alla curva caratteristica, con diversi studenti di abilità inferiore alla media che rispondono correttamente in misura nettamente superiore alla probabilità attesa, e di contro altri studenti, anche di due logit superiori alla media, che sono ben sotto la probabilità di risposta corretta per il loro livello di abilità. L’item è chiaramente incoerente rispetto al tratto latente della prova. Dall’item analisi ai punteggi degli studenti Abbiamo visto che il principale vantaggio dell’analisi IRT è quello di utilizzare la stessa scala di misura per la difficoltà degli item e l’abilità degli studenti. Questo vuol dire che ogni item fa riferimento a un certo gruppo di studenti che dovrebbero essere in grado di rispondere correttamente. Col crescere della difficoltà diminuiscono gli studenti che sono in grado di rispondere correttamente. È possibile visualizzare questa corrispondenza, e vediamo un esempio pratico sempre con i dati della “prova esempio” trattata con Ministep:

L’ite

m a

nalis

i con

il m

etod

o IR

T

66

6.6L’item


T INValSI

TABLE 14.1 C:\modulo6\eserdati.txt Jan 14 17:32 2005 INPUT: 19 persons, 10 items MEASURED: 19 persons, 10 items, 2 CATS MINISTEP 3.55.0 -------------------------------------------------------------------------------- persons -MAP- items <more>|<rare> 3 11 19 + 8 | | | | | T| | 06 17 |T | 2 + 3 | | | | | | S| | 09 12 16 |S 1 + | | | | | 1 | 05 07 08 | M| 4 6 | 0 +M | 9 | | 02 10 13 14 15 18 | | | | | S| -1 + 04 |S | 7 | | | | 2 | | | -2 T+ 01 |

67

6.6 P


assimi e m

inimi

INValSI

|T | | | | | | | -3 03 + 10 5 <less>|<frequ> La “mappa” mostra un asse centrale con le relative misure riportate all’estrema sinistra, comprese fra 3 e -3 logit. Sulla parte destra trovano posto gli item, scalati a partire dall’item 8, il più difficile con un valore di 3 logit, fino agli item 10 e 5 che presentano la minore difficoltà con un valore di -3 logit. Allo stesso modo, sulla parte sinistra, trovano posto gli studenti, compresi fra i numeri 11 e 19, i più abili con un punteggio di 3 logit, e il numero 03 che si trova a -3 logit. La mappa permette di trarre delle conclusioni incrociate riguardanti item e studenti: l’item 8 ha una difficoltà compatibile con l’abilità dei soli studenti 11 e 19, mentre l’item 3 è alla portata di tutti gli studenti che si trovano più in alto nella scala, quindi oltre a 11 e 19 anche 06 e 17; gli studenti 09, 12 e 16 raggiungono un livello di abilità che dovrebbe permettergli di rispondere ai quesiti di difficoltà inferiore, cioè a tutti i quesiti esclusi il 3 e l’8, mentre lo studente 04 ha un’abilità che può risolvere correttamente solo i quesiti (in ordine di difficoltà decrescente) 7, 2, 10 e 5. Da notare che questa distribuzione appaiata non sempre coincide con le effettive risposte degli studenti, ma permette di assorbire le eventuali incoerenze (INFIT e OUTFIT) delle risposte, come per esempio la risposta corretta dello studente 01 all’item 7, che si trova ad un livello di difficoltà nettamente più alta rispetto alla sua abilità. Bisogna doverosamente dire che l’item analisi IRT viene in genere utilizzata su gruppi più ampi e su prove con un più alto numero di item rispetto alla “prova esempio”, con l’ovvia riduzione dei fenomeni anomali che possono colpire distribuzioni di punteggi in cui ogni soggetto rappresenta il 5% del gruppo. Vediamo un esempio relativo ad un’altra prova, composta da 25 item e somministrata a 75 studenti:

L’ite

m a

nalis

i con

il m

etod

o IR

T

68

6.6 P


assimi e m

inimi

INValSI

Gli studenti (KIDS) sono identificati con la prima parte del cognome. Si può notare subito che ci sono 7 studenti di abilità superiore all’item più difficile (4), segno che per loro il test non era adeguato: dovrebbero aver risposto correttamente a tutte le domande e eventuali errori devono essere considerati come anomalie. All‘opposto 3 item (3, 15 e 21) presentano una difficoltà inferiore all’abilità dello studente più in basso nella scala: si tratta di quesiti troppo facili e poco utili per stimare l’abilità del gruppo. L’osservazione che si tratta di una prova sbilanciata si ricava anche dal fatto che gli estremi variano fra 5 e -4 logit, una gamma decisamente ampia per un test. Da notare che la distribuzione dei nomi degli studenti ricorda il classico grafico di distribuzione dei punteggi (ruotato di 90° a destra), con un addensamento intorno alla media e progressive diminuzioni verso gli estremi inferiore e superiore. La scala in logit presenta il vantaggio di essere normalizzata, quindi è possibile confrontare direttamente item provenienti da prove diverse. Lo stesso discorso si può applicare naturalmente ai punteggi degli studenti, ma in questo caso appare evidente il disagio di utilizzare punteggi negativi per stimare l’abilità. Nel modulo 5 abbiamo visto come è possibile, grazie ad un artifizio matematico, ottenere punteggi normalizzati solo positivi, basandosi sul punteggio di media come origine e sulla deviazione standard come intervallo. Anche nel caso della scala basata sui logit si può intervenire con lo stesso artifizio, considerando sempre i valori di media e deviazione standard. In genere le misure ottenute con il metodo IRT vengono normalizzate con la media a 500 punti e con deviazione standard uguale a 100. Questa convenzione viene utilizzata nelle indagini internazionali e viene considerata efficace perché impedisce di fatto di ottenere punteggi negativi e permette una ampia scalatura dei punteggi, utile, come vedremo tra poco, per gestire graduatorie complesse. Ecco la mappa degli item e degli studenti normalizzata sulla scala con media 500:

L’ite

m a

nalis

i con

il m

etod

o IR

T

70

6.6L’item


T INValSI

TABLE 14.1 C:\modulo6\eserdati.txt Jan 14 17:33 2005 INPUT: 19 persons, 10 items MEASURED: 19 persons, 10 items, 2 CATS MINISTEP 3.55.0 -------------------------------------------------------------------------------- persons -MAP- items <more>|<rare> 700 06 11 17 19 +T 8 690 + 680 + 3 670 + 660 + 650 + 640 + 630 + 620 S+ 610 + 600 09 12 16 +S 590 + 580 + 570 + 560 + 550 + 1 540 + 530 05 07 08 + 520 M+ 4 6 510 + 500 +M 490 + 9 480 + 470 02 10 13 14 15 18 + 460 + 450 + 440 + 430 + 420 S+ 410 + 400 04 +S 390 + 7 380 + 370 + 360 + 350 + 2 340 + 330 + 320 T+ 310 + 300 01 03 +T 10 5 <less>|<frequ> L’unica differenza rispetto alla prima mappa è la scala di misura all’estrema sinistra, passata dai logit ai punteggi normalizzati su base 500. In questo modo nella nostra prova esempio, i punteggi relativi alla difficoltà degli item e all’abilità degli studenti, possono essere paragonati a quelli rilevati nelle indagini internazionali, senza dimenticare che si tratta di una prova utile per esercitarsi, ma palesemente inadeguata (pochi item, e diversi con seri problemi) e che il confronto non può prescindere da una attenta analisi della validità dei contenuti della prova in relazione alla popolazione cui è indirizzata la prova.

71

6.6 P


assimi e m

inimi

INValSI

Interpretare i dati delle indagini internazionali La prima indagine internazionale in cui sono stati utilizzati i punteggi normalizzati provenienti dall’item analisi IRT di Rasch è stata quella IEA-RLS (Reading Literacy Study). La IEA (International Association for the Evaluation of Educational Achievement) è stata la prima organizzazione a realizzare, con lo Studio pilota avviato al termine degli anni ’50, indagini mirate alla comparazione di Paesi diversi per quanto riguarda il profitto in specifiche aree disciplinari. L’indagine RLS, che in Italia ha preso il nome di Studio Alfabetizzazione Lettura (SAL) ed è stata realizzata da un gruppo di Università, si è svolta fra il 1989 e il 1992. Prima di allora i risultati delle precedenti indagini si erano basati su scale più semplici, basate sui punteggi grezzi o sulle percentuali di risposte corrette, risultando difficilmente paragonabili. D’altra parte è proprio dopo gli anni ’70 che vengono definite con maggiore precisione le procedure per applicare l’Item Response Theory secondo il modello di Rasch, potendo contare anche sull’accelerazione del progresso tecnologico relativo agli strumenti di calcolo. L’indagine IEA-RLS può quindi fondare l’analisi dei dati su questo nuovo metodo, che si rivela utile anche perché l’indagine riguarda due popolazioni distinte, per l’Italia IV elementare e III media, con la conseguente necessità di paragonare i risultati non solo fra Paesi, ma anche fra popolazioni.

Indagine IEA-SAL - Risultati di comprensione lettura – 9 anni (IV elementare)

FinlandiaStati Uniti

SveziaFranciaItaliaN. Zelanda

NorvegiaIslandaHong KongSingapore

SvizzeraIrlandaBelgio

GreciaSpagnaGermania O.

CanadaGermania E.

UngheriaSlovenia

OlandaCipro

PortogalloDanimarca

TrinidadIndonesia

Venezuela

350 400 450 500 550 600

L’ite

m a

nalis

i con

il m

etod

o IR

T

72

6.6L’item


T INValSI

Indagine IEA-SAL - Risultati di comprensione lettura – 14 anni (III media)

FinlandiaFrancia

SveziaN. Zelanda

UngheriaIslandaSvizzeraHong KongStati UnitiSingaporeSlovenia

Germania E.DanimarcaPortogalloCanadaGermania O.

NorvegiaItaliaOlanda

IrlandaGrecia

CiproSpagna

BelgioTrinidad

ThailandiaFilippine

VenezuelaNigeria

Zimbabwe

350 400 450 500 550 600

La presentazione dei risultati considera anche visivamente il valore soglia di 500, corrispondente alla media complessiva di tutta la popolazione esaminata (insieme dei diversi paesi), con la distinzione netta fra i paesi che si trovano sopra e sotto la media. La normalizzazione dei punteggi permette di apprezzare immediatamente gli spostamenti di graduatoria dei paesi rispetto alle due popolazioni. Per esempio l’Italia passa dal punteggio 529 dell’elementare a 515 della media, ma soprattutto passa dalle prime posizioni a quelle di poco superiori al punteggio medio. Nell’indagine IEA-RLS, e in quelle immediatamente successive realizzate sempre dalla IEA, non viene sfruttata adeguatamente la capacità dell’analisi IRT di collocare sulla stessa scala difficoltà degli item e abilità degli studenti. Un passo avanti decisivo viene fatto con l’indagine OCSE-PISA (Programme for International Student Assessment), avviata nel 1998 e realizzata nel 2000. Si tratta di uno studio comparativo che mette a confronto le competenze degli studenti quindicenni dei paesi dell’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico) in tre ambiti distinti, Lettura in lingua madre, Matematica e Scienze. Poiché si tratta di uno studio ciclico con cadenza triennale, risulta decisiva la possibilità di comparare i risultati anche diacronicamente, per cui in fase di impostazione dello studio è stato svolto un notevole sforzo per approfondire le modalità di costruzione delle scale di misura utilizzate per stimare le competenze prese in esame. Partendo dal consolidato modello di scala su base 500 (con 500 come valore della media e intervallo 100 corrispondente alla deviazione standard dei punteggi), è stata predisposta una mappa dei punteggi relativi agli item basata non solo sui dati numerici, ma sulla descrizione del tipo di competenza necessaria per rispondere correttamente agli item. Ecco un esempio di mappa degli item di lettura relativo all’indagine PISA 2000, tratto dal volume PISA 2003 Valutazione dei quindicenni (2004, Armando, Roma).

73

6.6 P


assimi e m

inimi

INValSI

Tipi di processi (aspetti)

Diff

icol

tà d

el

ques

ito (p

unte

ggio

su

lla s

cala

)

Descrizione dei quesiti

Indi

vidu

are

info

rmaz

ioni

In

terp

reta

re

il te

sto

Rifl

ette

re

e va

luta

re

727 ANALIZZARE diversi casi particolari e FARLI RIENTRARE nelle categorie fornite in un DIAGRAMMA AD ALBERO in cui parte delle informazioni rilevanti sono contenute nelle note a piè di pagina (punteggio pieno, 2)

631 LOCALIZZARE informazioni in un DIAGRAMMA AD ALBERO servendosi di informazioni contenute in una nota a piè di pagina (punteggio pieno, 2)

542 INFERIRE l'esistenza di un RAPPORTO DI CARATTERE ANALOGICO tra due fenomeni di cui si parla in una LETTERA aperta

486 VALUTARE l'adeguatezza di un DIAGRAMMA AD ALBERO in relazione a determinati obiettivi

445 Distinguere fra variabili e CARATTERISTICHE STRUTTURALI in un DIAGRAMMA AD ALBERO

392 LOCALIZZARE una singola informazione espressa in modo letterale in un TESTO dotato di una chiara struttura testuale

356 RICONOSCERE l’ARGOMENTO di un articolo dotato di un sottotitolo chiaro e di una considerevole quantità di informazioni ridondanti

Naturalmente la mappa comprendraggruppare i quesiti per livello verificato, su un set molto ampiopunteggio di un item hanno il 62quindi uno studente con puntegcorretta al primo item della mappbasso le probabilità di risposta codue aspetti (il raggruppamento dedefinire, all’interno della scala co72 punti, a partire dal punteggio seguente assunto: lo studente correttamente a meno del 50% dlivelli per la competenza di lettura

Livello Punteggi1 Da 335 a 42 Da 408 a 43 Da 481 a 54 Da 553 a 65 Più di 625

Di seguito presentiacon un punteggio di

L’ite

m a

nalis

i con

il m

etod

o IR

T

74

6.6L’item


T INValSI

Punteggio dello studente

Quesito di 367 punti (livello 1)




517 (livello 3) 89% 64% 48% 27% Se l’analisi dei punteggi ha permesso di definire l’ampiezza dei livelli, l’analisi delle competenze necessarie per risolvere i quesiti ha permesso di definire in modo qualitativo ogni livello. Ecco come vengono definiti, a titolo di esempio, i livelli 5 e 3 per la lettura in PISA 2000. Da notare che per ogni livello vengono distinti tre aspetti, che si riferiscono a tre diversi tipi di processo di comprensione del testo. Ogni quesito raccoglie informazioni per uno dei tre aspetti, come appare anche dalla mappa esemplificativa vista sopra.

Individuare informazioni Interpretare il testo Riflettere e valutare

Live

llo 5

(oltr

e 62

5 pu

nti)

Localizzare ed eventualmente ordinare o integrare più informazioni non immediatamente evidenti, alcune delle quali possono trovarsi al di fuori del corpo principale del testo. Inferire quali, fra le informazioni del testo, siano pertinenti rispetto al compito, discriminandole tra più informazioni plausibili.

Cogliere il significato di sfumature del linguaggio o dimostrare una piena e approfondita comprensione del testo.

Valutare criticamente e formulare ipotesi basandosi su conoscenze di carattere specialistico. Saper affrontare concetti contrari alle aspettative e basarsi su una conoscenza approfondita di testi lunghi o complessi.

Live

llo 3

(481

-552

pun

ti)

Localizzare e riconoscere la relazione tra singole informazioni, ciascuna delle quali può dover soddisfare molteplici criteri. Gestire informazioni messe in rilievo che possono essere confuse con quelle richieste.

Integrare diverse parti di un testo al fine di identificarne l’idea principale, di comprendere una relazione o di interpretare il significato di una parola o di una frase. Confrontare, contrapporre o classificare tenendo conto di molteplici criteri. Gestire informazioni che possono essere confuse con quelle richieste.

Stabilire connessioni o paragoni, fornire spiegazioni su un aspetto di un testo o valutarlo. Dimostrare una comprensione dettagliata di un testo mettendolo in relazione a nozioni familiari o della vita quotidiana, oppure attingendo a nozioni meno comuni.

Lo studente con punteggio 517 è in grado quindi di padroneggiare le competenze indicate per il livello 3. A questo punto il progetto PISA ha in mano uno strumento molto potente per interpretare i risultati dell’indagine, non solo dal punto di vista strettamente quantitativo della graduatoria fra i paesi partecipanti, ma anche dal punto di vista qualitativo delle competenze prese in esame. Questo risultato è stato ottenuto grazie all’applicazione dell’item analisi basata sul metodo IRT. Se resta vero che questa modalità di analisi risulta difficilmente utilizzabile a livello scolastico, riteniamo fondamentale che tutti coloro che operano nella scuola debbano conoscerne la logica di funzionamento, per poter interpretare correttamente la mole di dati che proviene dalle indagini internazionali (le stesse modalità vengono oggi utilizzate anche dalla IEA) e che in futuro dovrebbero essere sfruttate anche per indagini nazionali su grandi campioni.

75

6.6 INValSI

L’indagine PISA è stata replicata nel 2003, e questa volta l’ambito principale di rilevazione riguardava la matematica. Nel mese di dicembre 2004 sono stati pubblicati dall’OCSE i risultati del secondo ciclo. Alla luce di quanto detto finora proviamo a “leggere” alcuni dei risultati di PISA 2003, tratti dalle pubblicazioni originali dell’OCSE: Learning for Tomorrow's World: First results from PISA 2003 (2004) e First results from PISA 2003: Executive summary (2004). Entrambi i volumi possono essere consultati sul sito dell’OCSE www.oecd.org, nella sezione Education che ospita le pagine del progetto PISA. Ecco il grafico che riepiloga i risultati dei paesi partecipanti per la competenza matematica:

L’ite

m a

nalis

i con

il m

etod

o IR

T

76

6.6L’item


T INValSI

77

6.6 P


assimi e m

inimi

INValSI

Rispetto al semplice dato della media che abbiamo visto nei grafici dell’indagine IEA-SAL, il risultato di ogni paese è definito da una barra con tre fasce. La fascia centrale più scura rappresenta l’intervallo di confidenza (vedi modulo 5) intorno al valore medio raggiunto dal Paese: uno spessore accentuato dell’intervallo di confidenza (Turchia) dimostra una certa instabilità dei dati, che ricordiamo si riferiscono ad un campione, ma intendono rappresentare l’universo degli studenti quindicenni del paese. Il confronto degli intervalli di confidenza permette di capire quali paesi presentano risultati significativamente diversi. Nel caso dell’Italia il livello superiore (verso destra) dell’intervallo di confidenza risulta più basso dell’intervallo di confidenza di tutti i paesi a partire dalla Lettonia (Latria) in giù, che quindi hanno ottenuto risultati significativamente più alti dell’Italia. All’opposto tutti i paesi dalla Grecia in su hanno un intervallo staccato dal limite inferiore dell’Italia, quindi risultano significativamente inferiori per il punteggio medio. Nessuna differenza significativa infine tra Italia, Portogallo e Federazione Russa. La fascia marrone intermedia è compresa fra i punteggi raggiunti dagli studenti che si trovano nei due quartili centrali (vedi modulo 5), quindi del 50% degli studenti, con l’esclusione del quartile che ha ottenuto punteggi più alti e del quartine con punteggi più bassi. Infine i limiti estremi della barra di ogni paese corrispondono ai risultati più alti e più bassi raggiunti dal paese, con l’esclusione del 5% dei punteggi più alti e del 5% dei più bassi, che potrebbero risentire di valori anomali. Questi due tagli permettono di apprezzare in modo immediato il livello di compattezza dei risultati di un paese. Una barra ristretta (Finlandia, Irlanda) attesta una discreta omogeneità all’interno del paese, con una ridotta varianza dei punteggi. Al contrario una barra più lunga (Belgio, Germania) rivela una forte eterogeneità fra i punteggi degli studenti. Poiché i paesi sono ordinati basandosi sul valore della media, è possibile notare alcuni fenomeni: la Finlandia, secondo per la media, viene superata da 6 paesi per i punteggi più alti (anche il Belgio la sorpassa), ma risulta il paese con i punteggi più alti degli studenti meno bravi, che sono quasi tutti superiori ai 400 punti. Naturalmente per un’analisi più approfondita risulta utile anche la lettura delle tabelle, meno immediate dei grafici, ma indispensabili per quantificare in modo più preciso i fenomeni. Vediamo un esempio sempre relativo al confronto di PISA 2003 per la matematica.

L’ite

m a

nalis

i con

il m

etod

o IR

T

78

6.6L’item


T INValSI

Nelle prime colonne della tabella notiamo il valore della media e della deviazione standard, ognuna con il relativo errore standard (indispensabile per calcolare l’intervallo di confidenza). Un’osservazione importante va fatta sulla riga relativa alla media OCSE (OECD average): troviamo i valori base per le scale basate sul metodo IRT (media 500, deviazione standard 100), e questi valori si riferiscono non all’intera popolazione dei quindicenni esaminati, ma solo ai quindicenni dei paesi OCSE, distinti dai paesi “Partner” che pur partecipando all’indagine non fanno parte dell’OCSE. Lo standard di riferimento quindi non è “mondiale”, ma strettamente OCSE, con cui i paesi esterni vengono chiamati a confrontarsi. La parte destra della tabella riguarda le differenza fra maschi e femmine, con una complessivo vantaggio dei punteggi medi per i maschi, maggiore in Italia (475 maschi, 457 femmine) rispetto alla media OCSE (506 maschi, 494 femmine). Abbiamo però detto che per chi si occupa di scuola può risultare molto più interessante analizzare i risultati relativi ai livelli definiti per la competenza esaminata. Nel caso della matematica di PISA 2003 la mappatura degli item e l’analisi dei punteggi hanno permesso di definire 6 livelli, ognuno ampio 61-62 punti. Ecco la graduatoria dei paesi in relazione ai livelli.

79

6.6 P


assimi e m

inimi

INValSI

La prima osservazione da fare è che si è dovuto definire un ulteriore livello “Inferiore a 1”, poiché una parte degli studenti partecipanti hanno riportato punteggi inferiori a quello definito come soglia inferiore del livello 1. Questo non significa che siano completamente analfabeti in matematica, ma che hanno meno del 50% di probabilità di rispondere correttamente anche ai quesiti più facili. Si nota che questo livello di competenza, estremamente critico, sia molto contenuto in diversi paesi e cresca progressivamente verso i paesi più a destra del grafico, fino a coinvolgere circa il 50% dei quindicenni di Brasile, Tunisia e Indonesia. L’ordine dei paesi è definito dalla somma delle percentuali dei livelli superiori al primo: questo significa che la soglia della sufficienza è definita al passaggio fra livello 1 e 2. Per l’Italia si può notare che i livelli insufficienti comprendono circa il 30% dei quindicenni, di contro il livello 6 è raggiunto da pochissimi studenti, mentre circa metà degli studenti si concentra sui livelli intermedi (2 e 3). Anche in questo caso spiccano alcune situazioni anomale, come il Belgio, che presenta una consistente fascia alta di abilità (circa il 25% nei livelli 6 e 5), ma anche una marcata presenza, rispetto ai paesi sullo stesso livello medio, della fascia più bassa. Anche in questo caso la lettura della tabella permette di analizzare più puntualmente i fenomeni.

L’ite

m a

nalis

i con

il m

etod

o IR

T

80

6.6L’item


T INValSI

Nell’intestazione delle colonne si può osservare la definizione puntuale di ogni livello, da quello inferiore al primo (con punteggi inferiori a 358) al livello 6 (punteggi superiori a 668). Anche in questo caso risulta utile il confronto con la distribuzione dei livelli per la media OCSE (OECD average): le due fasce di insufficienza raccolgono il 21% dei quindicenni OCSE, ma in Italia la percentuale degli studenti con seri problemi è superiore di 10 punti. Chiudiamo questa unità con la consapevolezza di aver affrontato una tematica complessa, poco suscettibile di esercizio pratico, ma con la certezza di aver toccato un punto fondamentale per la comprensione delle più moderne tecniche di controllo degli strumenti di rilevazione utilizzabili nelle procedure di valutazione, fondamentali soprattutto per una corretta lettura dei risultati provenienti da indagini di ampio respiro, considerando la possibilità di metterli in relazione con i risultati raggiunti dai propri studenti. P

unteggi n

81

INValSI - elearning.uniroma1.it · INValSI, Frascati, 12/2005. Modulo n° 6 Analisi dei dati per la...

Documents

Transcript of INValSI - elearning.uniroma1.it · INValSI, Frascati, 12/2005. Modulo n° 6 Analisi dei dati per la...