Giornata di formazione

II Parte

Le prove INVALSI e la lettura dei risultati delle rilevazioni per il miglioramento

Angela Martini

Udine, 15 aprile 2014

Alla base delle prove: i Quadri di Riferimento

Quadri di riferimento per la valutazione

Indicazioni nazionali per i curricoli

Quadri di riferimento delle valutazioni

internazionali

Esiti delle rilevazioni precedenti Prassi scolastica

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

014

Che cosa intende valutare la prova di Italiano

Oggetto della prova di Italiano sono:

La competenza di lettura, articolata nelle tre

dimensioni della competenza pragmatico-testuale,

della competenza lessicale e della competenza

grammaticale

Le conoscenze e competenze grammaticali in

senso proprio

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

014

Gli aspetti di comprensione della lettura misurati nella prova INVALSI di Italiano

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

014

Alcuni esempi dalla Guida alla lettura della prova di Italiano di I media 2013

An

ge

la M

art

ini –

Ud

ine

, 1

5 a

pri

le 2

014

Le competenze grammaticali valutate nella prova INVALSI di Italiano

Capacità di riflessione sulla lingua:

esser consapevole delle regole grafiche e interpuntive e delle strutture

morfo-sintattiche e testuali della lingua italiana

Capacità di uso corretto della lingua:

saper applicare fattualmente le regole grammaticali della lingua italiana

in contesti frasali vincolati

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Ambiti grammaticali misurati nelle prove INVALSI (V primaria e classi successive)

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Due esempi dalla Guida alla lettura della prova di Italiano di III media 2013

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Struttura della prova INVALSI di Italiano

Livello scolare

1° Parte

Comprensione

della lettura

2° Parte

Grammatica

II Primaria Testo

narrativo

- Esercizi di lessico,

ricostruzione frasi, ecc.

V Primaria Testo

narrativo

Testo

espositivo

Grammatica

(10 quesiti circa)

I Secondaria

inferiore

Testo

narrativo

Testo

espositivo

Grammatica

(10 quesiti circa)

III Secondaria

inferiore

Testo

narrativo

Testo

espositivo

Grammatica

(10 quesiti circa)

II Secondaria

superiore

Più testi Più testi Grammatica

(10 quesiti circa)

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Che cosa intende valutare la prova INVALSI di Matematica

Oggetto della prova di Matematica sono:

La padronanza dei contenuti fondamentali previsti

dai curricoli

I processi cognitivi implicati nella soluzione di

"problemi"

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

I quattro ambiti di contenuto misurati nelle prove INVALSI di matematica e nelle indagini internazionali

INVALSI (Indicazioni per il

curricolo)

OCSE-PISA (idee chiave)

TIMSS (domini di contenuto)

Numeri Quantità Numero

Spazio e figure Spazio e forma Geometria

Relazioni e funzioni Cambiamenti e relazioni

Algebra

Misure, dati e previsioni

Incertezza Dati e caso

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

I processi misurati nelle prove INVALSI di Matematica

1. Conoscere e padroneggiare contenuti specifici della matematica (oggetti

matematici, proprietà, strutture ...)

2. Conoscere e padroneggiare algoritmi e procedure (in ambito aritmetico, geometrico

...)

3. Saper risolvere problemi utilizzando gli strumenti della matematica (individuare e

collegare informazioni utili, confrontare strategie di risoluzione, individuare schemi,

esporre il procedimento risolutivo, ...)

4. Conoscere e utilizzare diverse forme di rappresentazione e saper passare da una

all'altra (verbale, scritta, simbolica, grafica, tabellare, ...)

5. Riconoscere in contesto il carattere misurabile di oggetti e fenomeni e saper

utilizzare strumenti (stimare una misura, individuare l’unità di misura appropriata, …)

6. Utilizzare la matematica appresa per il trattamento quantitativo dell'informazione

in ambito scientifico, tecnologico, economico e sociale (descrivere un fenomeno in

termini quantitativi, interpretare una descrizione di un fenomeno con strumenti

statistici o funzioni, costruire un modello ...)

7. Acquisire progressivamente forme tipiche del pensiero matematico

(congetturare, verificare, giustificare, definire, generalizzare, …)

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Due esempi dalla Guida alla lettura della prova di Matematica di II Superiore 2013

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Struttura della prova INVALSI di Matematica

Livello

scolare

1°

componente

2°

componente

3°

componente

4°

componente

II Primaria* Numeri Spazio e

figure

- Misure, dati e

previsioni

V Primaria Numeri Spazio e

figure

Relazioni e

funzioni

Misure, dati e

previsioni

I Secondaria

inferiore

Numeri Spazio e

figure

Relazioni e

funzioni

Misure, dati e

previsioni

III Secondaria

inferiore

Numeri Spazio e

figure

Relazioni e

funzioni

Misure, dati e

previsioni

II Secondaria

superiore

Numeri Spazio e

figure

Relazioni e

funzioni

Misure, dati e

previsioni

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

La lettura dei dati: tre punti di osservazione

È opportuno distinguere, rispetto ai dati forniti dall’INVALSI, tre

punti di osservazione possibili, tra loro complementari, ma

distinti:

Il punto di vista di coloro che hanno la responsabilità del

“governo” del sistema educativo (decisori politici, amministratori

e autorità scolastiche ai vari livelli)

Il punto di vista dei dirigenti scolastici e degli organismi

d’indirizzo e di controllo della singola scuola

Il punto di vista degli insegnanti nella loro attività in classe

A ciascuna di queste tre categorie interessano maggiormente alcuni

dati rispetto ad altri.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

La restituzione dei risultati alle scuole: le novità introdotte nel 2012

o Accesso ai dati allargato e differenziato per profilo: dirigente scolastico,

referente della valutazione, presidente del Consiglio d’Istituto, docenti.

o Informazione sul cheating delle classi e della scuola (percentuale di

correzione).

o Informazione sulla composizione sociale della popolazione scolastica

delle classi e della scuola (4 categorie in base all’Escs).

o Possibilità di confrontare, oltre al risultato medio di classe e di scuola, la

distribuzione degli studenti in 5 livelli di apprendimento (alto, medio-alto,

medio, medio-basso, basso).

o Possibilità di confrontare il risultato di ogni classe e della scuola anche

con quello di classi e di scuole di pari livello socio-economico

(approssimazione al risultato di valore aggiunto).

o Informazione sulla correlazione tra punteggio nelle prove e voto del 1°

quadrimestre

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Elenco e delle tabelle dei grafici restituiti per ogni scuola

TAVOLE:

Tavole 1a/1b: Risultato complessivo

Tavole 2a/3a: Risultato per sezioni della prova di Italiano o per ambito della prova di

Matematica

Tavole 2b/3b: Risultati per macro-categoria di aspetti/processi

Tavole 2c/3c: Risultati per sezione/ambito della prova solo nativi

Tavole 2d/3d: Risultati per macro-categorie solo nativi

Tavola 2e/3e: Risultati per sezione/ambito della prova solo regolari

Tavole 2f/3f: Risultati per macro-categorie solo regolari

Tavole 4a/4b: Distribuzione degli alunni nei livelli di apprendimento

Tavola 5: Incrocio tra Italiano e Matematica dei livelli di apprendimento

Tavola 6: Correlazioni risultato prove INVALSI e voti

Tavola 7: Dettaglio risposte per item delle due prove in ciascuna classe

GRAFICI:

Grafico 1: Risultato complessivo delle prove rispetto a classi/scuole con composizione

sociale analoga (2 g.)

Grafico 2: Variabilità dei punteggi "tra" e "dentro" (2 g.)

Grafico 3: Risultati per genere, cittadinanza, regolarità (6 g.)

Grafico 4: Confronto tra voti di scuola e punteggio nelle prove (2 g.)

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Redigere un rapporto di scuola: il confronto con l’esterno

INDICE

Prima parte

1. La posizione della scuola per livello scolare rispetto alla media

nazionale, dell’area geografica e della regione di appartenenza

2. La distribuzione degli alunni della scuola nei livelli di prestazione definiti

sulla base del campione nazionale

3. Significatività delle differenze e composizione della popolazione

scolastica della scuola

4. Prime ipotesi di interpretazione

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Redigere un rapporto di scuola: il confronto all’interno

INDICE

Seconda parte

1. I risultati delle classi: varianza "tra" e varianza "entro" le classi

2. I risultati delle prove INVALSI per sottogruppi della popolazione

scolastica

3. I risultati delle prove di Italiano e Matematica per sezione e/o ambito di

contenuto

4. Confronto tra valutazione esterna (prove INVALSI) e valutazione interna

in Italiano e in Matematica

5. Punti di debolezza e punti di forza

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

I risultati complessivi della scuola e delle classi A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

014

Il problema del cheating : "When the cat is near, the mice won’t play" (IZA DP 6629/2012)

Lo studio (di Bertone, Brunello e Rocco) è stato condotto sulle classi

campione e non campione di II e V Primaria sottoposte a rilevazione nel

2009-10.

Esso ha riscontrato che:

nelle classi con osservatore esterno rispetto a quelle senza osservatore

si assiste a una riduzione del punteggio delle prove INVALSI, che va, in

media, dal 5,5% all’8,5% a seconda del livello e della materia;

accanto all’effetto diretto della presenza dell’osservatore, responsabile

di circa l’80% dell’effetto complessivo, vi è un effetto indiretto, che fa sì

che anche nelle classi non campionate di scuole campionate si abbia

una riduzione del punteggio.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Le conclusioni dello studio sul cheating

1. L’effetto dell’osservatore nelle classi dove questi è presente non è dovuto

né alla distrazione provocata dalla presenza di un estraneo né a un

maggior livello di ansia sperimentato dagli alunni.

2. Si è anche analizzato se la dimensione dell’effetto vari a causa

dell’interazione con una serie di variabili: la dimensione della classe, il

carattere pubblico o privato della scuola, la percentuale di insegnanti di

ruolo nella scuola, l’Escs medio di scuola, alcune misure di capitale

sociale della provincia in cui la scuola è localizzata.

3. L’effetto dell’osservatore

• è più piccolo nelle classi più numerose,

• non cambia se la scuola è pubblica o privata, né varia con l’Escs medio di

scuola

• è maggiore nelle scuole dove è più alta la percentuale di insegnanti di

ruolo

• è fortemente associato con il livello di capitale sociale della provincia in cui

la scuola è localizzata, e ciò anche controllando per il PIL pro-capite e il

tasso di disoccupazione.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Il risultato delle classi domanda per domanda - Italiano

Differenza dall’Italia

del risultato della

classe nella prova

complessiva

Media dell’Italia

nella prova

complessiva

Punteggio

medio

testo

narrativo

Punteggio

medio

riordino

frasi

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Il risultato delle classi domanda per domanda -Matematica

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Voti scolastici e punteggio nelle prove INVALSI A

ng

ela

Ma

rtin

i –

Udin

e, 1

5 a

pri

le 2

014

Qualche suggerimento agli insegnanti per aiutare gli alunni ad affrontare le prove INVALSI: il 1° obiettivo

Il primo e più importante obiettivo che un insegnante deve porsi è quello

di cercare di favorire lo sviluppo, attraverso l’attività didattica quotidiana,

di quelle operazioni mentali e di quei processi di riflessione e di pensiero

che sottostanno alla comprensione di un testo o alla soluzione di un

quesito matematico e che sono il vero oggetto che le prove INVALSI

mirano a verificare attraverso l’indicatore rappresentato dalle risposte ai

test.

Per perseguire questo primo obiettivo non è affatto necessario – anzi

può essere controproducente – addestrare gli alunni a rispondere a

prove oggettive recuperate qua e là e di cui non si conoscono le

proprietà misuratorie.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Qualche suggerimento agli insegnanti per aiutare gli alunni ad affrontare le prove INVALSI: il 2° obiettivo

Il secondo obiettivo, assai meno rilevante del primo, è di preparare gli

alunni ad affrontare prove con specifiche caratteristiche come quelle che le

prove INVALSI condividono con altri test: qui è utile che l’insegnante

organizzi, un paio di volte l’anno, una simulazione proponendo in classe

una delle prove rilasciate e facendola svolgere agli alunni nei modi e tempi

previsti dalle istruzioni preliminari all’inizio del fascicolo.

È anche utile dare agli alunni alcuni suggerimenti pratici, come ad

esempio:

• leggere tutto il testo (comprese le note e le indicazioni sull’origine del

testo) quando si affronta una prova di comprensione;

• leggere con attenzione le consegne delle domande;

• rispondere comunque sempre anche se non si è sicuri della risposta;

• evitare di omettere le domande aperte;

• gestire bene il tempo, non rimanendo troppo su un quesito a cui non si

riesce a trovare la soluzione per tornarci sopra in un secondo momento

quando si è completato il fascicolo.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Imparare a usare le conoscenze in contesti nuovi: un esempio dalla prova di Italiano di III media 2010

Leggi la frase seguente:

Un’autostoppista sorridente mi chiese un passaggio.

L’autostoppista è

A. un uomo

B. una donna

C. non è possibile dirlo perché autostoppista è un

nome invariabile per genere

D. non è possibile dirlo perché sorridente è un

aggettivo invariabile per genere

Risultati

dell’Italia

A 4,6%

B 36,7%

C 46,5%

D 6,2%

Omessa 6,0%

Livello di difficoltà: 0,60

Discriminazione: 0,36

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Imparare a usare le conoscenze in contesti nuovi: un esempio dalla prova di Matematica di II Superiore 2013

Risultati dell’Italia

Corretta Errata Omessa

a 44,3% 45,9 9,8

b 13,2 45,2 41,7

a. Livello di difficoltà: 0,26

Discriminazione: 0,50

b. Livello di difficoltà: 2,23

Discriminazione: 0,51

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014

Analizzare gli errori

La cosa più utile da un punto di vista didattico è, dopo aver corretto la

prova, dedicare un po’ di tempo a discutere in classe con gli alunni le

risposte che hanno dato, in particolare quelle errate.

Da questa semplice attività possono derivare indicazioni preziose,

all’insegnante in primo luogo ma anche agli studenti, sulle operazioni e

i processi messi in atto per rispondere ai quesiti, sugli equivoci e i

fraintendimenti in cui si è incorsi nella lettura delle consegne o nella

lettura di un testo, facendo così emergere le ragioni degli errori

commessi e porre le premesse per evitarli in futuro.

An

ge

la M

art

ini –

Udin

e, 1

5 a

pri

le 2

014