Post on 02-May-2015
La lettura dei dati INVALSI... da parte del Dirigente Scolastico
Tommaso Agasisti
Politecnico di MilanoDipartimento di Ingegneria Gestionale
e. tommaso.agasisti@polimi.it
Agenda
❯ La pluralità di utilizzo dei dati INVALSI►Quale focus per il DS?
❯ Quali domande? (e quali risposte...)
❯ La lettura dei dati INVALSI►Leggere ed interpretare correttamente i dati restituiti da
INVALSI
❯ (Altri) dati: le potenzialità (future) di Scuola in Chiaro►Un esempio di lettura dei dati
❯ Cosa NON ci dicono i dati sugli apprendimenti
04/11/23 2T. Agasisti - Politecnico di Milano, 2012
La pluralità di utilizzo dei dati INVALSI
04/11/23 3T. Agasisti - Politecnico di Milano, 2012
Dati INVALSI: per quali finalità?
❯ Analisi “di sistema”:►Livello degli apprendimenti medi del Paese, per area
geografica, per genere, per cittadinanza...►Policy making nazionale/territoriale►Stakeholder di riferimento: amministratori, cittadinanza
❯ Analisi “di scuola”:►Livello degli apprendimenti della scuola►Comparazione con realtà territoriale di riferimento
(benchmarking)► Individuazione punti di forza/criticità►Stakeholder di riferimento: DS, docenti (a tendere:
genitori?)
04/11/23 4T. Agasisti - Politecnico di Milano, 2013
Quali domande? (e quali risposte?)
04/11/23 5T. Agasisti - Politecnico di Milano, 2013
DS, docenti e lettura dei dati INVALSI
❯ Per poter ottenere risposte utili per accompagnare ed informare il processo di miglioramento...► ... Occorre farsi le domande giuste!!
❯ A quali domande possono rispondere i dati INVALSI?►Qual è il livello di apprendimenti medio della mia scuola, in
comparazione con quello nazionale/locale?►E in comparazione con quello di scuole “simili”?►Che grado di omogeneità/eterogeneità degli
apprendimenti si riscontra nella mia scuola?►Quanto questa omogeneità/eterogeneità è riferibile a
differenze tra classi?
04/11/23 6T. Agasisti - Politecnico di Milano, 2013
(segue)
❯ (segue)►Su quali componenti della prova la mia scuola ha
ottenuto risultati migliori/peggiori (in assoluto, e in relazione alla media nazionale?)
►Quanta parte degli studenti della mia scuola è classificata nei livelli di apprendimento bassi/medi/alti (rispetto alla media nazionale)?
►Quanto sono differenti i punteggi di apprendimento della mia scuola con riferimento a diversi gradi scolastici?
❯ Come queste informazioni sono utili per promuovere una riflessione critica interna alla scuola, ed avviare un percorso di miglioramento?
04/11/23 7T. Agasisti - Politecnico di Milano, 2013
Il ruolo del Dirigente Scolastico!
La lettura dei dati INVALSI
04/11/23 8T. Agasisti - Politecnico di Milano, 2013
Premessa
❯ In questa sezione, si riportano le informazioni che riguardano i dati restituiti da INVALSI per l’a.s. 2011/12►Si utilizza una scuola “reale” (anonima), cui è stato
modificato il codice di riconoscimento
❯ Scopo dell’analisi:►Vedere un quadro dei dati a disposizione►Commentarne i possibili principali utilizzi►Chiarire alcuni aspetti metodologico/statistici►Raccogliere domande/osservazioni...
04/11/23 9T. Agasisti - Politecnico di Milano, 2012
Un aspetto (metodologico) iniziale
❯ Premessa esplicitata nel sito...► I dati sono riferiti agli allievi che non hanno bisogni
educativi speciali. ►Non viene riportato il dato relativo alle classi con un
elevato indice di propensione al cheating, ossia per quelle classi per le quali mediante la metodologia statistica utilizzata più del 50% del punteggio osservato è da attribuire a comportamenti anomali.
► Inoltre non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%.
►Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi.
04/11/23 10T. Agasisti - Politecnico di Milano, 2012
Il quadro dei dati disponibili
❯ Quali informazioni/dati sono disponibili nel “fascicolo elettronico” INVALSI?►Punteggio medio di apprendimento (confronto con area
e scuole simili – benchmarking)►Disaggregazione punteggio di apprendimento per classi►Scomposizione punteggio di apprendimento per diversi
ambiti della prova INVALSI►Distribuzione studenti per “livelli di apprendimento”►Relazioni tra “voti” medi di classe (interni) e
apprendimenti INVALSI►Scomposizione varianza punteggi di apprendimento (tra
classi e interna alle classi)
04/11/23 11T. Agasisti - Politecnico di Milano, 2013
Punteggi generali
❯ Nelle prossime slides:►Punteggi generali di italiano►Punteggi generali di matematica
❯ Su cosa focalizzare l‘attenzione?►Punteggi rispetto ad Area, Regione, Italia►Punteggi relativi Italiano/matematica►Cheating “generale”, e relativo (italiano/matematica)►Status socioeconomico (indice SES)
❯ NB. I dati sono riportati al netto del cheating!
04/11/23 12T. Agasisti - Politecnico di Milano, 2013
Quadro complessivo - Italiano
04/11/23 13T. Agasisti - Politecnico di Milano, 2012
Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-economico-culturale dei propri studenti più simile a quello della scuola considerata.
Quadro complessivo - matematica
04/11/23 14T. Agasisti - Politecnico di Milano, 2012
Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-economico-culturale dei propri studenti più simile a quello della scuola considerata.
Quadro complessivo - considerazioni
❯ Ci sono diverse dimensioni di analisi possibili, come quadro (preliminare) rispetto ai dati di dettaglio che poi si analizzeranno:►Posizionamento rispetto a Regione, Area, Italia►Confronto ITA vs MATE (performances medie (in Italia)
più elevate per la prima)►Confronto con scuole che presentano distribuzione ESCS
simile
❯ Se ci fossero più gradi scolastici...► Confronti possibili (discutere)► Il problema dell’ancoraggio statistico tra le prove► E il caso di Istituti comprensivi?
04/11/23 15T. Agasisti - Politecnico di Milano, 2012
Alcune definizioni
❯ Cheating► Insieme di anomalie che alterano gli esiti della prova.
L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è mediamente da attribuire alle predette anomalie.
❯ ESCS►L'ESCS è l'indice di status socio-economico-culturale.
Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche.
04/11/23 16T. Agasisti - Politecnico di Milano, 2012
Alcune definizioni (segue)
❯ Differenza classe con ESCS simile ►La differenza è calcolata rispetto al risultato medio delle
200 classi/scuole con background socio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata.
❯ Background mediano degli studenti► I livelli del background sono definiti rispetto alla
distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.
04/11/23 17T. Agasisti - Politecnico di Milano, 2012
04/11/23 18T. Agasisti - Politecnico di Milano, 2012
04/11/23 19T. Agasisti - Politecnico di Milano, 2012
Alcune osservazioni
❯ Perché alcune classi vengono riportate per Italiano ma non per Matematica?►Cheating? Assenze? (spunto di riflessione per il DS)
❯ Le frecce per le comparazioni (verso l’alto, verso il basso, orizzontali)
❯ I calcoli delle differenze ►punteggi in termini assoluti, si possono calcolare in
percentuale►Es. la classe 412099990802 in Italiano ha performance
di 67,7 (-4,8 rispetto ad una classe con background simile, ossia il 7% in meno)
❯ Cheating►Più basso in italiano che in matematica
04/11/23 20T. Agasisti - Politecnico di Milano, 2012
Punteggi delle diverse classi (MATE)
❯ Osservare come le diverse classi contribuiscono al risultato di scuola...
04/11/23 21T. Agasisti - Politecnico di Milano, 2012
Classi/Istituto
Media del punteggio
al netto del cheating
(1)
Differenza nei risultati rispetto a
classi/scuole con
background familiare simile (2)
Cheating in percentuale
…412099990807
67,6 -5,0 0,1%
412099990808
79,1 +6,6 0,0%
RMIC000000 72,2 +0,4 0,0%
Superiore alla media (di scuola)
Inferiore alla media (di scuola)Media (di
scuola)
Attenzione… per PN c’è solo background di scuola (non di classe)
04/11/23 22T. Agasisti - Politecnico di Milano, 2012
Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-economico-culturale dei propri studenti più simile a quello della scuola considerata.
Classi con “prestazioni relative” peggiori
Classi con “prestazioni relative” migliori
Attenzione… per PN c’è solo background di scuola (non di classe)
Attenzione!ESCS, apprendimenti e differenze tra classi
❯ Varianza di punteggi medi (a livello di classi) molto significativa!
►La classe con punteggio (medio) inferiore: circa 67►La classe con punteggio (medio) superiore: circa 79 (+
18%)
►Se avessimo i dati su ESCS a livello di classe (es per II primaria, I sec. I grado, ecc.) potremmo verificare se le due varianze sono collegate (segmentazione)
►Vedi slides successive
04/11/23 23T. Agasisti - Politecnico di Milano, 2012
04/11/23 24T. Agasisti - Politecnico di Milano, 2012
Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socio-economico-culturale dei propri studenti più simile a quello della scuola considerata.
Attenzione… per PN c’è solo background di scuola (non di classe)
❯ Nel caso di Matematica:► tutte le classi hanno performance superiori (o non
inferiori) a classi simili sotto il profilo dell’ESCS (medio di classe)
❯ Ma anche in questo caso, differenze significative:►Classe con punteggio inferiore: circa 52►Classe con punteggio superiore: circa 66 (+25%)
04/11/23 25T. Agasisti - Politecnico di Milano, 2012
Attenzione!ESCS, apprendimenti e differenze tra classi
Confronto classi con 200 classi simili(Un esempio riferito ad una scuola differente, classi I)
04/11/23 26T. Agasisti - Politecnico di Milano, 2013
Classe 8 “migliore” o “peggiore” di 4?
Punteggio assoluto versus comparazione con classi simili…
Attenzione!!!Analisi per classi... “concentrazione”?!
04/11/23 27T. Agasisti - Politecnico di Milano, 2012
Italiano Matematica
Classi/Istituto
Media del punteggio al
netto del cheating
Differenza nei risultati
rispetto a classi/scuole
con background
familiare simile
Media del punteggio al
netto del cheating
Differenza nei risultati
rispetto a classi/scuole
con background
familiare simile
412099990801
77,4 +4,7 62,4 +8,2
412099990804
77,2 +4,7 66,2 +12,2
412099990806
69,0 -3,7 55,7 +1,6
412099990807
67,6 -5,0 52,0 -2,1
RMIC000000 72,2 +0,4 59,8 +5,8
Classe “forte”
Classe “debole”
Punteggi per le diverse parti delle prove
04/11/23 28T. Agasisti - Politecnico di Milano, 2012
Quali considerazioni?
❯ Confronto tra classi►Omogeneità tra apprendimenti delle diverse classi, sulle
diverse parti della prova?
❯ Confronto su diverse aree ► (es. grammatica vs testo narrativo)
❯ L’uso dei dati a livello di classe può essere funzionale alla discussione tra DS e docenti delle classi interessate►Anche utile stimolo “interno” – come rendere “pubblica-
dentro-la-scuola” una discussione su confronto tra classi?
04/11/23 29T. Agasisti - Politecnico di Milano, 2012
Diverse parti delle prove: analisi a livello di classe
04/11/23 30T. Agasisti - Politecnico di Milano, 2012
Testo narrativo Grammatica
Punteggio Medio
Punteggio Italia
… Punteggio Medio
Punteggio Italia
412099990801
75,2
68,0
412099990801 79,6
66,7
412099990802
68,6 412099990802 66,9
412099990803
75,4 412099990803 57,8
412099990804
73,4 412099990804 84,7
412099990805
69,2 412099990805 70,5
412099990806
68,2 412099990806 73,6
412099990807
66,7 412099990807 71,4
412099990808
76,5 412099990808 83,8
RMIC000000 71,8 RMIC000000 74,3
Scuola relativamente “forte” in grammatica
rispetto a testo narrativo
Criticità a livello di classe
Punto di forza a livello di classe
È opportuno confrontare i risultati con la media nazionale...
Un punteggio basso/alto può derivare da specificità della classe o da difficoltà relativa della sezione della prova!
Confronto con studenti “solo nativi”
❯ “Solo nativi”:►studenti nati in Italia da genitori anch'essi nati in Italia;
❯ Interpretazione:►Qual è effetto di considerare “solo nativi”? Eterogeneità
tra classi? E rispetto alla media nazionale?04/11/23 31T. Agasisti - Politecnico di Milano, 2012
Testo narrativo Testo narrativo Solo nativi
Punteggio
MedioPunteggio
Italia
Punteggio Medio
Punteggio Italia
412099990801 75,2
68,0
412099990801 75,2
68,5
412099990802 68,6 412099990802 69,5412099990803 75,4 412099990803 78,3412099990804 73,4 412099990804 73,1412099990805 69,2 412099990805 70,2412099990806 68,2 412099990806 68,6412099990807 66,7 412099990807 66,4412099990808 76,5 412099990808 76,4RMIC000000 71,8 RMIC000000 72,3
Il DS può valutare questa differenza anche insieme a
docenti (e considerando % non nativi)
Per analisi più opportune su differenze tra italiani e stranieri, vedere grafici appositi (Cfr. dopo)
Analisi per “livello di apprendimento”
❯ Cosa sono i “livelli di apprendimento”?►Livello 1 punteggio minore o uguale al 75% della media
nazionale►Livello 2 punteggio maggiore del 75% e minore o uguale
del 95% della media nazionale►Livello 3 punteggio maggiore del 95% e minore o uguale
del 110% della media nazionale►Livello 4 punteggio maggiore del 110% e minore o uguale
del 125% della media nazionale►Livello 5 punteggio maggiore del 125% della media
nazionale
❯ Sarebbero utili scale diverse?►Es. media della scuola? Media della Regione? Media per
ESCS simile?04/11/23 32T. Agasisti - Politecnico di Milano, 2012
04/11/23 33T. Agasisti - Politecnico di Milano, 2012
Il significato dei “livelli di apprendimento”
❯ Si cerca di “approssimare” i livelli di apprendimento assoluti ►Si osserva, cioè, il risultato “medio” e la sua
distribuzione nel Paese►Nel futuro: definizione “assoluta” di livello di
apprendimento?
❯ Le informazioni rilevanti sono quelle relative alle “code” della distribuzione►Criticità (livello 1)►Eccellenze (livello 5)
04/11/23 34T. Agasisti - Politecnico di Milano, 2012
Analisi livelli di apprendimento (es. matematica)
04/11/23 35T. Agasisti - Politecnico di Milano, 2012
Numero studenti livello 1
Numero studenti livello 2
Numero studenti livello 3
Numero studenti livello 4
Numero studenti livello 5
412099990801 0 1 3 5 11412099990804 0 1 3 6 16412099990806 0 2 4 10 2412099990807 1 1 9 7 0
Percentuale studenti livello 1
Percentuale studenti livello 2
Percentuale studenti livello 3
Percentuale studenti livello 4
Percentuale studenti livello 5
RMIC000000 1% 6% 23% 34% 35%Lazio 17% 19% 19% 16% 30%Centro 24% 19% 17% 15% 25%Italia 25% 19% 18% 14% 25%
Come interpretare questa
distribuzione tra classi?
Differente distribuzione...I livelli 1 e 4
Analisi livelli di apprendimento(confronto matematica vs italiano)
04/11/23 36T. Agasisti - Politecnico di Milano, 2012
Matematica Italiano
…Numero studenti livello 4
Numero studenti livello 5
…Numero studenti livello 4
Numero studenti livello 5
412099990801 5 11 4 8412099990804 6 16 16 5412099990806 10 2 5 2412099990807 7 0 2 1
Percentuale studenti livello 4
Percentuale studenti livello 5
Percentuale studenti livello 4
Percentuale studenti livello 5
RMIC000000 34% 35% 29% 17%Lazio 16% 30% 30% 18%Centro 15% 25% 28% 15%Italia 14% 25% 26% 15%
Differenza
Ita vs mate
(dentro la classe)
Prestazione “relativa” della scuola
(ita versus mate)
04/11/23 37T. Agasisti - Politecnico di Milano, 2012
Analisi livelli di apprendimento(confronto matematica vs italiano)
Valutazione “esterna” vs “interna”
►Mantenendo (in forma anonima) l’identità del singolo studente, è possibile verificare “coerenza” tra punteggio ottenuto nella prova Invalsi e giudizio di ammissione all’esame di Stato [dati aggregati a livello di classe]
04/11/23 38T. Agasisti - Politecnico di Milano, 2012
Valutazione “interna”
disallineata... Per eccesso o per
difetto?
Valutazione “esterna” vs “interna”
❯ È importante avere a mente due osservazioni metodologiche:
► Il voto per la PN è quello complessivo di ammissione (per gli altri gradi, è quello relativo alla specifica disciplina – ITA/MAT)
► Il voto del singolo studente coglie alcuni aspetti che la prova INVALSI può non cogliere. Il voto medio di classe, invece, può essere una informazione più rilevante per l’azione del DS.
04/11/23 39T. Agasisti - Politecnico di Milano, 2012
04/11/23 40T. Agasisti - Politecnico di Milano, 2012
Queste due classi hanno valutazioni medie simili dalla
scuola, ma rilevante differenza nelle prove Invalsi
04/11/23 41T. Agasisti - Politecnico di Milano, 2012
Queste due classi hanno valutazioni medie simili da
Invalsi, ma rilevante differenza nella valutazione della scuola
Limiti
❯ Per le classi III della Secondaria I grado, il “voto” a livello di classe è la media del punteggio di ammissione all’esame di Stato► Il confronto “diretto” con prove INVALSI, in senso stretto,
è inibito!
❯ Questo non vale per gli altri gradi►Es classi I: il “voto” a livello di classe è la media nella
specifica materia oggetto di analisi (Italiano, Matematica)
04/11/23 42T. Agasisti - Politecnico di Milano, 2013
“voto” di classe e punteggio INVALSI(un esempio su una scuola differente, classi I)
04/11/23 43T. Agasisti - Politecnico di Milano, 2013
Sulla base dei punteggi INVALSI…la classe 4 è risultata CLASSE FORTE, mentre
la classe 9 CLASSE DEBOLE
Dettaglio risposte – per item
❯ La possibilità di analizzare le prove anche attraverso le singole risposte, appare di particolare utilità per i docenti
04/11/23 44T. Agasisti - Politecnico di Milano, 2012
Si può analizzare la singola classe
Dettaglio risposte – per item
❯ Confronto tra classi?►Si possono effettuare confronti più di dettaglio tra le
classi, osservando il n° di risposte corrette►Possibilità di confronto e dialogo tra docenti
04/11/23 45T. Agasisti - Politecnico di Milano, 2012
Dettaglio risposte – per item
04/11/23 46T. Agasisti - Politecnico di Milano, 2012
Sezione EDomand
a A B C D
Mancate
risposte
Parte prima - testo narrativo A1 11,8 76,5 0,0 11,8 0,0Parte prima - testo narrativo A3 0,0 88,2 11,8 0,0 0,0Parte prima - testo narrativo A4 41,2 29,4 0,0 29,4 0,0Parte prima - testo narrativo A5 0,0 11,8 82,4 5,9 0,0Parte prima - testo narrativo A6 0,0 0,0 94,1 0,0 5,9Parte prima - testo narrativo A7 100,0 0,0 0,0 0,0 0,0…
Sezione GDomand
a A B C D
Mancate
risposte
Parte prima - testo narrativo A1 40,0 50,0 0,0 10,0 0,0Parte prima - testo narrativo A3 0,0 90,0 10,0 0,0 0,0Parte prima - testo narrativo A4 25,0 25,0 5,0 45,0 0,0Parte prima - testo narrativo A5 0,0 5,0 95,0 0,0 0,0Parte prima - testo narrativo A6 5,0 0,0 95,0 0,0 0,0Parte prima - testo narrativo A7 95,0 0,0 0,0 5,0 0,0
Ulteriore dettaglio per classe
❯ È possibile anche analizzare, per ciascuna classe, le differenze nelle risposte (per ciascuna singola domanda) rispetto alla media nazionale
► In ogni singolo item, la classe ha risposto in linea con la media nazionale, oppure ha evidenziato una percentuale di risposte corrette/sbagliate superiore/inferiore rispetto alla media nazionale?
►Confronto tra risposta sul singolo item e media (di classe)►Grafico seguente
►Nb. Si può estendere questo confronto anche tra classi!• Dialogo con/tra docenti
04/11/23 47T. Agasisti - Politecnico di Milano, 2012
04/11/23 48T. Agasisti - Politecnico di Milano, 2012
Differenza Classe-Italia (media)
I grafici creati da Invalsi
❯ Grafico 2 ►Mostra quanta parte della variabilità dei punteggi
all'interno della scuola è dovuta a differenze tra le classi, confrontando tali risultati con quanto avviene nella media delle scuole italiane
❯ Perché è importante?►Misura indiretta di “varianza tra classi” – misura indiretta
di “segmentazione”?
04/11/23 49T. Agasisti - Politecnico di Milano, 2012
04/11/23 50T. Agasisti - Politecnico di Milano, 2012
Punteggi di Italiano
04/11/23 51T. Agasisti - Politecnico di Milano, 2012
Punteggi di Matematica
Il 75% della varianza nei punteggi è tra classi...
ENORME segmentazione!
Focus su punteggi... Per altri gradi disponibili anche varianze
ESCS
Mettere in relazione varianza punteggi e ESCS...
(Un esempio su una scuola differente)
04/11/23 52T. Agasisti - Politecnico di Milano, 2013
PUNTEGGIO ESCS
I grafici creati da Invalsi
❯ Grafico 3 ►Mostra le differenze dei punteggi medi tra studenti della
scuola rispetto al genere, alla cittadinanza e alla regolarità nel percorso di studi, poste a confronto con le stesse differenze nella regione, nell'area geografica e nell'Italia intera.
❯ Perché è importante?►Capire se alcune variabili individuali (es. cittadinanza)
esercitano un ruolo maggiore o minore, nel determinare la prestazione scolastica, rispetto ad altre scuole/ambiti.
04/11/23 53T. Agasisti - Politecnico di Milano, 2012
Differenze per cittadinanza: quale interpretazione?
04/11/23 54T. Agasisti - Politecnico di Milano, 2012
04/11/23 55T. Agasisti - Politecnico di Milano, 2012
Studenti Italiani
ScuolaItalia
Differenza scuola-Italia = 10 punti
Scuola
Italia
Differenza scuola-Italia = 17 punti
Studenti Stranieri 1a gen.
Diff. nella scuola Diff. nella scuola
Differenze di genere: quale interpretazione?
04/11/23 56T. Agasisti - Politecnico di Milano, 2012
04/11/23 57T. Agasisti - Politecnico di Milano, 2012
Differenza nella scuola tra maschi e femmine
MASCHI: Scuola – Italia: 6 punti
FEMMINE: Scuola – Italia: 4 punti
Regolari vs anticipatari/posticipatari: quale interpretazione?
04/11/23 58T. Agasisti - Politecnico di Milano, 2012
04/11/23 59T. Agasisti - Politecnico di Milano, 2012
Differenza REG – ANT = -15p. Differenza ANT -
POST = +15p.
Differenza REG - POST = +0p.
Studenti regolari (REG)
Studenti anticipatari (ANT)
Studenti posticipatari (POST)
In Italia: REG (51), ANT (48), POST (41)
Un quadro di sintesi: quali dati per (quali) DS?
❯ La crescita dell’azione di INVALSI, e il contestuale miglioramento dell’azione dell’Ufficio Statistico del MIUR, consente oggi al DS di avere molte più informazioni sulla propria scuola►Ma NON più soluzioni!
❯ La responsabilità “manageriale” del DS►Leggere i dati, e definirne grado di condivisione interno►Riflessione personale e collegiale►Diagnosi► Ipotesi di azioni, implementazione di piani►Verifica miglioramento► ...
04/11/23 60T. Agasisti - Politecnico di Milano, 2012
(segue)
❯ Non esiste un “cocktail” di dati adatto per tutti!► I dati vanno “letti” nel contesto della propria scuola (ivi
comprese le caratteristiche della scuola stessa);► il potenziale ruolo di Scuola in Chiaro: ad esempio,
analisi del profilo della classe docente della scuola• Lettura “congiunta” dei due diversi set di informazioni
❯ Nelle slides successive: alcuni esempi di dati che saranno disponibili nel fascicolo scuola di “Miur-Scuola_in_Chiaro”
04/11/23 61T. Agasisti - Politecnico di Milano, 2012
(Altri) dati: le potenzialità future di Scuola in Chiaro
04/11/23 62T. Agasisti - Politecnico di Milano, 2013
Il potenziale di Scuola in Chiaro
❯ Strumento informativo del MIUR, in corso di miglioramento e affinamento
04/11/23 63T. Agasisti - Politecnico di Milano, 2012
Un dataset pubblico e integrato, accessibile dal sito MIUR
http://cercalatuascuola.istruzione.it/cercalatuascuola/
Le sezioni di Scuola in Chiaro
❯ Il fascicolo “Scuola in Chiaro” che ciascun istituto riceverà sarà articolato nelle seguenti sezioni:►Dati anagrafici
►Studenti►Docenti
►Esiti formativi
04/11/23 64T. Agasisti - Politecnico di Milano, 2012
INPUTS
OUTPUTS
Questionario Scuola
(DS)
PROCESSI…
Un esercizio di lettura “incrociata”
❯ Avendo a disposizione alcuni dei dati di Scuola in Chiaro della scuola in esame, si è proceduto a qualche possibile lettura “incrociata” delle informazioni
►Tipologia di scuola►Analisi composizione delle classi►Esiti
04/11/23 65T. Agasisti - Politecnico di Milano, 2012
La tipologia di scuola
❯ La scuola in esame è un Istituto Comprensivo, con all’interno una Scuola dell’Infanzia
04/11/23 66T. Agasisti - Politecnico di Milano, 2012
N° sezioni, alunni e stranieri per anno di corso(scuola dell’infanzia) Sezioni Bambini Stranieri
3 75 2
N° alunni e sezioni per anno di corso(scuola primaria)Anno di corso Alunni Sezioni
1 20 12 31 23 13 14 28 25 30 2
La tipologia di scuola
❯ Maggiore numerosità su scuola secondaria di I grado:
04/11/23 67T. Agasisti - Politecnico di Milano, 2012
N° alunni e sezioni per anno di corso(scuola secondaria di I grado)Anno di corso Alunni Sezioni
1 196 82 153 63 170 8
La composizione delle classi
❯ Focus su “studenti stranieri”►A tendere... Composizione socioeconomica? (ESCS)
04/11/23 68T. Agasisti - Politecnico di Milano, 2012
Studenti con cittadinanza non italiana per anno di corso
Anno di corso
Totale
I sezion
e
II sezion
e
III sezion
e
IV sezion
e
V sezion
e
VI sezion
e
VII sezion
e
VIII sezion
e
IX sezio
ne
1Stranieri 12 1 0 4 2 1 0 1 3di cui nati in Italia 0 0 0 0 0 0 0 0 0
2Stranieri 3 1 0 0 0 2 0di cui nati in Italia 0 0 0 0 0 0 0
3
Stranieri 13 0 1 2 1 2 2 3 2di cui nati in Italia 0 0 0 0 0 0 0 0 0
La composizione delle classi
❯ Alcune osservazioni:►Complessivamente, gli studenti stranieri sono il 7%
►Non ci sono studenti stranieri di II° generazione►Dai dati di INVALSI, si evinceva che gli studenti stranieri
non avevano punteggi di apprendimento significativamente inferiori rispetto agli italiani• Una possibile spiegazione: la scarsa incidenza di studenti
stranieri all’interno delle classi? [2 o 3 in classi mediamente di 20 ragazzi]
►Se potessimo ricondurre i dati alle classi specifiche... Confronto su incidenza stranieri negli apprendimenti complessivi
04/11/23 69T. Agasisti - Politecnico di Milano, 2012
Sarebbe importante confrontare questo dato con la media della
Regione e dell’Area
Lettura “incrociata” dei dati su studenti stranieri
04/11/23 70T. Agasisti - Politecnico di Milano, 2012
Testo narrativo Testo narrativo Solo nativi
Punteggio
MedioPunteggio
Italia
Punteggio Medio
Punteggio Italia
412099990801 75,2
68,0
412099990801 75,2
68,5
412099990802 68,6 412099990802 69,5
412099990803 75,4 412099990803 78,3
412099990804 73,4 412099990804 73,1
412099990805 69,2 412099990805 70,2
412099990806 68,2 412099990806 68,6
412099990807 66,7 412099990807 66,4
412099990808 76,5 412099990808 76,4RMIC000000 71,8 RMIC000000 72,3
Stranieri 0 1 2 1 2 2 3 2
In questa classe vi è un effetto (negativo) connesso alla presenza di studenti
stranieri. Qual è questa classe?
(segue)
❯ L’analisi di dettaglio degli apprendimenti “relativi” tra italiani e stranieri può avere molta importanza per la discussione tra DS e docenti delle classi
►Verifica “omogeneità” dell’istruzione (per gli studenti di cittadinanza diversa)
►Evidenziazione e discussione su casi “critici” • (a livello di classe, in questi casi il focus non è sui singoli
studenti!)
04/11/23 71T. Agasisti - Politecnico di Milano, 2012
Esiti
❯ Il database di Scuola in Chiaro consente di avere alcune informazioni sugli esiti ►Si possono usare in modo complementare ai dati degli
apprendimenti derivanti dalle prove INVALSI?
04/11/23 72T. Agasisti - Politecnico di Milano, 2012
Esiti degli scrutini finali per anno di corso
Anno di corso
Ammessi all'anno successivo Scuola Provincia Regione Nazione
1 97.4 95.4 95.3 95.22 95.5 96.0 95.9 96.2
Punto di attenzione per anno successivo (effetto dei “non ammessi” sulle classi di riferimento)
Confronto con Provincia, Regione, Italia
Esiti (segue)
04/11/23 73T. Agasisti - Politecnico di Milano, 2012
Alunni ammessi e licenziati all'esame di Stato: candidati interni
% ammessi% licenziati
Scuola 97.1 99.4Provincia 96.6 99.8Regione 96.5 99.8Nazione 96.3 99.6
Esiti (segue)
04/11/23 74T. Agasisti - Politecnico di Milano, 2012
Alunni licenziati per votazione conseguita: candidati interni
Fascia di voto Scuola Provincia Regione Nazionesei 23.6 27.2 27.9 30.5sette 24.2 28.5 27.9 27.4otto 21.8 22.5 22.0 21.1nove 17.6 15.7 15.7 14.9dieci 7.3 4.0 4.3 4.3dieci e lode 5.5 2.1 2.2 1.7Totale 100.0 100.0 100.0 100.0
Prova di italiano
Numero studenti livello 1-2
Numero studenti livello 3
Numero studenti livello
4-5
Prova di matematica
Numero studenti livello 1-2
5 7 7
Numero studenti livello 3
1 8 11
Numero studenti livello
4-50 4 39
I dati si riferiscono ai soli studenti con dati validi per le due prove (italiano e matematica)
I voti finali sembrano “giustificati”
Sapevamo, dai dati INVALSI, che in questa
scuola vi è concentrazione di alunni molto bravi (rispetto a media
nazionale)
Cosa NON ci dicono i dati sugli apprendimenti
04/11/23 75T. Agasisti - Politecnico di Milano, 2013
Cosa NON ci dicono i dati sugli apprendimenti
❯ È importante riconoscere, in fase di utilizzo dei dati sugli apprendimenti, che questi NON ci dicono tutto quello che sarebbe utile conoscere►Skills non cognitivi►Descrizione del “processo” educativo►Qualità delle attività sottostanti ai processi di
apprendimento
❯ Un buon DS dovrebbe utilizzare i dati di apprendimento?►Si, come una delle fonti di conoscenza della propria
scuola
04/11/23 76T. Agasisti - Politecnico di Milano, 2012
Cosa NON ci dicono i dati sugli apprendimenti
❯ Il principale limite metodologico► I dati sul singolo anno, relativi al LIVELLO degli
apprendimenti, riflettono variabili “esterne” che non possono essere modificate dalle scuole • Background degli studenti, caratteristiche di contesto, ecc.
❯ La necessità di misure di “Valore Aggiunto”►Quanta parte dei risultati degli studenti/classi/scuole può
essere attribuita all’azione della scuola?
❯ Sfida metodologica e culturale►Le esperienze internazionali (League Tables inglesi,
valutazione docenti in USA)
04/11/23 77T. Agasisti - Politecnico di Milano, 2012
Misure di Valore Aggiunto
❯ (1) Sul singolo anno, osservando il LIVELLO di apprendimento►Depurare l’effetto del background socioeconomico degli
studenti (approccio INVALSI attraverso ESCS) / esperienza Provincia Autonoma di Trento• Il problema di tenere conto di tutte le variabili rilevanti per
descrivere risultati scolastici (molto difficile!)
❯ In una logica intertemporale► (2) A livello di scuola – come evolvono i risultati INVALSI
• Sarebbe utile una tabella aggiuntiva nella scheda di restituzione?
• Ma i dati si riferiscono a coorti di studenti diverse
04/11/23 78T. Agasisti - Politecnico di Milano, 2012
Misure di valore aggiunto (segue)
► (3) Analisi longitudinali dei livelli di apprendimento dei singoli studenti• Confronti possibili: (a) II-V Scuola Primaria, (b) passaggio V
Scuola Primaria – I Sec I grado, (c) I-III Sec I grado, (d), passaggio Sec I grado – II sec II grado)
• Generare misure di VA a livello classe e scuola• Il problema di “ancorare statisticamente” le prove
04/11/23 79T. Agasisti - Politecnico di Milano, 2012