Prove INVALSI dalla Valutazione al Miglioramento ... · PDF fileProve INVALSI dalla...
Transcript of Prove INVALSI dalla Valutazione al Miglioramento ... · PDF fileProve INVALSI dalla...
Prove INVALSIdalla Valutazione al Miglioramento
Formazione Docenti - USR Calabria(ai sensi della Nota MIUR prot.11171 del 9/11/2015 all. 2)
Maria Brutto, Nicola Chiriano - Aprile 2016
Account e-mail
Cartella Drive (condivisa)
http://goo.gl/paih6B
Format delle proposte operative
1. Report di scuola su autovalutazione risultati
2. Analisi di un quesito critico
3. Costruzione di un quesito da modello
4. Analisi su fascicolo di classe
5. Attività didattica di rinforzo
6. Somministrazione di una prova
2Maria Brutto, Nicola Chiriano - Aprile 2016
Cloud con i materiali di approfondimento
1. Accountability e prove internazionali
3Maria Brutto, Nicola Chiriano - Aprile 2016
Dati e opinioni
“Without data,you’re just
another person with an opinion”.
(Andreas Schleicher)
Division Head and Coordinator
of OECD PISA
Le valutazioni esterne (inter)nazionali si
configurano come uno strumento aggiuntivo
all’azione di monitoraggio e valutazione
dell’insegnante!
4Maria Brutto, Nicola Chiriano - Aprile 2016
Uno sguardo all’Europa
5Maria Brutto, Nicola Chiriano - Aprile 2016
Trasferibilità● PEL - Quadro Comune Europeo per le Lingue
● OCSE-PISA - “scale di competenza” nell’ambito dell’indagine internazionale
Trasparenza● Raccomandazioni del Parlamento e del Consiglio Europeo relative a
competenze chiave per l’apprendimento permanente (18/12/2006)
● Carta europea per la qualità della mobilità (18/12/2006)
Comparabilità
● EQF - Quadro Europeo delle Qualifiche e dei Titoli per l’apprendimento permanente (2008)
● CEFR - Quadro comune europeo di riferimento per la conoscenza delle lingue (2001 - sei livelli da A1 a C2)
Competenza
Dal latino competentiada cum-petere
dirigersi verso
Si intende la piena capacità di orientarsi in diversi campi e ambiti di vita
Evoca l’italiano competere
ossia far fronte a una
situazione sfidante
6Maria Brutto, Nicola Chiriano - Aprile 2016
L’iceberg della competenza
(Castoldi, 2009)
7Maria Brutto, Nicola Chiriano - Aprile 2016
misurabileosservabile
«Capacità di far fronte ad un compito, o un insieme di compiti, riuscendo a mettere in moto ed a orchestrare le proprie risorse interne, cognitive, affettive e volitive, e a utilizzare quelle esterne disponibili in modo coerente e fecondo». (Pellerey, 2004)
Agganciamoci alla realtà con il sapere situato
8Maria Brutto, Nicola Chiriano - Aprile 2016
Accountability (rendicontazione trasparente)
Sistema di Accountability
● strumento per raccogliere dati su come opera ciascuna scuola e dare alla stessa scuola e ai “portatori d’interesse” info utili a tenere sotto controllo le differenze
● necessita di 2 elementi (Hanushek, 2002)○ pubblicità dei risultati di apprendimento
delle singole scuole
○ imputazione della responsabilità dei
risultati degli alunni alle scuole, soggette a premialità o sanzioni
Accountability
● Diversi sistemi nel mondo...○ Regno Unito○ Francia○ Stati Uniti
● ...analoga metodologia○ Valutazione alunni○ Valutazione di sistema ○ Autovalutazione scuole
9Maria Brutto, Nicola Chiriano - Aprile 2016
Accountability scuole - Pros & Cons
PRO
● Dovere istituzionale di “render conto” in modo trasparente del proprio operato (apprendimenti degli alunni)
● Informazione oggettiva alle famiglie su quali siano le scuole “migliori” per facilitare la scelta della scuola
● Spingere le scuole, sotto la pressione della concorrenza, a migliorarsi migliorando i risultati dei propri studenti
CONS
● Pubblicazione di risultati grezzi, consentendo ingiuste comparazioni tra istituti con alunni provenienti da ambienti socio-culturali assai diversi
● Uso denigratorio e critico da parte di profani e disinformati
● Difficile misurare il valore aggiunto della scuola, ossia la capacità di incidere in un determinato contesto
● Effetti perversi (Teaching2Test, cheating)
10Maria Brutto, Nicola Chiriano - Aprile 2016
Valutazione ext degli apprendimenti
11Maria Brutto, Nicola Chiriano - Aprile 2016
La letteratura pedagogica dimostra che la padronanza in Let+Mat è fondamentale
nel processo di sviluppo del singolo e della società
Piani d’azione condivisi sul piano internazionale (Lisbona)
Legislazione Nazionale
Obiettivi 2020
● ≥95%Bambini tra i 4 anni e l’età di inizio della scuola primaria che partecipano all’istruzione preelementare
● ≤10%Quota di abbandoni precoci da istruzione e formazione
● ≤15%Quota dei giovani con scarse prestazioni in Lettura, Matematica e Scienze
● ≥40%Quota delle persone tra 30 e 34 anni con un titolo a livello terziario
● ≥15%Media di adulti che partecipa alla formazione permanente
12Maria Brutto, Nicola Chiriano - Aprile 2016
Valutazione ext degli apprendimenti
Indagini internazionali (di sistema)
● offrono dati sulle prestazioni degli studenti comparabili a livello internazionale
● permettono di individuare punti di forza o debolezza del proprio sistema scolastico
● ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano in diversi contesti)
13Maria Brutto, Nicola Chiriano - Aprile 2016
Indagini Nazionali (dal sistema alla scuola)
● accertano i livelli di apprendimento degli studenti italiani in Ita e Mat
● offrono dati comparabili :○ a livello nazionale e regionale ○ a livello di singola scuola e classe
Indagini internazionali: quali
Indagini IEA(iniziativa di ricercatori e pedagogisti)
confronto tra curricoli
● PIRLS(Progress in International Reading Literacy Study)
rilevazione degli apprendimenti in Lettura al 4° anno di scolarità
● TIMSS(Trends in International Mathematics and Science Study)
rilevazione degli apprendimenti inMatematica e Scienze al 4° e 8° anno
Indagini OCSE(iniziativa dei governi gestita da un consorzio)
confronto fra esiti ritenuti essenziali
● PISA(Programme for International Student Assessment)
misurare competenze “di cittadino” dei 15enni scolarizzati (Let, Mat, Scienze)
● ALL(Adult Literacy and Life skills)
rilevazione possesso e distribuzione di competenze fondamentali degli adulti
14Maria Brutto, Nicola Chiriano - Aprile 2016
Indagini internazionali: come
PISA - Paesi aderenti nel 2012
15Maria Brutto, Nicola Chiriano - Aprile 2016
TIMSS - Modello di curricolo
(previsto)--
(realzzato)--
(appreso)--
65 ⇔ 87% economia mondiale
Pirls 2011
16Maria Brutto, Nicola Chiriano - Aprile 2016
Timss 2011
17Maria Brutto, Nicola Chiriano - Aprile 2016
Indagini internazionali: perché
1● Espansione dei sistemi d’istruzione
⇨ esplosione della spesa pubblica● Crisi dell’istruzione ⇨ non più relazione
diretta fra risorse investite (input) e risultati ottenuti (output) ⇨ fallimento politiche basate sull’aumento della spesa
● Modelli burocratici di governo della scuola ⇨ modelli con poteri e competenze decentralizzati
2● Espansione dei sistemi d’istruzione
⇨ esplosione della spesa pubblica● Crisi dell’istruzione ⇨ non più relazione
diretta fra risorse investite (input) e risultati ottenuti (output) ⇨ fallimento politiche basate sull’aumento della spesa
● Modelli burocratici di governo della scuola ⇨ modelli con poteri e competenze decentralizzati
18Maria Brutto, Nicola Chiriano - Aprile 2016
PISA 2012 Risultati in Matematica vs. spesa (10 anni) per studente
19Maria Brutto, Nicola Chiriano - Aprile 2016
Italia e Singapore: stessa spesa (85000 $)
ma punteggi molto differenti (485 vs 573)
Spesa per l’istruzione (paesi Ocse): spiega <20% le diversità di rendimento
tra studenti, la differenza sta nel come le risorse vengono investite
PISA 2012 vs. 2003 Cambio nei risultati in Matematica vs. cambio nella spesa (9 anni) per studente
20Maria Brutto, Nicola Chiriano - Aprile 2016
Italia e Singapore: stessa spesa (85000 $)
ma punteggi molto differenti (485 vs 573)
k$ equivalenti
Indagini internazionali: perché
1● Espansione dei sistemi d’istruzione
⇨ esplosione della spesa pubblica
● Crisi dell’istruzione ⇨ non più relazione diretta fra risorse investite (input) e risultati ottenuti (output) ⇨ fallimento politiche basate sull’aumento della spesa
● Modelli burocratici di governo della scuola ⇨ modelli con poteri e competenze decentralizzati
2● Massificazione istruzione ⇨ voti scolastici
e titoli di studio non più confrontabili
● Voti degli insegnanti non comparabili ⇨ trasparenza sul valore di titoli certificati
● Apertura dei confini ⇨ favorire la mobilità della forza lavoro⇨ riconoscimento di titoli equivalenti nel mercato comune
21Maria Brutto, Nicola Chiriano - Aprile 2016
PISA 2003 Matematica
Voti scolastici vs risultati
22Maria Brutto, Nicola Chiriano - Aprile 2016
PISA 2009 Lettura
Voti scolastici vs risultati
23Maria Brutto, Nicola Chiriano - Aprile 2016
Differenze e analogie
Nei diversi paesi i “policymakers” operano in contesti politici e culturali diversi:
● Singapore ha risultati ottimi nel TIMSS, anche se spende meno di tutti gli altri paesi nell’educazione primaria
● la Finlandia comincia la scuola a 7 anni e gli studenti frequentano solo per 4-5 ore al giorno i primi 2 anni
Tutti i migliori sistemi scolastici:1. Scelgono le persone giuste per diventare
insegnanti2. Le fanno progredire queste persone
affinché diventino insegnanti efficaci3. Mettono in atto sistemi e supporti mirati
per assicurare che ogni allievo possa beneficiare di un’istruzione eccellente
24Maria Brutto, Nicola Chiriano - Aprile 2016
2. Literacy e Quadri di Riferimento
25Maria Brutto, Nicola Chiriano - Aprile 2016
Indagini internazionali: cosa
26Maria Brutto, Nicola Chiriano - Aprile 2016
● Obiettivo principale - Consentire uno studio dei sistemi di istruzione in termini di prestazioni degli studenti, misurati secondo un quadro di riferimento comune a livello internazionale contenente:
○ Definizione di literacy intesa come padronanza○ Oggetti delle rilevazioni○ Costrutti e variabili utilizzati per la costruzione dei questionari○ Dimensioni e processi da valutare○ Tipi di testi e formulazione dei quesiti nelle prove per i vari livelli di scuola○ Esempi di quesiti
PISA 2012
Reading Literacy« La capacità di comprendere e utilizzare testi scritti, riflettere su di essi e impegnarsi nella loro lettura al fine di raggiungere i propri obiettivi, di sviluppare le proprie conoscenze e le proprie potenzialità e di essere parte attiva della società »
Mathematical Literacy« La capacità di un individuo di utilizzare e interpretare la matematica e di darne rappresentazione mediante formule, in una varietà di contesti. Tale competenza comprende la capacità di ragionare in modo matematico e di utilizzare concetti, procedure, dati e strumenti di carattere matematico per descrivere, spiegare e prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo che la matematica gioca nel mondo, a operare valutazioni e a prendere decisioni fondate che consentano loro di essere cittadini impegnati, riflessivi e con un ruolo costruttivo »
27Maria Brutto, Nicola Chiriano - Aprile 2016
PISA 2009 Lettura
Elementi principali del framework
28Maria Brutto, Nicola Chiriano - Aprile 2016
TestiGenere di testo
da leggere
MediumSotto quale forma si
presenta il testo?
• Forma cartacea
• Forma digitale
AmbienteIl lettore può
intervenire sul testo?
• Testo di tipo autoriale - il lettore ha un ruolo puramente ricettivo
• Testo sotto forma di messaggio - il lettore può apportare modifiche
Formato testoIn che modo viene presentato il testo?
• Testi continui - costituiti da frasi raggruppate in paragrafi• Testi non continui - elenchi o schemi simili a questo box• Testi misti - commistione di due tipi precedenti• Testi multipli - collazione di testi provenienti da fonti diverse
Tipo di testoQual è la struttura retorica del testo?
• Testo descrittivo - risponde a domande del tipo: “che cosa?”• Testo narrativo - risponde a domande del tipo: “quando?”• Testo informativo - risponde a domande del tipo: “come?”• Testo argomentativo - risponde a domande del tipo: “perché?”• Istruzioni // • Transazioni (scambi di informazioni)
Aspetti (processi)Approccio e obiettivo
del lettore
• Accedere alle informazioni presenti in un testo e individuarle• Integrare e interpretare ciò che si legge• Riflettere e valutare ponendo un distacco fra sé e il testo e mettendolo in relazione con la propria esperienza personale
SituazioniUso previsto dall’autore
• Personale - per soddisfare un interesse personale• Pubblica - che ha a che fare con questioni più ampie che riguardano la società • Educativa - utilizzata nell’istruzione• Lavorativa - che ha a che fare con il mondo del lavoro
Matematica
29Maria Brutto, Nicola Chiriano - Aprile 2016
PISA
30Maria Brutto, Nicola Chiriano - Aprile 2016
Quadri di Riferimento - Matematica
TIMSS3 PROCESSI• Formulare• Utilizzare• Interpretare
4 CONTESTI• Personale• Occupazionale• Pubblico• Scientifico
4 AREE DI CONTENUTO• Quantità• Spazio e forma• Cambiamento e relazioni• Incertezza e dati
6 LIVELLI di Competenza
3 DOMINI COGNITIVI• Conoscenza• Applicazione• Ragionamento
4 DOMINI DI CONTENUTO• Numero• Geometria• Algebra• Dati e probabilità
4 LIVELLI di Rendimento• Avanzato• Alto• Intermedio• Basso
SNV4 AMBITI DI CONTENUTO• Numeri• Spazio e figure• Relazioni e funzioni• Dati e previsioni
3 DIMENSIONI (Trag IN)• Conoscere• Risolvere problemi• Argomentare
6 Livelli di competenza
31Maria Brutto, Nicola Chiriano - Aprile 2016
Dati in generale
32Maria Brutto, Nicola Chiriano - Aprile 2016
Dati in dettaglio(LET)
33Maria Brutto, Nicola Chiriano - Aprile 2016
Dati in dettaglio(MAT)
34Maria Brutto, Nicola Chiriano - Aprile 2016
Analisi di una prova - PISA
Lettura consapevole
● Quadro di Riferimento
● Criteri di costruzione delle prove
● Livelli di competenza testati
● Analisi delle risposte esatte
● Ricostruzione degli aspetti valutati
Riflessione indotta
● Riconoscimento degli aspetti della comprensione valutati
● Individuazione del livello di difficoltà sulla scala di competenza
● Ipotesi sulle possibili difficoltà degli studenti
● Individuazione di attività d’aula funzionali allo sviluppo delle competenze valutate
35Maria Brutto, Nicola Chiriano - Aprile 2016
Esemplificazione di proveDomanda
36Maria Brutto, Nicola Chiriano - Aprile 2016
37Maria Brutto, Nicola Chiriano - Aprile 2016
38Maria Brutto, Nicola Chiriano - Aprile 2016
Riferimenti normativi delle prove SNV
Dagli Obiettivi Specifici di apprendimento (cfr D. Lvo 59, 2004 – art. 8 – Certificazione delle competenze)
alle Indicazioni Nazionali per il curricolo, 2012Ispirate alle Ricerche internazionali (ultime IEA PIRLS 2011, OCSE-PISA 2012).
Cfr. Circolare ministeriale 13 Febbraio 2015 – Modello Nazionale dal 2016-2017
39Maria Brutto, Nicola Chiriano - Aprile 2016
Indicazioni Nazionali per il Curricolo (DM 254/2012)
● Sostituiscono le Indicazioni Nazionali 2004 e le Indicazioni per il curricolo 2007
● Testo di riferimento per le scuole, i nuovi “programmi ministeriali” in autonomia
● Forniscono obiettivi di apprendimento e competenze degli studenti
● Indicano alcune necessità per garantire a tutti i ragazzi delle solide conoscenze e competenze iniziali
○ Dialogo tra discipline: insegnare a ricomporre i grandi oggetti della conoscenza in prospettiva complessa
○ Essenzialità: ricerca dei nuclei fondanti delle discipline
○ Priorità: maggiore attenzione per una solida
acquisizione delle conoscenze e competenze di base,
fondamentali per lo sviluppo successivo del sapere e per l’esercizio della cittadinanza
○ Traguardi: sistema di verifiche periodiche e
sistematiche degli apprendimenti; attenzione per le
diversità individuali e valorizzazione dei momenti di
passaggio
40Maria Brutto, Nicola Chiriano - Aprile 2016
41Maria Brutto, Nicola Chiriano - Aprile 2016
Ogni domanda è collegata a:
Ambiti ● Interazione verbale● Lettura● Scrittura
Ambiti● Lettura● Grammatica● Lessico
Obiettivi (risultati) di apprendimento
Traguardi per lo sviluppo delle competenze afferenti alla padronanza linguistica
Processi
Dimensioni (macro-competenze)● Testuale:
Individuare informazioni Interpretare Riflettere e valutare
● Grammaticale ● Semantico-lessicale
Indicazioni Nazionali e prove INVALSI
Italiano
Ambiti grammaticali
42Maria Brutto, Nicola Chiriano - Aprile 2016
43Maria Brutto, Nicola Chiriano - Aprile 2016
Ogni domanda è collegata a:
Contenuti● Numeri● Spazio e Figure● Relazioni e Funzioni● Dati e Previsioni
Ambiti● Numeri● Spazio e Figure● Relazioni e Funzioni● Dati e Previsioni
Obiettivi (risultati) di apprendimento
Traguardi per lo sviluppo delle competenze
Processi
Dimensioni (macro-competenze)● Conoscere● Risolvere problemi● Argomentare
Indicazioni Nazionali e prove INVALSI
Matematica
44Maria Brutto, Nicola Chiriano - Aprile 2016
Tavola dalla Guida alla Lettura per L08
Matematica
3. SNV come strumento di misurazione
45Maria Brutto, Nicola Chiriano - Aprile 2016
Misure oggettive per riflessioni soggettive
La misurazionenon è
un giudizioma è
una informazione per migliorare
46Maria Brutto, Nicola Chiriano - Aprile 2016
Servizio Nazionale di Valutazione: il mandato
Art. 1 c. 5 - Legge 25 ottobre 2007, n. 176 « Dall’a.s. 2007/08 il Ministro della Pubblica Istruzione fissa con direttiva annuale gli obiettivi della valutazione esterna condotta dal Servizio Nazionale di Valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima* e terza classe della scuola secondaria di I grado e alla seconda e alla quinta classe del secondo ciclo. »
47Maria Brutto, Nicola Chiriano - Aprile 2016
*Eliminata per le ragioni esposte nella lettera dell’ex Presidente Sestito, del 18 novembre 2013
Rilevazioni INVALSI: proprietà
● Le prove INVALSI hanno lo scopo di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della Lettura e la Matematica
● Come già detto, è dimostrato che la conoscenza in queste due discipline ha un ruolo fondamentale nell’avanzamento individuale e dell’intera società
● I due ambiti oggetto di misurazione delle prove INVALSI non esauriscono di certo i saperi e le competenze prodotte dalla scuola
48Maria Brutto, Nicola Chiriano - Aprile 2016
Ambito di misurazione della padronanza linguistica
Le prove INVALSI, anche per motivi di tipo tecnico-organizzativo (elevato numero di studenti,difficoltà di correzione uniforme ecc.), sono circoscritte alla valutazione della competenza di lettura, intesa come comprensione, interpretazione, riflessione e valutazione del testo scritto, avente a oggetto un’ampia gamma di testi letterari e non letterari, e delle conoscenze e competenze grammaticali, il cui apprendimento è previsto nelleindicazioni curricolari dei vari gradi di scuola. Tali competenze svolgono un ruolo importante nei curricoli di italiano della scuola primaria e di quella secondaria di I e II grado.
49Maria Brutto, Nicola Chiriano - Aprile 2016
Rilevazioni INVALSI: finalità
Per INVALSI la finalità ultima della misurazione degli apprendimenti è fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro
Indicazioni molto precise su natura e finalità del processo di rilevazione
50Maria Brutto, Nicola Chiriano - Aprile 2016
1a implicazione: restituzione dei risultati
● I dati appartengono esclusivamente alla singola scuola, a cui sono restituiti nel modo più disaggregato possibile (distribuzione risposte per domanda)
● È la scuola che potrà individuare all’interno delle DUE discipline le aree di eccellenza e quelle problematiche, che necessitano di particolare cura
● La pubblicazione di analisi sarà effettuata da INVALSI solo su dati aggregati, in modo da garantire l’anonimato degli allievi e delle singole scuole
51Maria Brutto, Nicola Chiriano - Aprile 2016
2a implicazione: comparabilità dei risultati
● INVALSI provvederà a restituire alle scuole i risultati:○ in forma grezza
○ opportunamente depurati dai dati di contesto e da tutti gli elementi estranei all’attività della scuola, che possono influenzare il profitto degli alunni
● INVALSI raccoglie informazioni su tali fattori esterni da fonti amministrative, per ridurre il lavoro a carico delle scuole
● Solo in assenza di fonti è richiesta la collaborazione delle scuole stesse, fondamentale per i dati riguardanti le condizioni socio-economiche e culturali delle famiglie degli studenti e i processi attivati nella scuola
52Maria Brutto, Nicola Chiriano - Aprile 2016
3a implicazione: attendibilità dei risultati
● Utilità per la singola scuola = possibilità di confronto con altri istituti, al netto delle differenze di contesto e altri fattori esterni
● Fondamentale ritenere credibili e affidabili i dati complessivi con cui confrontare i propri
● Come per le indagini internazionali, è previsto un controllo di qualità sulle procedure di somministrazione (osservatori in un campione di scuole)
53Maria Brutto, Nicola Chiriano - Aprile 2016
4a implicazione: lettura dei risultati
La lettura dei dati restituiti da INVALSI può essere fatta da tre punti di osservazione tra loro complementari ma distinti:
1. Responsabili del sistema educativo (decisori politici, amministratori e autorità scolastiche ai vari livelli)
2. Dirigenti Scolastici e Organi Collegiali e d’indirizzo della scuola 3. Insegnanti, nella loro attività in classe
54Maria Brutto, Nicola Chiriano - Aprile 2016
La qualità delle prove: coerenza
55Maria Brutto, Nicola Chiriano - Aprile 2016
α = coefficiente che sintetizza l'attendibilità di un test = la capacità di tutti gli item di misurare la competenza
α = 0,60livello appena accettabile di coerenza interna e di adeguatezza di costrutto del test
La qualità delle prove: discriminazione
Correlazione punto-biseriale = correlazione di Pearson tra l’item e il punteggio totale al test Misura il legame tra ogni singola domanda e le risposte che danno i più bravi
Soglia = 0.20
56Maria Brutto, Nicola Chiriano - Aprile 2016
Liv.
# e % domande 2010 con coefficiente di correlazione punto-biseriale < 0.20 (soglia)
Italiano Matematica
L020
(0%)1
(3,6%)
L051
(1,5%)0, (0%)
L06 6
(10,5%)3
(7,1%)
L08 3
(4,5 %)3
(7,5%)
La qualità delle prove: difficoltà
Nel grafico esemplificativo:
● Le prove di ITA sono relativamente più facili
● Le prove di MAT sono più difficili.
● In 1ª media il 60% di quesiti risulta difficile.
57Maria Brutto, Nicola Chiriano - Aprile 2016
4. La storia di una prova
58Maria Brutto, Nicola Chiriano - Aprile 2016
Leggende metropolitane
Le prove INVALSI sarebbero tutto ciò:
● quiz a crocette● ideate da gente che non appartiene alla scuola● capestri per valutare il singolo docente● disallineate rispetto ai programmi svolti● valutazioni meramente quantitative● strumento di competizione tra scuole
59Maria Brutto, Nicola Chiriano - Aprile 2016
Come si organizza una rilevazione
60Maria Brutto, Nicola Chiriano - Aprile 2016
Come si organizza una rilevazione (1)
Formulazione dei quesiti
● #Autori: 200 docenti o esperti provenienti dal mondo della scuola e dell’università
● #Quesiti: 3 o 4 volte superiore a quelli presenti nella prova somministrata
● #A e #Q sono “ridondanti” al fine di: ○ disporre da un anno all’altro di un’ampia
varietà di formulazione e contenuti ○ non indurre fenomeni di addestramento
alle prove (TeachingToTest)
Messa a punto prove (ricercatori, esperti)
● Prima valutazione qualitativa ○ rispondenza al QdR○ rispondenza al livello scolastico ○ composizione del fascicolo pre-test
Pre-test:
● Campione casuale (~5000 studenti) di classi, con rappresentatività nazionale
61Maria Brutto, Nicola Chiriano - Aprile 2016
Come si organizza una rilevazione (2)
Analisi risultati pre-test
● Calibrazione delle domande● Capacità misuratoria di ogni domanda:
analisi mediante modelli statistici per stabilire la coerenza di ciascuna opzione di risposta rispetto a:○ costrutto oggetto di valutazione○ livello di abilità/competenza del rispondente○ difficoltà specifica della domanda stessa
Messa a punto dei fascicoli
Composti in base a:
● tempi di compilazione● livello complessivo di difficoltà● equilibrio degli ambiti e dei processi
62Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(1)Versione Pre-test
L08 2013Matematica
Item D24
63Maria Brutto, Nicola Chiriano - Aprile 2016
esatta
Storia di una prova
(2)Analisi IRT in sede di pre-test
L08 2013Matematica
Item D24
64Maria Brutto, Nicola Chiriano - Aprile 2016
Alternative
di rispostaPunteggio
Frequenze assolute
e percentuali
N. rispondenti
Correlazione tra la probabilità di
scegliere una data opzione e l’abilità
complessiva del rispondente
MeaN SQuare
fit (1±0.2)
Livello medio di prestazione
dei rispondenti che scelgono
una determinata opzione
Significatività
della Correlazione
Punto-Biseriale
Soglia (±3) min e ∆
di difficoltà/abilità
Indice (≥0,25) di
discriminazione
Storia di una prova
(3)Curva caratteristica dell’item
L08 2013Matematica
Item D24
65Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(4)Versione definitiva (al test)
L08 2013Matematica
Item D24
66Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(5)Analisi IRT vers. test
L08 2013Matematica
Item D24
67Maria Brutto, Nicola Chiriano - Aprile 2016
Curva caratteristica
Domanda che NON funziona Domanda che funziona
68Maria Brutto, Nicola Chiriano - Aprile 2016
Curva caratteristica + Analisi IRT
Domanda (molto)difficile
Soglia molto alta e probabilità di
dare una risposta corretta prossima
allo zero per 4 livelli di abilità su 5.
69Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(1)Versione Pre-test
L05 2012ItalianoItem A9
70Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(2)Curva item
L05 2012ItalianoItem A9
71Maria Brutto, Nicola Chiriano - Aprile 2016
Storia di una prova
(3)Versione finale (test)
L05 2012ItalianoItem A9
72Maria Brutto, Nicola Chiriano - Aprile 2016
0.181.22
66..
26
5. Suggerimenti e proposte operativein vista del seminario di ritorno
73Maria Brutto, Nicola Chiriano - Aprile 2016
Suggerimenti
Dalla lettura al Report
● Come correggere i fascicoli● Lavorare per Dipartimenti (AMBITI)● Come utilizzare i dati di scuola/classe● Ragionare di INVALSI preferibilmente con
Prove INVALSI ● Conoscere GestInv, archivio di prove con
filtri di ricerca● Utilizzare i fascicoli compilati, non vuoti● Analizzare gli errori dei propri allievi
● Dare importanza ai processi● Circoscrivere l’ambito di apprendimento
a singoli obiettivi● Potenziare la didattica sulle aree di
criticità● Considerare l’errore (o la misconcezione
del docente) quale ipotesi di soluzione● Procedere per apprendimenti ad
approfondimento progressivo● Promuovere lo sviluppo di competenze● Sviluppare spazi di didattica riflessiva
74Maria Brutto, Nicola Chiriano - Aprile 2016
Idee chiave
75Maria Brutto, Nicola Chiriano - Aprile 2016
Valutareconoscere la situazioneMigliorare
Prove INVALSI
usata per migliorareDidattica in classe usate per migliorare
Didattica riflessiva e orientata al miglioramento
76Maria Brutto, Nicola Chiriano - Aprile 2016
Prove INVALSI
(metodi e risultati)
insegnamento per competenzedidattica laboratoriale
attività di problem solvingargomentazione
apprendimento cooperativoriduzione lezione frontale
più significati meno procedurefocalizzarsi sui processiDidattica
in classe(metodi e strategie) interventi sui processi di apprendimento
consapevolezza delle caratteristiche del nostro insegnamento
raggiungimento nostri obiettivi formativi
Prova standardizzata vs. Verifica di classe
Prova esterna
● accerta a livello nazionale i livelli di apprendimento● non si costuisce con i criteri di una verifiche in classe● deve poter misurare i risultati entro una scala molto
lunga di livelli di competenza● tra livelli scolastici = può aiutare a superare ostacoli
che gli studenti incontrano nei passaggi in verticale● strumento in più per arrivare ad una valutazione
complessiva dell’allievo● valuta (misura) molti aspetti dell’apprendimento● standardizzata = strumento per abbattere pre-giudizi
e valutare abilità e conoscenze in modo più oggettivo e terzo
77Maria Brutto, Nicola Chiriano - Aprile 2016
Prova interna
● Non sarà MAI obiettiva
● Quando un insegnante la prepara, si pone all'interno di un contratto didattico
● Esiste un lessico familiare d’aula in base a cui i ragazzi interpretano le domande
● Ogni insegnante legge (e decodifica) gli elaborati degli allievi alla luce sia delle caratteristiche personali di ognuno, sia delle precedenti prestazioni
Contratto Didattico
Domanda
● Un pastore ha 20 pecore, 7 capre e 2 cani. Quanti anni ha il pastore?
Risposte (3ª elementare, 14 alunni)
● 29 anni (12 su 14)● Non ci sono dati sufficienti● Se il pastore ha due cani per così
poche bestie, uno dei due cani forse gli serve perché è non vedente. Quindi potrà avere 70-76 anni.
78Maria Brutto, Nicola Chiriano - Aprile 2016
Prove
79Maria Brutto, Nicola Chiriano - Aprile 2016
Quadri di Riferimento
Guida alla Lettura
RisultatiCerchio virtuoso
GestInv.it
80Maria Brutto, Nicola Chiriano - Aprile 2016
Komedia
Tutorial INVALSI
81Maria Brutto, Nicola Chiriano - Aprile 2016
Lettura dei dati restituiti alle scuole
● Cheating (statisticamente rilevante se ≥10)
● Variabilità tra le classi (inficia l’equità degli esiti)
● Allineamento valutazione interna ed esterna (rafforza i criteri adottati)
● Criticità item per item (evidenzia l’area di debolezza su cui intervenire)
82Maria Brutto, Nicola Chiriano - Aprile 2016
Elementi rilevanti
Cheating
83Maria Brutto, Nicola Chiriano - Aprile 2016
69,4
Variabilità tra le classi
84Maria Brutto, Nicola Chiriano - Aprile 2016
85Maria Brutto, Nicola Chiriano - Aprile 2016
Allineamento valutazioni
Grafico item per item
86Maria Brutto, Nicola Chiriano - Aprile 2016
Account e-mail
Cartella Drive (condivisa)
http://goo.gl/paih6B
Format delle proposte operative
1. Report di scuola su autovalutazione risultati
2. Analisi di un quesito critico
3. Costruzione di un quesito da modello
4. Analisi su fascicolo di classe
5. Attività didattica di rinforzo
6. Somministrazione di una prova
87Maria Brutto, Nicola Chiriano - Aprile 2016
Cloud con i materiali di approfondimento
Grazie per l’attenzione
88Maria Brutto, Nicola Chiriano - Aprile 2016
[email protected]@istruzione.it
Si ringrazia Stefania Pozio per la gentile concessione al riuitilizzo dei suoi materiali