Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning 602.966 ES...

Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based

Learning 602.966 ES Forschungsmethodik III

O. Univ.-Prof. Dr. Dietrich Albert20.01.2009

Gruppe 6Neururer Cornelia [email protected] Georg [email protected] Prietl Verena [email protected]

FM3 Abschlussreferat 2

Inhalt

Theoretischer Hintergrund Ableitung der Fragestellung und Hypothese Methode Ergebnisse Diskussion Verständnisfragen Literatur


Game Based Learning

Definition

„Die Anwendung bildschirm-, computer- oder

internetbasierten Spielen zu Lehr- und

Lernzwecken“ (e-teaching, 2008)

Kennzeichen „guter Computerspiele“ Probleme sind vorstrukturiert Abgestufte Levels

(Schwan, 2006)


Wissensraumtheorie

Strukturierung eines Wissensbereiches durch

Voraussetzungsbeziehungen

Von Jean-Paul Doignon & Jean-Claude Falmagne

1985 entwickelt Adaptive Wissensdiagnose

Ökonomische Testung

(Hockemeyer, 2002)


Wissensraumtheorie

Wissensbereich (Knowledge Domain)

Endliche, nichtleere Menge Q von Aufgaben Aufgaben können gelöst oder nicht gelöst werden

(dichotom)

(Falmagne et al., 1990)


Wissensraumtheorie

Prerequisite Relation

Annahme von Abhängigkeiten zwischen Aufgaben eines Wissensbereiches Q Prerequisite Relations

Innerhalb der Menge Q als binäre Relation ≤ a ≤ b… Lösung der Aufgabe b beinhaltet die Lösung der

Aufgabe a reflexiv, transitiv Quasiordnung antisymmetrisch Partialordnung



Wissensraumtheorie Beispiel: Q = {a, b, c, d, e}

a) 378 x 605 = ?b) 58.7 x 0.94 = ?c) 1/2 x 5/6 = ?d) What is 30% of 34?e) Gwendolyn is 3/4 as old as Rebecca.

Rebecca is 2/5 as old as Edwin. Edwin is 20 years old. How old is Gwendolyn?



Wissensraumtheorie

Wissenszustand (Knowledge State) Teilmenge K von Aufgaben aus Q, die gelöst

werden können 2n mögliche Wissenszustände {a, b, c} Q möglicher Wissenszustand {b, c, d} Q kein möglicher Wissenszustand



Wissensraumtheorie

Wissensstruktur (Knowledge Structure) Sammlung K von Wissenszuständen innerhalb Q

Wissensstruktur K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e},

{a, b, c, d}, Q} Eigenschaften: abgeschlossen bezüglich Mengenvereinigung

und Mengendurchschnitt K, K’ einer Wissensstruktur K K’ und K K’

Wissenszustände der Wissensstruktur



Wissensraumtheorie

Methoden zur Erfassung von Wissensstrukturen

Analyse erhobener Daten Analyse von Curricula und Didaktik Analyse von Anforderungen Analyse Kompetenz und Performanz ExpertInnenbefragung

(Albert & Kaluscha, 1997)


Wissensraumtheorie

Überprüfung der Validität einer Wissensstruktur

Correlation Agreement Coefficient (CA) Distance Agreement Coefficient (DA) Diskrepanz Index (DI) Analyse von Lösungshäufigkeiten


Wissensraumtheorie

Correlation Agreement Coefficient (CA)

Überprüfung, welche der „konkurrierenden“ Strukturen mehr mit den empirischen Daten übereinstimmt

Vergleich der beobachteten Korrelationen zwischen den Aufgaben mit den erwarteten Korrelationen

Je höher der Wert, desto besser die Struktur und desto besser passt die Struktur zu den Daten

(Van Leeuwe,1974; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)


Wissensraumtheorie

Distance Agreement Coefficient (DA) Vergleich der empirisch erhaltenen Antwortmustern mit den

Zuständen des Wissensraums Gesucht wird die „minimale symmetrische Distanz“ dmax = Q/ 2 Q…Anzahl der Aufgaben

(Schrepp,1999; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)

Diskrepanz Index durchschnittliche symmetrische Distanzen Je geringer mittlere Distanz, desto mehr Übereinstimmung

(Kambouri et al., 1994; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)


Wissensraumtheorie

Analyse der Lösungshäufigkeiten (relativ und absolut)

Codierung: 1 = Aufgabe gelöst

0 = Aufgabe nicht gelöst

Aufgabennummer 1 2 3 4 5 ……..

Relative Häufigkeit ? ? ? ? ? ?

Absolute Häufigkeit ?% ?% ?% ?% ?% ?%

(Schrepp,2001; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)


Wissensraumtheorie

Studie: „An empirical Test of a Process Model for Letter Series Completion Problems“ (Martin Schrepp,1999)

Verbindung zwischen den Annahmen der Wissensraumtheorie und dem Prozessmodell, welches dem Lösen/Fortsetzen von Buchstabenreihenfolgen (LCS- Problemen), zugrunde liegt

Empirische Überprüfung möglich, indem man Wissensstruktur erstellt und mit Antwortmuster vergleicht


Wissensraumtheorie

20 Buchstabenreihenfolgen Erstellung einer Surmise Relation

mit aufsteigendem Schwierigkeitsgradaufgrund der Annahmen des Prozess-modells

Versuchspersonen: 51 (25 Frauen, 26 Männer)

Aufgabe:- Fortsetzen der Buchstabenabfolge um 3 weitere Buchstaben


Wissensraumtheorie

Ergebnisse: Durchschnittliche Lösungshäufigkeit: 81% Berechnung der symmetrischen Distanzen

dmax= 10 Durchschnittliche Distanz: 0,92

Ergebnisse zeigen, dass die aus dem Prozessmodell hergeleitete Surmise Relation fähig ist die Schwierigkeit von Buchstabenreihenfolgen ausreichend vorherzusagen.


Ableitung der Fragestellung

Kennzeichen „guter Computerspiele“ (Schwan, 2006)

Probleme sind vorstrukturiert abgestufte Levels

Wissensraumtheorie Hierarchische Strukturierung eines Wissensbereiches


Empirische Überprüfung von Wissensstrukturen (http://css.uni-graz.at/projects/CbKSTCourse/release/)


Fragestellung

Gibt es einen Unterschied bezüglich der Lernleistung zwischen Personen, die nach der vorgegebenen Reihenfolge der Levels von spielbasierten Lernprogrammen lernen und Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen?


Forschungshypothesen

Ho: Personen, die nach der vorgegebenen Reihenfolge der Levels eines

spielbasierten Lernprogramms lernen, zeigen keine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.


Forschungshypothesen

H1: Personen, die nach der vorgegebenen Reihenfolge der Levels eines

spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.


Methode

FM3 Abschlussreferat 23FM3 Planungsreferat 23

Stichprobe

Rekrutierung- Bekanntenkreis, PsychologiestudentInnen

Umfang 24 Personen: 12 Frauen und 12 Männer

Art der Stichprobe Maturaniveau zwischen 18 und 40 Jahren (M=25,58; SD=3,17)

Untersuchungsort PC-Raum, am Institut für Psychologie, KFU Graz

Entlohnung Versuchsschein


Material

Testheft Demographische Daten und Screening Instruktion Strukturiertes Interview Wissenstest


MaterialTestheft

Screening

Wie gut kennen Sie die Namen der Regionen (und deren

Hauptstädte) Mexikos?

Gar nicht kaum mittelmäßig ziemlich Außerordentlich gut


MaterialTestheft

Wissenstest

Acht Fragen in Papier-Bleistift-Form aus dem Lernprogramm Sheppard

Hierarchische Struktur der Fragen Level 1: Fünf Fragen Level 2 bis 4: Jeweils eine Frage


MaterialTestheft

Strukturiertes Interview

„Wie ist es Ihnen ergangen?“ „Hat Ihnen das Lernspiel Spaß gemacht?“ „Wie schätzen Sie die Schwierigkeit der

Aufgaben ein?“ „Wäre eine andere Reihenfolge der Aufgaben

leichter gewesen? Wenn ja, welche?“


Material Apparatur

10 PCs (Pentium 4, 160 GB HD; 1 GB RAM) Windows Xp 17 Zoll TFT- Bildschirme (1280 x 1024 Pixel) Internetzugang (Mozilla Firefox)


Material Software

„Sheppard Software“ verschiedene

Online- Lern- Spiele

Themen: Chemie, Mathematik…

Geographie Mexiko (Hauptstädte)

(http://www.sheppardsoftware.com/)


MaterialSoftware

Tutorial:

Aufgabe des/der SpielerIn ist es die Länder auf der Karte anzuklicken

Der/die SpielerIn erfährt den Namen der Hauptstadt und weitere Informationen zum zugehörigen Land

(http://www.sheppardsoftware.com)


MaterialSoftware

Nach dem Tutorial folgen verschiedene Levels, die nach aufsteigender Schwierigkeit geordnet sind Beginner: „Find and Click by Region“ Intermediate: „Find the correct capital for the country“ Expert: „Find the correct country for the capital“ Cartographer: „Type the first three letters of the name of the

country's capital

(http://www.sheppardsoftware.com/)


Untersuchungsplan

UV: Darbietung der Levels Vorgegebene Reihenfolge der Levels Zufällig gewählte Reihenfolge der Levels

AV: Antwortmuster SV: Vorwissen (Ausschluss)


Untersuchungsplan Vorgegebene Reihenfolge der Levels

Tutorial Beginner Intermediate Expert Cartographer

Zufällig gewählte Reihenfolge der Levels Tutorial Expert Intermediate Cartographer Beginner


Auswertungsmethoden

ePsyt

ePsyt- electronic Psychology tools Online verfügbar Institut für Psychologie Arbeitsbereich

Allgemeine Psychologie Knowledge Space Theory: Punkt „Software“ – „ePsyt“

Auf Grundlage der Wissensraumtheorie entwickelt

(http://wundt.uni-graz.at/epsyt/epsyt/index.php)


Auswertungsmethoden

ePsyt

Tools für Konstruktion eines Wissensraumes (Constr) Berechnen der symmetrischen Distanzen

(distance) Berechnen des Correlation Agreement Coefficient u.a

(http://wundt.uni-graz.at/epsyt/epsyt/index.php)


Untersuchungsablauf

Gruppe-

srukturiert

Begrüßung DatenblattScreening

Instruktion

strukt.

Spiel

Strukturiertes Interview

Wissenstest Verabsch.

Gruppe-

unstrukturiet Instruktion

unstrukt.

ca. 5 min ca. 5 min 20 min*

ca. 5 min 10 min

* Tutorial: 5 min.

Bearbeitung der Levels: 15 minDauer gesamt: ca. 45 min


Ergebnisse


ErgebnisseLösungshäufigkeiten

Lösungshäufigkeiten strukturiert

n=12

Aufgabe 1 2 3 4 5 6 7 8 Ges.

Absolute Häufigkeit 4 7 2 7 5 0 4 1 30

Relative Häufigkeit 33,3 58,3 16,7 58,3 41,7 0 33,3 8,3 31,3



Lösungshäufigkeiten unstrukturiert

n=12

Aufgabe 1 2 3 4 5 6 7 8 Ges.

Absolute Häufigkeit 6 11 0 10 6 2 6 0 41

Relative Häufigkeit 50,0 91,7 0 83,3 50,0 16,7 50,0 0 42,7



Strukturiert vs. Unstrukturiert


ErgebnisseBasis

Erstellen der Basis des Wissensraums

Basiszustände:

(a), (b), (c), (d), (e), (a,b,c,d,e,f), (a,b,c,d,e,f,g), (a,b,c,d,e,f,g,h)


ErgebnisseBasis

Basis des Wissensraums

8 Anzahl der Aufgaben8 Anzahl der Basiszustände

1000000001000000001000000001000000001000111111001111111011111111


ErgebnisseWissensraum

Erstellung des Wissensraums mittels des ePsyt-Tools „constr“ aufgrund der Basis

Es ergeben sich 35 mögliche Wissenszustände

Vergleich der Antwortmuster der Vpn mit den Zuständen des Wissensraums!

Anwendung des Tools „distance“


ErgebnisseDiskrepanzindex- strukturiert

Distanz Häufigkeit

0 6

1 6

Durchschnittliche Distanz: 0,5

Standardabweichung: 0,5


ErgebnisseDiskrepanzindex- unstrukturiert

Distanz Häufigkeit

0 5

1 6

2 1

Durchschnittliche Distanz: 0,6667

Standardabweichung: 0,6236


ErgebnisseSimulation

Vergleich der Antwortmuster mit gesamten Wissensraum (28 mögliche Wissenszustände)

Strukturiert: Distanz = 1,417

SD = 1,255

Unstrukturiert: Distanz = 2,417

SD = 1,32


ErgebnisseSimulation

Vergleich der Antwortmuster mit einem zufällig konstruierten Wissensraum

Strukturiert: Distanz = 1,417

SD = 0,493

Unstrukturiert: Distanz = 1,5

SD = 0,5


ErgebnisseReproduzierbarkeitskoeffizient

Reproduzierbarkeitskoeffizient nach Guttman

Gibt den Prozentsatz der Daten an, der durch das Modell erklärt werden kann

Rep = 1 - [d / (a * n)] d… Anzahl der Fehler

a… Anzahl der Items

n… Anzahl der VPn/Gruppe

≥ 0,9 modellkonform Bortz & Döring (2003)


ErgebnisseReproduzierbarkeitskoeffizient

Strukturiert:

1-[6/(8*12)] = 0,9375

Unstrukturiert:

1-[8/(8*12)] = 0,9167


ErgebnisseStrukturiertes Interview

Wie ist es Ihnen ergangen?

Hat Ihnen das Lernspiel Spaß gemacht?

Strukturiert Unstrukturiert

gut mittel schlecht gut mittel schlecht

25% 33.3% 41.7% 25% 58.3% 16.7%


ja mittel nein ja mittel nein

66.7% 16.7% 16.7% 66.7% 16.7% 16,7%


ErgebnisseStrukturiertes Interview

Wie schätzen Sie die Schwierigkeit ein?

Wäre eine andere Reihenfolge leichter gewesen?


leicht mittel schwer leicht mittel schwer

8.3% 33.3% 58.3% 0% 33.3% 66.7%


ja nein ja nein

8.3% 91.7% 83.3% 16.7%


Diskussion


Diskussion

Zusammenfassung der Ergebnisse Diskrepanzindex: mittlere symmetrische Distanz

Strukturiert: 0,5 Unstrukturiert: 0,667

Antwortmuster „strukturiert“: mehr Ähnlichkeit mit Wissensraum

Reproduzierbarkeitskoeffizient nach Guttman Strukturiert: 0,9375 Unstrukturiert: 0,9167

Beide Bedingungen modellkonform


Diskussion

Zusammenfassung der Ergebnisse Relative Lösungshäufigkeiten

Strukturiert: 31,3% Unstrukturiert: 42,7%

Hypothese Personen, die nach der vorgegebenen Reihenfolge

der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.

trifft nicht zu


Diskussion

Hasse Diagramm

der 8 Aufgaben

Aufgabe a b c d e f g h

Strukt. 33,3% 58,3% 16,7% 58,3% 41,7% 0% 33,3% 8,3%

Unstrukt. 50,0% 91,7% 0% 83,3% 50,0% 16,7% 50,0% 0%


Diskussion Aufgabe c: Cuernavaca ist die Hauptstadt von?

Dazugehöriges Land sehr klein Verwechslungsfehler


Diskussion Aufgabe f: Toluca ist die Hauptstadt von?

Länder waren nicht eingezeichnet


Diskussion

Aufgabe g: Die Hauptstadt von Chiapas ist? Antwortmöglichkeiten waren gegeben


Diskussion

Strukturiertes Interview: „ Wäre eine andere Reihenfolge leichter gewesen?“

Trotzdem: Lösungshäufigkeit „Unstrukturiert“ höher als „Strukturiert“


ja nein ja nein

8.3% 91.7% 83.3% 16.7%


Diskussion

Allgemein/ Empfehlung für nachfolgende Studien

Größere Stichprobe Zeitdruck Mehr Voruntersuchungen Studierende vs. Nicht-Studierende Sprache

FM3 Abschlussreferat 63FM3 63

Literatur Albert, D. & Kaluscha, R. (1997). Adapting Knowledge Structures in Dynamic

Domains. In C. Herzog (Ed.), Beiträge zum Achten Arbeitstreffen der GI–Fachgruppe 1.1.5/7.0.1 "Intelligente Lehr–/Lernsysteme'', September 1997, Duisburg, Germany [Contributions of the 8th Workshop of the GI SIG "Intelligent Tutoring Systems''] (pp. 89–100). TU München.

Bortz, J., Döring, N. (2003). Forschungs- und Evaluationsmethoden für Human- und Sozialwissenschaftler. (3.Auflage) Berlin Heidelberg: Springer.

Falmagne, J. C., Koppen, M., Villano, M., Doignon, J. P., & Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test and search them. Psychological Review, 97, 201–224.

Hockemeyer, C. (2002). A Comparison of Non–Deterministic Procedures for the Adaptive Assessment of Knowledge. Psychologische Beiträge, 44, 495–503.

Schrepp, M. (1999). An Empirical Test of a Process Model for Letter Series Completion Problems. In D. Albert & J. Lukas (Eds.), Knowledge Spaces: Theories, Empirical Research Applications (pp. 133–154). Mahwah, NJ: Lawrence Erlbaum Associates.


Literatur Schwan, S. (2006). Game Based Learning – Computerspiele in der Hochschule.

Zugriff am 19.01.2009, von http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning/gamebasedlearning.pdf

http://css.uni-graz.at/projects/CbKSTCourse/release/

[Stand: 19.01.2009]

http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning

[Stand: 19.01.2009]

http://www.sheppardsoftware.com/

[Stand: 19.01.2009]

http://wundt.uni-graz.at/epsyt/index.php

[Stand: 19.01.2009]


Verständnisfragen

1. Aus welchem Grund war die Berechnung des „Correlation Agreement Coefficient“ für unsere Untersuchung nicht relevant?

2. Wieso wurden Simulationen durchgeführt?

Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning 602.966 ES...

Documents

Transcript of Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning 602.966 ES...