Leitfaden Evaluation E Learning Projekte · Phase 1: Planen 7 3.1 Prozess 9 3.2 Output 9 Phase 2:...
Transcript of Leitfaden Evaluation E Learning Projekte · Phase 1: Planen 7 3.1 Prozess 9 3.2 Output 9 Phase 2:...
Philosophische Fakultät
Leitfaden Evaluation E‐Learning‐Projekte
E‐Learning‐Koordination der Philosophischen Fakultät
Stand: Oktober 2012
Inhaltsverzeichnis Leitfaden Evaluation E‐Learning‐Projekte
Seite 2 Universität Zürich, Philosophische Fakultät, 2012
Inhaltsverzeichnis
1 Funktionen des Leitfadens 3
Was soll der Leitfaden? 3Was ist der Leitfaden nicht? 3
2 Hintergrundwissen Evaluation 4
3 Evaluationsprozess 7
Phase 1: Planen 73.1 Prozess 93.2 Output 9Phase 2: Instrumente bereitstellen 10Phase 3: Daten erheben 11Phase 4: Daten auswerten 11Phase 5: Abschlussbericht mit Gestaltungsvorschlägen 11Phase 6: Anpassung des Kurses 11Phase 7: Veröffentlichung der Erkenntnisse und Erfahrungen 11
4 Literatur 12
Funktionen des Leitfadens Leitfaden Evaluation E‐
Learning‐Projekte
Seite 3 Universität Zürich, Philosophische Fakultät, 2012
1 Funktionen des Leitfadens
Sie haben sich als Lehrperson sicherlich immer wieder Fragen gestellt
wie: «Kommt meine Lehrveranstaltung bei den Studierenden an?»,
«Erreichen die Studierenden die gesetzten Lehr‐Lernziele?», «Was hat
den Studierenden besonders gefallen?» oder «Was könnte man an der
Veranstaltung verbessern?»
Im Folgenden wollen wir Ihnen den Zweck dieses Leitfadens zur
Evaluation von E‐Learning‐Projekten vorstellen, der sich unter
anderem mit Fragen wie den oben aufgeführten auseinandersetzt.
Was soll der Leitfaden?
Der Leitfaden soll Ihnen als Einstiegshilfe in das Thema der
Evaluation von E‐Learning‐Projekten helfen
1. eine systematische Herangehensweise an das Thema Evaluation
zu wählen,
2. klare Evaluationsziele zu definieren,
3. wichtige Einflussgrössen bei der Planung der Evaluation zu
berücksichtigen und
4. sich über die Funktion oder Funktionen der Evaluation bewusst zu
werden.
Was ist der Leitfaden nicht?
Der Leitfaden ist keine Instrumentensammlung oder Einführung in
Messmethodik. Sie finden einige Verweise, wo und wie Sie zu
Fragebögen, Checklisten, Beobachtungsverfahren kommen. Bei Bedarf
können Sie sich bezüglich der Instrumentenauswahl oder ‐
entwicklung gerne mit Personen der E‐Learning‐Koordination in
Verbindung setzen.
Evaluation bedeutet die Beschrei‐
bung, Analyse und Bewertung von
Prozessen und Ergebnissen unter‐
schiedlichster Massnahmen, z.B. von
Kursen, Projekten oder ganzen
Programmen. Mit der Evaluation
wird deren Nutzen oder Wert
bestimmt.
Hintergrundwissen Evaluation Leitfaden Evaluation E‐
Learning‐Projekte
Seite 4 Universität Zürich, Philosophische Fakultät, 2012
2 Hintergrundwissen Evaluation
Evaluation dient als empirisch fundierte Planungs‐ und Entschei‐
dungshilfe in einem kontinuierlich laufenden Entwicklungsprozess
einer Lehrveranstaltung.
Evaluation bewertet somit in vielen Fällen entweder den Prozess
(formative Evaluation) oder definitive Folgen einer Veranstaltung,
Massnahme oder Intervention (summative Evaluation). Es ist immer
notwendig, Ziele und Zwischenziele festzulegen und die Optimierung
der Lehrveranstaltung an solchen, letztlich frei ausgewählten Zielen
oder Zwischenzielen auszurichten.
Als erste Grundregel gilt, dass die Evaluation einer Lehrveranstaltung
nicht im letzten Drittel eines Projekts (z.B. eines IIL‐Projekts)
konzipiert und realisiert werden sollte, sondern zu Projektbeginn!
Nur so kann sichergestellt werden, dass die Evaluation wirklich als
Planungs‐ und Entscheidungsinstrumentarium wirksam werden kann.
Als Gesamtplanungshilfe für Ihre Lehrveranstaltung können Sie den
didaktischen Leitfaden (Haab & Zimmermann, 2005) verwenden.
Als zweite Grundregel gilt, dass aus dem komplexen Lehr‐ und
Lerngeschehen (s. Tab. 1) nur Ausschnitte evaluiert werden können
und diese nur in enger Anbindung an die explizit definierten Ziele
der Evaluation und der Veranstaltung.
Die grundlegende Frage lautet dabei: Was (Objekt) will ich und für
welchen Zweck oder Nutzen (Ziel) evaluieren?
Eine Evaluation lässt sich für verschiedene Zielsetzungen konzipieren
und realisieren. Sie kann z.B. die folgenden Ziele beinhalten, die als
Grundlagen für Projektentscheidungen genutzt werden können:
Legitimation gegenüber den Geldgebern (intern/extern):
Eine an Sie gestellte Frage kann lauten: „Haben Sie nachweisbare
Effekte mit Ihrem Projekt erreicht oder hat sich keine wirkliche
Veränderung (quantitativ/qualitativ) in der Lehre durch das Projekt
ergeben?“
Je kostensintensiver die Projekte sind, umso bedeutsamer wird diese
Funktion, da Geldgeber von Ihnen wissen möchten, ob Sie Ihre Ziele
erreichten und sich die finanzielle Investition „gelohnt“ hat.
Optimierung innerhalb des Projekts:
a) Kurssteuerung und ‐gestaltung: Eine Prozessevaluation (z.B.
Schwierigkeiten der Studierenden) kann wichtige Steuerungs‐
informationen für einen Online‐Kurs liefern. Anhand solcher
Daten können z.B. der Diskussionsprozess und die Betreuung den
jeweiligen Bedürfnissen der Studierenden kontinuierlich
angepasst werden.
b) Kurseffekte: Die outputbezogene Evaluation dient vor allem der
längerfristigen Entwicklung und Optimierung des jeweiligen
Kurses.
Hintergrundwissen Evaluation Leitfaden Evaluation E‐
Learning‐Projekte
Seite 5 Universität Zürich, Philosophische Fakultät, 2012
Je nach Ziel der Evaluation lassen sich vier verschiedene Analyse‐
typen unterscheiden:
- Inputbezogene Analysen
- Prozessbezogene Analysen
- Outputbezogene Analysen
- Vergleichsanalysen (meist als weiterführende Fragestellungen
aus den obigen Analysetypen)
Um nun eine angemessene Evaluation zu planen und durchzuführen,
sollten Sie verschiedene Elemente berücksichtigen, die in Tabelle 1
veranschaulicht sind:
- Randbedingungen
- Anthropogene Bedingungen
- Didaktische Gestaltung
- Lehr‐Lernprozesse
- Output/Ergebnisse
In der Tabelle sind diese Elemente in einer zeitlichen Abfolge
angeordnet und verschiedenen Phasen eines Evaluationsvorhabens
zugeordnet. Diese Tabelle kann als Orientierungshilfe dienen,
wesentliche Evaluationsfelder zu bestimmen und entsprechende
Fragestellungen daraus abzuleiten. Die einzelnen Elemente werden in
Kapitel 3 differenziert ausgeführt.
Hintergrundwissen Evaluation Leitfaden Evaluation E‐
Learning‐Projekte
Seite 6 Universität Zürich, Philosophische Fakultät, 2012
Phasen
Elemente Inhalte
Phase 1: Planung
Input: Randbedingungen Sozial-kulturelle Randbedingungen für EL-Veranstaltungen - demografische Faktoren - ökonomische Faktoren - schulische Sozialisationsbedingungen - Hochschulkultur - Bezugsgruppen
Input: Anthropogene Bedingungen
Lernende/r - kognitive Faktoren (Vorwissen, Lernkompetenz, Medienkompetenz, Merkfähigkeit) - affektive Faktoren (Stimmung, Temperament) - motivationale Faktoren (Neugier, Wille, Interesse)
Input: Didaktische Gestaltung - Lernsystem - Informationsmerkmale - Handlungs-/Lernoptionen
- Lernaufgaben - Lehrziele - Inhalt - Unterlagen - Struktur - Abfolge - Leistungserwartungen - Prüfungsaufgaben
- Lehrer-/Coach-/ Lernbegleitung
- Personale Ressourcen - Art der Unterstützung
Beispiel: Abschnitt 3.1 c Beispiel: Abschnitt 3.1 c Beispiel: Abschnitt 3.1 c
Phase 2: Instrumente ausarbeiten
Phase 3: Datenerhebung
Prozesse Individuelle und/oder kollektive Lehr-Lern- und Kooperationsprozesse
Beispiel: Abschnitt 3.1 f
Output Personenbezogene Ebene Didaktische Umgebung
- Fachkompetenz - Methodenkompetenz - Sozialkompetenz - Personalkompetenz - Transfer
- Lernsystem - Lernarchitektur - Begleitung
Phase 4: Datenanalyse
Phase 5: Abschlussbericht erstellen
Phase 6: Anpassung des Kurses
Phase 7: Berichterstattung über Erkenntnisse und Erfahrungen
Tabelle 1: Aspekte des Lernens im Kontext der Lehrveranstaltungsevaluation (Seel, 2000), mit Erweiterungen der Autoren
Evaluationsprozess Leitfaden Evaluation E‐
Learning‐Projekte
Seite 7 Universität Zürich, Philosophische Fakultät, 2012
3 Evaluationsprozess
Der Evaluationsprozess gliedert sich in 7 Phasen:
Abbildung 1: Ablauf der Evaluation
Die Ergebnisse einer Phase sind die Voraussetzung für den Beginn
der nächsten Phase. Die sieben Phasen sollten nacheinander
durchlaufen werden. Dabei ist zu beachten, dass die Selektion der
Messkriterien (z.B. Anzahl Einträge in ein Forum oder Art der
Foreneinträge), Methoden (Fragebogen, Beobachtungsbogen, Logfiles
etc.) und Stichprobengrösse wesentlich die nachfolgenden Phasen
beeinflussen und insbesondere die Aussagekraft der Auswertung
mitbestimmen.
Phase 1: Planen
In der Planungsphase (1) sollten unter Berücksichtigung der
Randbedingungen (a), der anthropogenen Bedingungen (b) und der
didaktischen Zielsetzungen (c) die Evaluationsziele spezifiziert
werden.
Welche Bereiche wollen Sie in der Evaluation untersuchen (s. Tabelle
1 und unten stehende Beispiele)?
Welche Art von Messung/Daten wünschen Sie sich (subjektive Selbst‐
einschätzungen/möglichst objektive Messungen) für die verschie‐
denen Bereiche?
Hat die Evaluation eine legitimations‐ oder/und eine qualitäts‐
sichernde Funktion?
a) Input: Randbedingungen
Die Randbedingungen beschreiben verschiedene Aspekte, welche die
Evaluation je nach inhaltlicher Ausrichtung sehr unterschiedlich
Evaluationsprozess Leitfaden Evaluation E‐
Learning‐Projekte
Seite 8 Universität Zürich, Philosophische Fakultät, 2012
beeinflussen und deshalb in die konzeptionellen Überlegungen mit
einfliessen sollten.
Welche Lernkultur prägt die Institution?
Welche zeitlichen, personalen, technischen und räumlichen Ressour‐
cen stehen für die Evaluation zur Verfügung?
b) Input: Anthropogene Bedingungen
Bei den anthropogenen Bedingungen geht es darum, Einflussfaktoren
einer Studierendengruppe zu erheben.
- Welche kognitiven Faktoren (Vorwissen, Lernkompetenz,
Medienkompetenz, Merkfähigkeit) bringen die Studierenden mit?
- Spielen affektive Faktoren (Stimmung, Temperament) für den
Kurserfolg eine Rolle?
- Wie motiviert sind die Studierenden (Neugier, Wille, Interesse)?
c) Input: Didaktische Gestaltung
Lernsystem
Bei der Lernsystemgestaltung beschäftigt man sich mit der Navigation,
dem Screen Design (Farbe, Schrift, Bilder, Layout) und der Gestaltung
der Lehr‐ und Lernmittel (Texte, Abbilder, Animation, Ton und
Sprache).
Für die Bewertung der Navigation bspw. können Antworten auf die
folgenden Fragen informativ sein:
- Wo befinde ich mich?
- Wo kann ich hingehen?
- Wie gelange ich dorthin?
- Wie komme ich dorthin, wo ich schon war? (Fleming, 1998)
Für das Screen Design (siehe z.B. Thissen, 2003) und ebenso für die
Aufbereitung von Lehrmaterial (z.B. Ballstaedt, 1997) gibt es
Richtlinien.
Lernarchitektur
Wesentliche Aspekte, die evaluiert werden können, sind:
- Lehr‐Lernziele (deklarativer und/oder prozeduraler Art)
- Inhalte
- Vorgesehene Lernaktivitäten (individuell und/oder kooperativ)
- Zeitraum der Lernaktivität
- Erwartete Ergebnisse
- Technische Realisierung
- Abfolge der Lernaufgaben
- Arbeitsaufwand (Bologna)
- Bewertungskriterien der studentischen Leistungen
- Qualität der Lernaufgaben
- Kosten/Nutzen‐Verhältnis der technischen Umsetzung
Evaluationsprozess Leitfaden Evaluation E‐
Learning‐Projekte
Seite 9 Universität Zürich, Philosophische Fakultät, 2012
Dozent/‐ in/Coach/Lernbegleitung
Die Aufgaben der Lehrenden können sehr unterschiedlich gestaltet
werden und sind wesentlich durch das didaktische Design bestimmt.
- Welche Art der Lernunterstützung wird den Studierenden zu
welchem Zeitpunkt angeboten?
- Welche Personalressourcen stehen für die Veranstaltung zu
welchem Zeitpunkt zur Verfügung?
3.1 Prozess
- Bei prozessorientierten Evaluationsanliegen werden Lehr‐Lern‐
Prozesse, Kooperationsprozesse, die Qualität der individuellen
oder kooperativen Lernaufgaben im konkreten Gebrauch oder
Anforde‐rungen an die personelle oder technische Unterstützung
dieser Lernprozesse untersucht.
- Wie nutzen die Studierenden die Lernangebote? Wie sehen die
Lernaktivitäten aus? Was tun die Studierenden? Welche
Schwierigkeiten zeigen sich zu verschiedenen Zeitpunkten?
- Welche Art von Lerner‐Feedback (emotionale Befindlichkeit,
inhaltliche Probleme, motivationale oder organisatorische
Schwierigkeiten etc.) benötigen Sie als Dozent/‐in während eines
Seminars für eine kontinuierliche Steuerung?
- Welche Art der Lernunterstützung benötigen die Studierenden?
- Wie kommen die Studierenden mit der elektronischen Lern‐
umgebung zurecht?
- Wie kann das Vorgehen (z.B. innerhalb von OLAT, BSCW etc.) bei
der Durchführung des Kurses verbessert werden?
- Wie lässt sich der Kommunikationsprozess (z.B. im OLAT) besser
gestalten oder steuern?
- Wirkung: Welche Effekte beobachten Sie hinsichtlich der
individuellen und kollektiven Kommunikations‐ und
Kooperations‐prozesse im Vergleich zu Ihren „herkömm‐
lichen“ Veranstaltungen? Handelt es sich um qualitative und/oder
quantitative Veränderungen? (Beispiele: mehr Interaktion
zwischen den Studierenden, qualitativ hochwertigere Beiträge in
den Foren im Vergleich zu studentischen Vorlesungs‐beiträgen;
Entwicklung neuer Lösungsansätze).
3.2 Output
Bei Fragen nach dem Output, den Effekten, den Ergebnissen eines E‐
Learning‐Projekts geht es überwiegend um summative Bewertungen,
also die Beschreibung/Messung von individuellen und kollektiven
Lerngewinnen, die Beurteilung von didaktischen Gestaltungs‐
elementen, Auswirkungen von Randbedingungen auf die Kursdurch‐
führung etc.
Evaluationsprozess Leitfaden Evaluation E‐
Learning‐Projekte
Seite 10 Universität Zürich, Philosophische Fakultät, 2012
- Welche Effekte (durch subjektive oder objektive Messungen)
zeigen sich auf verschiedenen Kompetenzebenen (z.B. Wissen
und Verstehen; Anwendung von Wissen und Verstehen;
Beurteilungen abgeben; Kommunikation; Lernstrategien)?
- Wie hoch war die Akzeptanz des Kurses?
- Wie hoch war die Motivation während des Kurses?
- Sind die vorher definierten Erfolgsfaktoren für die
Durchführung des Kurses wirklich relevant gewesen?
- Sind beobachtete Veränderungen bei den Studierenden auf
die Intervention (z.B. Nutzung von Diskussionsforen, Wikis,
Selbsttests) zurückzuführen?
- Welche Auswirkungen hat die didaktische Gestaltung des
Kurses (z.B. die dialogische Kursgestaltung oder problem‐
orientiertes Lernen) auf Lerngewinne?
- Mit welcher der in Frage kommenden didaktischen Lösungen
(z.B. Frontalunterricht, Gruppenarbeiten, Blended Learning)
sind die gewünschten Effekte (z.B. in der Fachkompetenz
oder der Argumentationskompetenz) am ehesten erreicht
worden?
Phase 2: Instrumente bereitstellen
Grundsätzlich lassen sich keine Empfehlungen für bestimmte
Instrumente abgeben, weil immer bestimmte Vor‐ und Nachteile
gegeneinander abgewogen werden müssen. Eine Entscheidungs‐
matrix mit spezifischen Vor‐ und Nachteilen und deren Gewichtung
in Bezug auf das Erreichen der Evaluationsziele kann Ihnen die
Entscheidung vereinfachen (siehe Tabelle 2).
Fragebogen: Vorteile Gewichte Nachteile Gewichte Betrag
standardisierte
Verfahren vorhanden
4 geschlossene
Fragen
‐1 3
einfache
Datenerhebung
2 keine Prozess‐
Informationen
‐3 ‐1
Summe 2
Beobachtung: Vorteile Gewichte Nachteile Gewichte Betrag
gute Prozessdaten 5 aufwendig
‐2 3
ökologische valide 3 statistische
Auswertungen
sind schwierig
‐3 0
Summe 3
Auf der Grundlage Ihrer Ziele können Sie eventuell geeignete
Instrumente in folgenden Quellen finden:
Evaluationsprozess Leitfaden Evaluation E‐
Learning‐Projekte
Seite 11 Universität Zürich, Philosophische Fakultät, 2012
- Testzentrale
(siehe http://www.testzentrale.ch/de/tests/tests‐a‐z/)
- Wissenschaftliche Publikationen
- E‐Learning‐Handbücher
- Kollegen fragen
- Sie sollten bei der Selektion der Instrumente erprobte und
validierte Verfahren einsetzen. Dadurch lässt sich die Qualität der
Erhebung und die Wirkung der eigenen Untersuchung deutlich
verbessern. Nutzen Sie Bestehendes zugunsten der besseren
Vergleichbarkeit und Konsolidierung von Erkenntnissen.
Phase 3: Daten erheben
Die Datenerhebung sollte von kompetenten wissenschaftlichen
Mitarbeitenden geleitet werden. Die Erhebung kann online, offline,
mit Papier und Bleistift, mit Videoaufnahmen etc. erfolgen.
Phase 4: Daten auswerten
Die Datenauswertung kann je nach Datenmaterial (quantitativ/
qualitativ) mit unterschiedlichen Tools vorgenommen werden (SPSS,
EXCEL, MAXQDA, ATLAS.ti etc.).
Phase 5: Abschlussbericht mit Gestaltungsvorschlägen
Der Abschlussbericht sollte alle wichtigen Phasen der Evaluation und
insbesondere eine Zusammenfassung des Vorgehens, der Ergebnisse
und einen Kursoptimierungssteil enthalten.
Phase 6: Anpassung des Kurses
Die im Abschlussbericht dokumentierten Gestaltungsvorschläge
fliessen nun in die Optimierung des Kurses ein. Bei der
prozessorientierten Evaluation kann dies natürlich schon während
des laufenden Kurses geschehen.
Phase 7: Veröffentlichung der Erkenntnisse und Erfahrungen
Um die gemachten Erfahrungen einer breiteren Öffentlichkeit
vorzustellen und mit ihr in einen Austausch zu kommen, möchten wir
Sie an diesem Punkt dazu ermuntern, Ihre Evaluationsergebnisse und
Schlussfolgerungen zu publizieren. Nur so kann die E‐Learning‐
Gemeinschaft voneinander lernen und profitieren.
Literatur Leitfaden Evaluation E‐
Learning‐Projekte
Seite 12 Universität Zürich, Philosophische Fakultät, 2012
4 Literatur
[1] Ballstaedt, S. P. (1997): Wissensvermittlung. Die Gestaltung von Lernmaterial. Weinheim: Beltz
Psychologische Verlags Union.
[2] Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler (2.,
vollständig überarbeitete Auflage). New York: Springer.
[3] Ellis, J. A., Knirk, F. G., Taylor, B. E. & McDonald, B. A. (1993). The Course Evaluation System.
Instructional Science, 21, 313‐334.
[4] Fleming, J. (1998). Web Navigation. Designing the User Experience. Sebastopol: O’Reilly &
Associates.
[5] Fricke, R. (1997). Evaluation von Multimedia. In L. J. Issing (Hrsg.), Lernen mit Multimedia (S.
401‐413).
[6] Grund, S., Grote, G. & Windlinger, L. (2003). CIELT: Concept and Instruments for Evaluation of
Learning Tools. Zürich: Institut für Arbeitspsychologie ETH.
[7] Haab, S. und Zimmermann, T. (2005). Didaktischer Leitfaden. E‐Learning‐Koordination der
Philosophischen Fakultät der Universität Zürich. Zürich.
[8] Henninger, M. (2001). Aufgaben und Fragestellungen von Multi‐media‐Evaluation. Hessische
Blätter für Volksbildung, 4, 313‐321.
[9] Thissen, F. (2003). Kompendium Screen Design. Effektiv informieren und kommunizieren mit
Multimedia. Berlin. Springer.
[10] Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation (2., vollständig überarbeitete Auflage).
Bern: Huber.
Für die E‐Learning.Koordination: Sven Grund & Susanne Haab