09 IBH E Assessment

E-Assessment

Cornelia RuedelE-Learning Center, Universität Zürich

http://www.elc.uzh.ch

Agenda

Ausgangslage

Was ist E-Assessment?• Begrifflichkeiten und Zusammenhänge

Problemfelder• Infrastruktur

• Recht

Beispiele an der Universität Zürich

IBH: eLearning Community Treffen 03.09.2009 / 3

Probleme mitkonventionellen Prüfungen

http://www.youtube.com/watch?v=_CqgnZhb--Q

Alltag an der Universität

Aktuelle Prüfungssituationan der Universität Zürich• vermehrtes Prüfungs-

aufkommen durchdie Bologna Reform• Prüfungsdurchführung

und -auswertung ist einegrosse Personalbelastung• Problematik: Massenfächer

(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)

Universitärer Dreikampf: Prüfung, Hausarbeit, Referat

Probleme mitkonventionellen Prüfungen

Schriftlich:

fragliche Validität und Reliabilität,

zeitaufwendige Korrektur

Problem: Lesbarkeit der Handschriften

Mündlich:fragliche Validität,Reliabilitätund Fairness,jede/r Prüfling hat andere Bedingungen,zeitaufwendige Durchführung

Was ist E-Assessment?

Ruedel et al (2007a)

DefinitionUnter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschrittenzur Erstellung, Präsentation, Durchführung und der Auswertung vonLeistungsnachweisen.

oderDer Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,Prüflinge) der Computer verwendet.

kurz gesagt: ...E-Assessment = Erstellung/Durchführung/Auswertungvon Assessment mit Hilfe von Computer/Netzwerk

!"#$%&'$()"&'*+,"

-.")/,''

E-Assessment als Prozess

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

!"#$%&'$()"&'*+,"

-.")/,''

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

E-Assessment:Organisatorischer Prozess

!"#$%&'$()"&'*+,"

-.")/,''

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

E-Assessment:Technische Durchführung (Teil I)

Stand-alone

Closed network/Intranet

Internet

Software which has the capabilityto run on a stand-alone computerover a network/intranet orthrough the Internet and tocombine the use of all threetechnologies if appropriate.

For example: a test which isposted to students on a CD-ROM. Students take the testand upon completion thesoftware accesses the Internetto upload files to a database.

For example: an assessmentwhich is delivered question byquestion from a closed networkserver. When all results havebeen stored, they are distributedto tutors using the Internet.

For example: a testcompletely downloadedfrom a server onto acomputer, which is offlineduring the test-taking andreconnects to the networkto upload final results.

Bull, J. & McKenna, C. (2004): Overview over CAA Technologies

Bull & McKenna (2004)

E-Assessment:Technische Durchführung (Teil 2)

Port-folios

Networked

Online Assessment stand-alone

Warburton, B. & Conole, G. (2005)

Warburton, B. & Conole, G. (2005): Different Types of CAA

E-Assessment:Technische Durchführung (Teil 3)

Technologiebasiertes Assessment

E-AssessmentOnline Assessment

Internet basiertes Assessment

Web basiertesAssessment

ComputerbasiertesAssessment

Bloh, E. (2006): Differenzierung von E- / Online-Assessment

Bloh (2006)

!"#$%&'$()"&'*+,"

-.")/,''

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

Selektion

diagnostisch formativ summativ

Lehrveranstaltung (en)

Lernlenkung Bewertung

Eingangs-test

Prüfung

E-Assessment im Lernprozess

In Anlehnung an Crisp (2007)

!"#$%&'$()"&'*+,"

-.")/,''

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

E-Assessment als Leistungsnachweis=Produkt

E-ASSESSMENTS

E-Port-folios

ElectronicSubmission

Peer-Assess-

LEISTUNGSNACHWEISE

MündlichePrüfungen

Seminar-arbeiten

Poster-Präsentationen

Studien-tagebücher

Port-folios

Protokolle

Gruppen-prüfungen

Weblog

Referate

Peer-Assess-

Wissenschafts-praktische

Tätigkeiten

Simu-lationen

Digital Storytelling

- gibt Ähnlichkeiten

- gleich

Prüfungsformen

Adaptives Testing

SchriftlichePrüfungen

E-Prüfungen

offene odergeschlossene

FragenE-Klausur

OnlineDiskussions-

MündlicheMitarbeit

OnlineVoting System

Teil 2:

Problemfelder

Prüfungsformen

Was wird für E-Assessmentbenötigt?

Prüfungs-ordnungen

RäumeComputer

Netzwerk

Software Hardware

Dozierende

Lehr-veranstaltung

Studierende

Prüfungs-fragen

Verwaltung

Universität

E-Assessment

Sicherheits-aspekte

Rechtliche Grundlagen

"In der jetzigen Experimentier! und

Einführungsphase

herrscht keineswegs Rechtssicherheit. An den

bundesdeutschen Hochschulen verfährt man mehr

nach dem Motto, offensichtliche Punkte

nach den besten Kenntnissen zu klären

und etwaige Klagen abzuwarten."

Karsten Wolf (2007)

Rechtliche Fragen imPrüfungsprozess

AllgemeinNachvollziehbarkeitUnveränderbarkeitDatensicherheit und DatenschutzArchivierung

• Fragenzugang

• Anmeldeverfahren• Authentifizierung• Verzögerung• Systemstörungen• Täuschungsversuche

• Bewertungsfehler

Prüfungserstellung

Prüfungsdurchführung

Prüfungsauswertung

Rekurse

Inhaltliche Anfechtungsgründe• Lehrstoff

• Verwendung von MC Fragen

• Starre Bestehungsgrenze

Formale Anfechtungsgründe• Gleichbehandlung

• Durchführungsprozess

• Nachvollziehbarkeit

• Unveränderbarkeit

Rekurse

Andere mögliche Anfechtungsgründe• Gleichbehandlung der Studierenden in den Prüfungen

• Raum, Umgebung, Zeit

• Gleichwertigkeit der einzelnen Prüfungen

• Prüfungssystem• Vertraute Bedienung

• Start, Ablauf, Ende

• Einwandfreie technische Funktionen

• Einwandfreie organisatorische Funktionen

Problematik:Unveränderbarkeit der Prüfung

Mögliche Lösungen• Sicherung des Endprodukts

• Speicherung als pdf

• Digitale Signatur

• Sicherung des Prozess• Logfile mit Aktionen und Eingaben

Problematik:Nachvollziehbarkeit der Prüfung

• Prüfungserstellung• Kein „Zugang“ für Unbefugte

• Prüfungsdurchführung• Protokollierung der Aktionen und Eingabe (Text und/oder

Bilddateien) • Prüfungsauswertung

• Nachvollziehbarkeit der Punkteermittlung,

• Möglichkeit zur Vergabe von Sonderpunkten

• Nachkorrektur

• Prüfungseinsicht

Problematik:Täuschungsmöglichkeiten

• Abschreiben• Benutzung eines Fragepools - Individuelle Prüfung• Aufsicht

• Benutzung keiner weiteren elektronischen Hilfsmittel• Fernkontrolle• Aufsicht

• Absichtlicher Absturz ohne Folgen• Klare Abläufe und Richtlinien• Nachvollziehbarkeit der Prüfung

in den Logfiles

E-Assessment @ UZH

Projekt «E-Assessment»

Beschluss der Universitätsleitung vom 4. Oktober 2007(Auszug Protokoll der Sitzung der Universitätsleitung)

• Die Universitätsleitung stimmt der Variante C (Einführungeines universitätsweiten E-Assessment Prozesses)grundsätzlich zu, bringt aber folgenden Kautelen an:

• Die Variante B (Supportzentrum, MedienbruchPapier/Computer) soll als mögliche Langfristlösung offenbleiben)

• Das E-Assessment darf keinesfalls als Rechtfertigung fürvermehrte Multiple-Choice-Prüfungen dienen.

E-Assessment-Projekt:3 Phasen

Heute: • OLAT ist als Learning Management System an der UZH etabliert• Durchführung von einzelnen Pilotprojekten (mit OLAT)• Keine ausreichende Infrastruktur (Raum, Hardware, Software, Schnittstellen)

Entscheidungsphase (2-3 Jahre):• Durchführung von Pilotprojekten• Ausarbeitung der Spezifikationen für Werkzeuge und Schnittstellen• Ausarbeitung eines Konzepts für ein E-Assessment-Zentrum • Ausarbeitung Betriebs- und Dienstleistungskonzept• Kostenschätzung für Umsetzung- und Betriebsphase

Umsetzungsphase (2-4 Jahre):• Aus- und Aufbau einer geeigneten IT- und Rauminfrastruktur• Implementieren und Testen der Erweiterungen bei strategischen Werkzeuge (OLAT, Modulbuchung usw.)• Bekanntmachung und Umsetzung der Dienstleistungskonzepte

Betriebsphase: «Überführen in den Betrieb»

Entscheid der Universitätsleitung über weitere Finanzierung

Finanzierung

2008 - 2011

VerschiedeneDurchführungsvarianten

Möglich-

keitenHardware Finanzen Monitor

Räumlich-

keitenNetzwerk

1Computer-

räumebestehend Monitor

Computer-

räumeLAN

2Desktop

ComputerKauf Monitor

RäumeLAN

3 Thin Client Kauf Monitor Hörsaal LAN

4Laptops /

Tablet PCMiete integriert Hörsaal WLAN

5 Laptops Student integriert Hörsaal LAN

6 Laptops Kauf integriert Hörsaal LAN

Pilotprojekte @ UZHZeitpunk t Lehrveranstaltung Ansprechpartner Anzahl Studierende

SS 2005 Allgemeine Pathologie Prof. Pospischil 70

SS 2006 Mikrobiologie Dr. Hanselmann 80

Allgemeine Pathologie Prof. Pospischil 70

SS 2007 Mikrobiologie Dr. Hanselmann 80

FS 2008 Mikrobiologie Dr. Hanselmann 80

FS 2009 Weiterbildung Arbeitsrecht

Dr. Fritsch 24

eCF Valuation Peter Lautenschlager 140

ISB Fixed Income Markets

Prof. Hens 60

8-%)*+-9,&(,",-.":;<%#,%-=&,-6&(-=,%->)61<(,"-=<"*+#,;:+"(

9<"=,%?-$@,"-%&*+(-/,%("$7-<%(,"'(:(/(-9<"=,%

UZH Pilot-Projekte

• E-Assessment in der Veterinärmedizin seit SS 2005• OLAT als Prüfungssoftware• Multiple-Choice Fragen• Benutzung eines Apple Mobile Classroom in einem Hörsaal

• E-Assessment am Institut für schweizerisches Bankwesen• OLAT als Prüfungssoftware• MC-Fragen und MS Excel• Automatische Auswertung der Excel-Dateien mittels Makro-

Programmierung um auch noch Teilpunkte vergeben zukönnen

• 130 Laptops wurden gekauft für die Durchführung

A,&'1&,7B

C577#,6,&%,-.$(+)7)#&,D

Beispiel: «Allgemeine Pathologie»

«Allgemeine Pathologie»:Studierenden-Befragung

A,&'1&,7B

C>)"1)"$(,-E&%$%*,D

eCF Valuation:Räumlichkeiten

FG"'$$7-6&(-HIJ-K&(/17L(/,%

eCF Valuation:Backup Raum

FG"'$$7-6&(-MN-K&(/17L(/,%

eCF Valuation:Sichtschutz

eCF Valuation:Aufbau

eCF Valuation:Bereit für die Durchführung

eCF Valuation:Einlasskontrolle

UZHLegitimationsausweis

eCF Valuation:Einlass

eCF Valuation:PersonalisiertePrüfungsunterlagen

eCF Valuation:Durchführung

eCF Valuation:Abgabe

eCF Valuation:Zwei Gruppen

«Corporate Finance»:Studierenden-Befragung

E"$#,%O

>)"%,7&$-P:=,7

*)"%,7&$Q"<,=,7R$**,''Q</+Q*+

A7)#B-+((1BSS;)"'*+<%#Q1"<,;<%#Q%,(S

09 IBH E Assessment

Education

Transcript of 09 IBH E Assessment

International Briquettes Holding IBH Informe Anual 2001

WASTE MANAGEMENT CONSULTANCY - IBH

Resources for Gig Workers and Freelancers IBH Guardian ... · and Freelancers Helping people be their best for over 30 years. IBH is a pioneer in managed behavioral health, integrated

Lb D IS/I Ibh

EIBH 14 Ellevios kompletterande anvisningar till IBH 14 ...

- Pelatihan hipnotis dan hipnoterapi ibh jakarta bersertifikat bisa jarak jauh dan online

AG Karriere der Internationalen Bodenseehochschule IBH

Fobia Específica - IBH · Fobia Específica Simpósio de Terapia Cognitivo Comportamental Instituto Brasileiro de Hipnose IBH - 20015. A origem da palavra Fobia “Phobos" significa

Ibh golden chariot 1

Using the IBH S7++ Link Adapter - Software Toolbox

Ibh Catalogo 2011 Gb De

RPLS Full Assessment Results 03-09 - SUNY Cortlandweb.cortland.edu/rec/pdf/RPLS-Assessment-Results-04-09.pdf · 2010-03-13 · RPLS Assessment Results 2003-09 Conceptual Framework

© Geschäftsstelle IBH, Stand 14.05.2003 Stephan Prehn, Kreuzlingen - Geschäftsleiter IBH-Geschäftsstelle -

IBH Link IoT Sheet 1 - Alles für die S5 und S7 Welt

Telecommunication & Networking Devices - IBH Elektrotechnik GmbH

Transtorno de Personalidade Obsessivo Compulsivo - IBH · Terapia Cognitivo Comportamental Instituto Brasileiro de Hipnose IBH - 2014. Modelo atual do DSM-5, Os transtornos de personalidade

IBH Jahresbericht 2016 rz › wp-content › uploads › 2017 › ...Mittel mit sich bringt. Dazu kommen die drei Labs, mit denen die IBH Neuland betritt und durch die intensive Vernetzung

Evaluating the Impact of Integrated Behavioral Health (IBH ...

An Overview of Inclusion Body Hepatitis-hydropericardium Syndrome (IBH-HPS)

IBH Handling Lift Trucks - Big Joe Handling Systems