Sauli Takala University of Jyväskylä 12. CercleS-Konferenz London 6.-8. September 2012
description
Transcript of Sauli Takala University of Jyväskylä 12. CercleS-Konferenz London 6.-8. September 2012
Sauli TakalaUniversity of Jyväskylä12. CercleS-Konferenz
London 6.-8. September 2012
Überblick
•Die aktuelle Debatte zur Definition des Konstrukts beim Sprachenlernen •Handlungsorientiertes Sprachenlernen und -bewerten: Vernachlässigung einiger relevanter Quellen und Quellenkritik •Modelle der Sprachbewertung nach dem handlungsorientierten Ansatz •Das Für und Wider der Checklistenmethode•Bewerten mittels Checklisten •Abschließende Bemerkungen
Definitionsversuch des Konstrukts der Sprachperformanz:
•Kompetenzfokussierung (z.B. Bachman 2002, 2006)•Aufgabenfokussierung (z.B. Norris 2005)•Interaktionsfokussierung
•siehe nächste Folie für einen Überblick zum Definitionsversuch des Konstrukts nach Bachman (2007; What is the construct? The Dialectic of Abilities and Contexts in Defining Constructs in Language Assessment. In Fox et al. Language Testing Reconsidered. Ottawa: U of Ottawa Press, 41-71)
Approaches to defining the construct in language testing/assessment, Bachman, 2007Konstrukt Fertigkeit/Merkmal Aufgabe/Inhalt
Skills & elements; Lado, 1961; Carroll, 1961
Elemente / Aspekte / Niveaustufen / integrative Fertigkeiten
Separate Punkte, integrative Aufgaben, Taxonomie der Aufgaben
Direct testing, perform. assClark 72, Jones85, Wesche
Spra.fertigkt in Aufgaben, Performanz im real. Leben
reelle Aufgaben; authentische Übungen
Pragmatic LT; Oller 1979
Pragm. Gramm.erwartgen
Pragmatische Tests
Communicative LT; Canale & Swain 1980 etc.
Kommunikatives Konzept, allg. Sprachfertigkeit
Sinnvolle komm. Sit.; authentische Aufgaben
Interaction-ability: Bach-man 1990, Bach & Palm96
Komm. Sprachkompetenz, Sprachkompetenz
Facetten v.Testmethoden; Aufgabencharakteristika
Task.based perf. assessm1Brindley1994, MacNam96
Fähigkeit zum Sprachgebrauch
Simulation reeller Aufgaben
Task-based perf.assessm2Norris1998, Brown2002
Komp. zur Bewältigung konkr. Aufgaben /-typen
Performanz in konkreten Aufgaben/-typen
Minimalist interactionalist Kramsch1986, Chapelle98
Interaktionelle Kompetenz / Fähigkeiten
Kollaborative Aktivitäten, Interaktionscharakter
Strong interactionalistHe&Young 98, Young00
Interaktionelle Kompetenz
Diskursive Methoden
Moderate interact. Chalhoub-Deville03
Kompetenz des Individuums im Kontext
Gibt es grundlegende Unterschiede oder ist es nur eine Frage der Schwerpunktsetzung?
Sind wir faktisch daran interessiert, herauszufinden, inwiefern Kompetenz für die Anwendung von Sprache zur Aufgabenbewältigung verantwortlich ist?
Gibt es eine unvermeidliche Interaktion zwischen der Kompetenzstufe und der Aufgabenart?
Repräsentieren Aufgaben die Ziele /erforderlichen Kompetenzen?
Einige hilfreiche frühe Quellen – zu einem bestimmten Grad vernachlässigt
•Linguistische Philosophie (besonders im Spätwerk Wittgensteins, Philosophische Untersuchungen, 1953)•Soziologie und Sozialpsychologie (Kurt Lewin, Bales (1950), Festinger (1951), Watzlawick (1967) – Kommunikation und Interaktion in Kleingruppen•Linguistischer Pragmatismus – besonders die frühe Kritik Austins (1955/1962) und Searles (1969) durch deutsche Pragmalinguisten (Wunderlich, 1972; Ehlich & Rehbein, 1972 – Praxeogramme...)
ROLLE/SOZIALE ROLLE: auch vernachlässigt?In der Sozialpsychologie wird die Rolle folgendermaßen definiert: die Menge aus Verhaltensweisen, Rechten und Pflichten, die von den Akteuren in einer sozialen Situation festgelegt werden. Es handelt sich um ein erwartetes, freies oder sich stetig veränderndes Verhalten, das einen bestimmten individuellen sozialen Status oder eine soziale Position vorsieht.Funktionalistisches und interaktionistisches Verständnis der Gesellschaft und allen sozialen Verhaltens, samt des kommunikativen Verhaltens (siehe nächste Folie) •Arbeitsteilung – Interaktion zwischen heterogen spezialisierten Positionen/Rollen.•Rollen sind von Individuen/Akteuren belegt. •Soziale Rollen/soziales Verhalten sind durch soziale Normen bestimmt (Erwartungen, Grad der Konventionalität).•Legitime und konstruktive Rollen – Belohnungserwartung (vs. Bestrafung).•Veränderte soziale Bedingungen Veränderung der Rolle.
Kommunikative Aufgabe
Kommunikatives System
Situative Faktoren: Rollen/Aufgaben, Beziehungen zwischen Gesprächspartnern, Kontextgebrauch, Bekanntheitsgrad ...
Phasen und ihre Basisfunktionen: Beginn ... Fazit; Information, Kontakt, Argumentation
Kommunikationsart: Kanäle, Input - Output (Wiederholung, Modifikation, Kommentieren, Vertiefung ...Erfindung/Kreation)
Themen und Begriffe
- Themen (siehe UDK, UDC) - Metakommunikation
Code /Sprachgebrauch
- Allgemeinsprache - Sprache für bestimmte Zwecke - Verständnis - Ausdruck
Übernommene/notwendige Sprachgebrauchsnorm
Grad der Differenziertheit Grad der Fehlertoleranz
Aufgabenspezifischer Sprachgebrauch
Spezifizierung von Sprachressourcen
Spezifizierung von inhaltlichen Voraussetzungen
Aufgabenspezifische Definition der Bewertungskriterien
nach: Freihoff & S. Takala (1974). A Systematic Description of Language Teaching Objectives Based on the Specification of Language Use Situations. University of Jyväskylä.
Externe Situation
Interne Situation
Code: Verwendung Personen:
Ziele, Beziehungen
Zeit, Ort, Störgeräusche
Kanäle, Medien
Thema/ Aspekt
Verarbeitung: Input-Output
Dynamik der situierten Interaktion
nach: Fischer et al., Guidelines for task-based university language testing. Graz: ECML, 2011, S. 21.
Puren, C. ( 2008). Formes pratiques de combinaision entre perspective actionnelle et approche communicative: analyse comparative des trois manuels. Langues Modernes. Zitiert nach Fischer et al., 2011, S. 22. (Beachten Sie die Einbeziehung der Rollen!)
Sprachtesten/-bewerten – Kernpunkte und Probleme
•Sprachtesten/-bewerten ist bekanntermaßen anspruchsvoll/komplex•Sprachtesten/-bewerten sollte viele Kriterien erfüllen:
(a) Es gibt viele Dinge, die zu beachten sind. (b) Es gibt eventuell Dinge, die man nicht gut genug
kennt (unvermeidbarer Grad von Unwissenheit oder gar Untauglichkeit?).
(c) Es kann ernshafte Konsequenzen haben.
Kann man Sprachtesten/-bewerten weniger anspruchsvoll und komplex gestalten und vermeidbare Probleme/Fehler ausschließen?
Bewerten – Viele Dinge, die beachtet werden müssen
•Aspekte guten Sprachgebrauchs beobachten lernen, zuerst Beobachtung weniger guten Sprachgebrauchs zu vermeiden•Beispielsweise beim Bewerten lernen, Folgendes zu vermeiden:
• Halo-Effekt • Effekt der zentralen Tendenz• Effekt der Einschränkung des Messbereichs• Härte oder Nachsicht
What about using Checklists?
• Checklisten: Alltagsgebrauch – Einkaufszettel • Checklisten/Bestandsaufnahmen – haben lange
Tradition bspw. bei Persönlichkeitsfragebögen (Selbstevaluation, Vorlieben).
• Checklisten – häufiger Gebrauch im Gesundheitswesen/ bei der Pflege, im Flugverkehr/Piloten, im Bauwesen, …
• Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books.
• Western Michigan Checklist Project (www.xxx)• Scriven, M. (2000/2007). The Logic and
Methodology of Checklists. Western Michigan University.
Abneigung gegenüber Checklisten – Vorwände
”Es ist unter unserer Würde, Checklisten zu benutzen, eine Beschämung. Es ist wider unserer tiefen Überzeugung davon, wie die wahrhaft Großen unter uns – die, welche wir erstreben zu sein – riskante und komplexe Situationen bewältigen. Die wahrhaft Großen sind wagemutig. Sie improvisieren. Sie haben keine Protokolle und Checklisten. Vielleicht braucht unser Heldenbild ein Update.” (nach: Gawande, S. 173)Checklisten – langweilig Professionalität – Erwartungen: Selbstlosigkeit, Geschicklichkeit, Zuverlässigkeit, Disziplin. Wir sind nicht zur Disziplin geboren (Neuheit, Spannung). Wir müssen daran arbeiten. (S. 182-3).
Wie ist es mit der Bildung?
Checklisten sind ein wertvolles Evaluationsverfahren, wenn sie mit Bedacht entwickelt, überprüft und angewandt werden. Eine solide Evaluationscheckliste:
• definiert die Kriterien, die mindestens bei der Evalutaion eines bestimmten Bereichs in Betracht gezogen werden sollten.
• hilft dem Gutachter, die wichtigen Kriterien nicht zu vergessen
• erhöht die Objektiviät, Glaubwürdigkeit und Reproduzier-barkeit des Gutachtens
Außerdem ist eine solche Checkliste hilfreich, wenn es darum geht, Vorgänge zu planen, zu überwachen und anzuleiten und deren Ergebnisse zu bewerten. In der Evaluationsfachsprache sind Checklisten sowohl bei formativen als auch summativen Evaluationen hilfreich. (Nach: Scriven, M. The Logic and Methdology of Checklists. Western Michigan University. 2000, 2007)
Checklisten sind nicht gleich gemacht – mehr schlechte als gute Checklisten?
•schlechte Checklisten: ungenau, unpräzis, zu lang, schwer in der Benutzung, unpraktisch
•gute Checklisten: präzis, effizient, auf den Punkt, einfach in der Benutzung, enthalten Erinnerungen (nicht erschöpfende), praktisch. Normalerweise nicht mehr als 5-9 Punkte.
Arten von Checklisten•Listen (mnemonisch) – bspw. Einkaufszettel, Wäscheliste – Schwerpunkt Gruppierung•Sequenzielle Checklisten – Wichtigkeit der Reihenfolge:
• stark sequenziell, wenn die Reihenfolge (einiger oder aller zu prüfender Punkte) beachtet werden muss, um zulässige Ergebnisse zu erhalten.
• schwach sequenziell, wenn die Reihenfolge wichtig ist, aber eher aus psychologischen oder Effizienzgründen als aus logischer oder physischer Notwendigkeit.
Iterative Checklisten sind im Ganzen oder teilweise sequenziell, aber setzen mehrfache Durchgänge voraus bzw. können diese voraussetzen, um einen stabilen Messwert für jeden zu prüfenden Punkt zu erreichen.
Diagnostische Checklisten, wie sie beispielsweise von Systematikern, Mechanikern und Toxikologen verwendet werden, unterstützen typischerweise eine klassifikatorische Schlussfolgerung, welche deskriptiv oder wertend sein kann.
Die wahrscheinlich wichtigste Checkliste für Evaluationszwecke ist die Criteria of Merit Checkliste (COMlist). Diese benutzen Preisrichter, wenn sie Skate-, Grill- oder Agrarerzeugniswettbewerbe bewerten (und, natürlich bei der Beurteilung sprachlicher Performanz).
Zentrale Voraussetzungen für COMlists /Criteria of Merit
Die meisten sind selbsterklärend und beziehen sich auf die Kriterien oder Prüfpunkte, die eine COMlist ausmachen:1.Die Prüfpunkte sollten sich auf Kriterien und nicht bloße Indikatoren beziehen. 2.Die Listen sollten vollständig sein (keine wesentlichen Auslassungen). Die einzelnen Punkte sollten zusammenhängend sein, sich also nicht überschneiden (unerlässlich, wenn die Liste zur Punktebewertung benutzt wird). 3.Die Kriterien sollten messbar sein. 4.Die Kriterien sollten eindeutig sein (verständlich, anwendbar).5.Die Liste sollte prägnant sein (um die mnemonischen Funktionen zu unterstützen). Sie sollte bspw. keine überflüssigen Kriterien enthalten. 6.Die Kriterien sollten beweisbar sein (bspw. messbar oder zuverlässig ableitbar).
(Scriven, 200, 2007)
Positive Entwicklungen
•Wissenslücken bzw. Unwissenheit vermindernd: angemessene Richtlinien bewährter Verfahren•Mit der Transparenz geht es voran: auf dem Feld der Verknüpfung von Prüfungen mit dem GER wird geforscht und brauchbare Forschungsergebnisse werden zugänglich.•Schulungen zum Sprachtesten /-bewerten sind zunehmend verfügbar (EALTA, ALTE).•Folglich haben wir zunehmend bessere Chancen, die Dinge richtig zu machen.
Scriven, M. (2000/2007). The Logic and Methodology of Checklists. Western Michigan University.Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books.