Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für...

Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Niels Pinkwart1, Vincent Aleven2, Kevin Ashley3, Collin Lynch3

1TU Clausthal2Carnegie Mellon University3University of Pittsburgh

Niels PinkwartDeLFI 2006

Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische

Argumentation

2

ÜbersichtAnsatz für ITS: Beispiele realer Sokratischer

Dialoge - Unterstützung von Analyse & Reflexion

Lernobjekte: Mitschriften von mündlichen Verhandlungen vor dem US Supreme Court

Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen

Schwächen in Argumentationsdiagrammen – Auffindung und Rückmeldungen



Argumentation

3

Mündliche Gerichtsverhandlungen (US Supreme Court) Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor,

auf Basis derer der Fall zu entscheiden ist („Test“)

Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen)

Basis des „common law“ (USA), aber auch der höheren Instanzen des „civil law“ (Europa)



Argumentation

4

Beispiel

Lynch v. Donnelly 465 U.S. 668 (1984)

Fakten: Die Stadt Pawtucket, Rhode Island, stellte jährlich eine Weihnachtsdekoration im Einkaufsbezirk der Stadt auf. Diese beinhaltete u.a. einen Weihnachtsmann, einen Weihnachtsbaum, ein Spruchband „ Seasons Greetings“ sowie ein Krippenspiel.

Frage: Verletzte dies die konstitutionelle Trennung von Kirche und Staat?

MR. DE LUCA: With the possible exception of the cross, the nativity scene is one of the most powerful religious symbols in this country, and most certainly one of the most powerful Christian religious symbols in this country. (…) Pawtucket's purchase, the maintenance, and the erection of the fundamental Christian symbol involves government in religion to a profound and substantial degree. (…)

JUSTICE: Now, if the city did not own the crèche itself, so that everything that was contributed to the display, including the crèche, were privately owned, it wouldn't violate the First Amendment, the fact that it was right next door to the City Hall, would it?

MR. DE LUCA: I think that in understanding that the city owns all of the symbols and all of the artifacts that are contained in this display, and assuming that the crèche were purchased and paid for privately without any other explanation that it is private, then I think it would still violate the establishment clause for the First Amendment, because there is no indication to anyone looking at that that the display or the crèche is not part of the broader display which is put up and sponsored by the city. (…)

JUSTICE: Would you regard the prayer that I spoke of to your friend in the House or the Senate or in any state legislature as purely symbolic, or is it a matter of substance?

Beispiel: Tests und Hypothesen

Test

Hypothese

ÄnderungTest

Hypothese



Argumentation

6

Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil

der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele

von Experten im Sokratischen Dialog Analyse der Protokolle:

Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion

Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe)

A Tool For Graphical Argument Visualization



Argumentation

8

Typisches Diagramm(Ergebnis einer Pilotstudie)



Argumentation

9

Intelligente Unterstützung Zentrale Frage: was macht gute

Argumentationsdiagramme aus? Problem 1: Domäne des juristischen

Argumentierens ist „ill-defined“ Kein formales Domänenmodell Verschiedene Ansichten und Repräsentationen

möglich Korrektheitsbegriff schwer zu definieren

Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig



Argumentation

10

Intelligente Unterstützung Ansatz: Versuch, Anzeichen von

Schwächen (potenzielle Probleme) in Argumentationsdiagrammen zu finden.

Unterscheidung verschiedener Arten von Schwächen: Diagrammstruktur Links zwischen Diagramm und Protokoll Textinhalt der Diagrammelemente



Argumentation

11

Strukturelle Schwächen Abstrakte Struktur des Graphs, keine

Berücksichtigung von Textinhalt der Knoten und Hyperlinks zum Protokoll

Erkennbar mittels Graphgrammatik (Regeln werden deklariert und parametrisieren allgemeinen Parser)

Unabhängig von Fällen Einfache Beispiele:

Isolierte Hypothesen Kein Test-Element vorhanden



Argumentation

12

Beispiel einer strukturellen SchwächeHypothetische Szenarien

werden voneinander unterschieden, aber eine ist weder zu den Fakten noch zu einem Test in Beziehung



Argumentation

13

Kontextschwächen Erkennbar durch Analyse von Links zwischen Graph

und Protokoll Beispiele:

Wichtiger Test im Diagramm nicht vorhanden Hypothese als Test markiert

Erkennung mit Graphgrammatik möglich Regeln zu Kontextschwächen sind fallabhängig Anforderung: Analyse des Protokolls durch Experten

zur Markierung von zentralen Stellen/Passagen Keine volle Expertenlösung notwendig!



Argumentation

14

Strukturelle Schwächen und Kontextschwächen

Erlauben Spezifikation von „Lösungsteilen“: Wichtige Teile des Arguments Allgemeine Argumentationsprinzipien

Fehlen von strukturellen Schwächen und Kontextschwächen inhaltliche Qualität der Lösung ?!



Argumentation

15

Inhaltliche Analyse?



Argumentation

16

Inhaltliche Schwächen Idee:

Kollaboratives Filtern – Lerner bewerten Lösungsteile anderer Lerner als Teil ihrer Arbeit mit dem System



Argumentation

17

Inhaltliche Schwächen Ausnutzung der Tatsache, dass

das System die Verbindungen zwischen Graphelementen und wichtigen Stellen des Protokolls kennt…

Lerner A

Lerner B

Lerner C



Argumentation

18

Inhaltliche Schwächen … für die Erstellung

der Dialoge.

Lerner A

Lerner B

Lerner C



Argumentation

19

Inhaltliche SchwächenQualitätsbewertung ist zusammengesetzt aus: Basisbewertung

Wie bewertet der Lerner alternative Lösungen (deren Qualitätsschätzung das System kennt)?

Dient als sofort verfügbare Heuristik Annahme: Qualität der Lösung korreliert mit

Fähigkeit des Erkennens guter Lösungen Evaluationsbewertung

Welche anderen Lerner empfehlen die Lösung (und welche nicht)?

Entwickelt sich mit der Zeit Annahme: gewichtetes Mittel der Empfehlungen

misst Qualität



Argumentation

20

Inhaltliche Schwächen Beispiel: Ein Lerner sieht in seinem Dialog

eine gute, eine mittlere und eine schlechte Lösung.

Er empfiehlt nur die gute hohe Basisbewertung

Seine Lösung wird jedoch von keinem anderen Lerner empfohlen geringe Evaluationsbewertung Diagnose einer inhaltlichen Schwäche



Argumentation

21

Rückmeldungen Das System ermittelt Schwächen in

Argumentationsdiagrammen, z.B. Hypothesen ohne Bezug zu Tests oder den Fakten Wichtige Testversionen nicht berücksichtigt Geringe Qualität von Testbeschreibungen

Anforderungen an Rückmeldung: Vermeidung von unangebrachten Fehlermeldungen Beziehung zum aktuellen Kontext des Lerners



Argumentation

22

Form der Rückmeldungen: Aufforderungen zur Selbsterklärung

Idee: Verwende erkannte Schwächen als Aufforderung zur Selbsterklärung

Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle)

Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs – solchen, mit denen der Lernende vermutlich Schwierigkeiten hatte



Argumentation

23

Feedback as Self Explanation Prompts



Argumentation

24

Feedback as Self Explanation Prompts



Argumentation

25

Auswahl der Rückmeldungen Oft viele Schwächen gleichzeitig

diagnostizierbar (Pilotstudien: >100) mehrere Regeln (Arten von Schwächen) mehrere Passungen pro Regel (gleiche

Schwäche in verschiedenen Stellen des Diagramms)

Wozu wird Rückmeldung angeboten? Ansatz: Berücksichtige Arbeitskontext

des Lernenden



Argumentation

26

Auswahl der Rückmeldungen – Grundalgorithmus

1. Berechne alle möglichen Rückmeldungen2. Berechnung eines Prioritätsmaßes (Nähe zum

Arbeitskontext) für jede Rückmeldung3. Pro Kategorie (d.h. pro

rückmeldungserzeugender Regel in der Graphgrammatik) Bestimmung der Rückmeldung mit der höchsten Priorität

4. Wähle die fünf „Kategoriespitzenreiter“ aus

Verfahren garantiert, dass nicht zwei typgleiche Rückmeldungen, welche sich nur im Kontext im Diagramm unterscheiden, gezeigt werden.



Argumentation

27

Auswahl der Rückmeldungen – PrioritätsbestimmungFaktoren in der Prioritätsbestimmung:

Visuelle Information: sichtbarer Teil des Diagramms und des Protokollausschnittes

Zeitliche Information: letzter Zeitpunkt des Editierens von Diagrammelementen, auf welche sich eine Rückmeldung bezieht; Berücksichtigung, wann eine Passage des Protokolls das letzte Mal angezeigt wurde

Typbasierte Information: System merkt sich, wann eine Regel der Grammatik das letzte Mal Basis für eine Rückmeldung war ( niedrigere Priorität); Berücksichtigung der gleichzeitigen Passung von Rückmeldungen gleichen Typs ( höhere Priorität)

Phaseninformation: Typische wiederkehrende Verwendungsphasen (nicht notwendig in festgelegter Reihenfolge): A. Orientierung im System, B. Markierung und Verlinkung des Textes, C. Verbindung von Diagrammelementen, D. Analyse und Korrektur des Diagramms und E. Reflexion Heuristische Bestimmung der aktuellen Phase, zur Phase passende Rückmeldungen erhalten eine höhere Priorität



Argumentation

28

Auswahl der Rückmeldungen – Phasenbestimmung

Grundprinzip: Zuordnung von Rückmeldungen (Regeln) zu Phasen

Phase Beispiel für Aktivierungsbedingung einer zugehörigen Produktionsregel

A: Orientierung im System Diagramm enthält keine „Hypothesen“-Elemente

B: Markierung und Verlinkung des Textes

Keines der „Test“-Elemente im Diagramm annotiert eine wichtige Stelle im Textdokument, die die Formulierung eines Tests beinhaltet

C:Verbindung von Diagrammelementen

Ein „Test“-Element im Diagramm ist mit keinem „Hypothesen“-Element verbunden

D: Analyse und Korrektur des Diagramms

Das Diagramm enthält ein „Hypothesen“-Element, das in kausaler Beziehung („führt zu“) zu mehreren Tests steht

E: Reflexion Im Diagramm sind zwei weder direkt noch indirekt verbundene „Test“-Elemente enthalten (Rückmeldung: Anregung zur Diskussion dieses Teils des Arguments)



Argumentation

29

Auswahl der Rückmeldungen – Ansätze zur PhasenbestimmungGrammatikbasierter Ansatz (zustandsorientiert) –

bestimme Phasenwahrscheinlichkeit durch Zählung der möglichen anwendbaren Regeln pro Phase und setze dies ins Verhältnis zu den existierenden Regeln pro Phase (in unserem Fall: A:4, B:11, C:11, D:13, E:5)

Beispiel: 9 Regeln sind anwendbar, davon gehören fünf zu Phase B, eine zu Phase C und drei zu Phase E.

Heuristik für die aktuelle Benutzungsphase: P(A)=0%, P(B)=40%, P(C)=8%, P(D)=0% und P(E)=52%.



Argumentation

30

Auswahl der Rückmeldungen – Ansätze zur PhasenbestimmungAktionsbasierter Ansatz (prozessorientiert)– assoziiere

Benutzeraktionen zu Phasen (über Wahrscheinlichkeiten) und ermittle Phasenheuristik mittels Hidden Markov Modell

Phasenübergangswahrscheinlichkeiten:

(Wahrscheinlichkeiten geschätzt auf Basis der Pilotstudien, bessere Datenbasis nach erster größerer Studie)

Nach Von

A B C D E

A: Orientierung im System 0,4 0,4 0,2 0 0

B: Markierung und Verlinkung des Textes 0,1 0,3 0,3 0,1 0,2

C: Verbindung von Diagrammelementen 0,1 0,2 0,2 0,3 0,2

D: Analyse und Korrektur des Diagramms 0,1 0,2 0,2 0,3 0,2

E: Reflexion 0 0,1 0,1 0,2 0,6



Argumentation

31

Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung

Beispiel: minimale 36 erforderliche Schritte zur Erstellung des Diagramms

Viterbi-Algorithmus liefert: P(A)=7%, P(B)=18%, P(C)=18%, P(D)=28% und P(E)=29%

Auch hier Phase E am wahrscheinlichsten!



Argumentation

32

Zusammenfassung / Ausblick Juristische Argumentation: problematisches Gebiet für

traditionelle eLearning-Systeme (insbesondere ITS) Ansatz: Beispiele von Experten im Sokratischen Dialog

werden verwendet, um „gute Fragen zu stellen“: System zur Erstellung von graphischen

Argumentrepräsentationen Analyse der Diagramme auf Schwächen

verschiedener Arten (Graphgrammatik, kollaboratives Filtern)

Erkannte Schwächen Aufforderungen zur Selbsterklärung

Priorität von Rückmeldungen auf Basis des Benutzungskontextes (lokaler und zeitlicher Kontext, Rückmeldungshistorie und Benutzungsphase)



Argumentation

33

Zusammenfassung / Ausblick Pilotstudien (10 Studenten) sehr erfolgreich Oktober/November 2006: größere Studie

mit ~ 150 Studenten (1. Semester Jura) an der University of Pittsburgh

5 Konditionen geplant: Mit / ohne Rückmeldungen Individuelle / kollaborative Nutzung Zusätzliche Kontrollgruppe: Arbeit mit Text



Argumentation

34

Projektwebseite:

http://www.cs.cmu.edu/~hypoform

Email:

[email protected]

Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für...

Documents

Transcript of Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für...