Diplomarbeit Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS cand. Dipl....
-
Upload
klothilda-muhlenkamp -
Category
Documents
-
view
128 -
download
1
Transcript of Diplomarbeit Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS cand. Dipl....
Diplomarbeit
Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS
cand. Dipl. Inform. Stefan Fähnrich
Betreuer: Philipp ObreiterGutachter: Prof. Dr.-Ing. Klemens Böhm
Im Rahmen des DIANE-ProjektsUniversität Karlsruhe, Fakultät für Informatik, IPD
2
Motivation
??
?
Problem: nicht alle Teilnehmer sind vertrauenswürdig
3
Normatives EVIDIRS
• Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur
?
?
Ziel: Evaluation
Beweismittel-verwaltung
Entscheidungs-findung
Glaubens-bildung
Aktion
Quittung
Vertrag
Transaktions-protokoll
4
Existierende Evaluationswerkzeuge
DIANEmu Simuliert Ad hoc Netz Java basiert Campusszenario Bewegungsmuster &
PartionierungSimulative Cooperation Tournament (SCT)
EVIDIRS Simuliert Ablauf
Hypothesentester automatisierter Ablauf einer
bzw. mehrerer Hypothesen
Problem: woher kommen die Gegenstrategien?
5
Problemansatz
• Finden von Gegenstrategien erforderlich• Effektive Lösung zur Suche notwendig
• Idee: Turnier entwickeln– Teilnehmer als Versuchspersonen– Erzeugen immer neuer Gegenstrategien– Durch neue Teilnehmer immer neue Einsichten– Gegenstrategien werden im SCT getestet– Computerstrategien im Turnier integrieren
6
Gliederung
Motivation und Ziel• Evaluationsprozess• Entwicklung eines Werkzeugs:
Interactive Cooperation Tournament• Finden und Bewerten von Gegenstrategien• Gesamtevaluation von EVIDIRS• Zusammenfassung und Ausblick
7
Evaluationsprozess
Finden von Gegenstrategien
Analyse der Gegenstrategien
Interactive Cooperation Tournament
Simulative Cooperation Tournament
Hypothesentester
Gesamtevaluation
Integrieren
Auswahl
formulieren
9
Anforderungen an das Interactive Cooperation Tournament
Teilnehmer müssen gutes Grundverständis des Systems haben
Leicht erlernbar
Intuitive Bedienbarkeit
FAQ Forum Glossar
Avatare
Transaktionswerte
Zuordnung
Ticker
Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken
10
Anforderungen an das Interactive Cooperation Tournament
Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken
Teilnehmer müssen motiviert sein, um erfolgreich zu sein
Während des Turniers Nach dem Turnier
11
Prozessschritt 1: Finden von Gegenstrategien
• Gelegenheitsspieler: 30• Langfristige Teilnehmer: 10• Turnierlänge: 30 Minuten – 2 Stunden• Es konnten viele erfolgreiche Gegenstrategien extrahiert werden
Klassifizierung der Strategien
kurzfristig langfristig
hoherSchaden
geringerSchaden
Clever Defector
Temptation Defector
All Defector
Normative Retailiator ( p=0.30 )
Distrust Distributor
Context Defector ( p=30 )
Probability Defector ( p=0.99 )
Probability Defector ( p=0.05 )
Skimming Trust Defector ( p=0.70 )
End of Stay Defector
Normativer
Newcomer Defector
Discrimatory Defector ( p=0.15 )
12
Klassifizierung der Strategien
kurzfristig langfristig
hoherSchaden
geringerSchaden
Clever Defector
Temptation Defector
All Defector
Normative Retailiator ( p=0.30 )
Distrust Distributor
Context Defector ( p=30 )
Probability Defector ( p=0.99 )
Probability Defector ( p=0.05 )
Skimming Trust Defector ( p=0.70 )
End of Stay Defector
Normativer
Newcomer Defector
Discrimatory Defector ( p=0.15 )
Prozessschritt 1: Finden von Gegenstrategien
Betrugskriterien Context Defector: Wert Distrust Distributor: Bürgen Newcomer Defector: Typ
Nur Eigeninteresse All Defector: rein ausbeutend Clever Defector: eigene Anfragen
Betrugskriterien Skimming Trust: Vertrauenswert End of Stay: Verweildauer Probability Defector: Zufallswert Normative Retailiator: Typ Discrimatory Defector: Typ (ID)
13
• Ziel: bei gegebenen Rahmenbedingungen beste Gegenstrategie auszuwählen
• Methode: Bewertung der Gegenstrategien hinsichtlich der Rahmenbedingungen
• Betrachtete Dimensionen: Normativer Anteil, Kosten/Nutzen Verhältnis, Anzahl Transaktionen, Potientielle Partner, Rauschen
Prozessschritt 2: Bewerten von Gegenstrategien
14
Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10%
Prozessschritt 2: Bewerten von Gegenstrategien
-25
-20
-15
-10
-5
0
5
10
5 10 15 20 40
Transaktionen pro Teilnehmer
Ko
sten
der
No
rmat
ivit
ät
All Defector
Clever Defector
Probabilistic Defector(p=0.10)
Skimming Trust Defector
Distrust Distributor
Discrimatory Defector(p=0.3)
-10-8-6-4-202468
10
5 10 15 20 40
Transaktionen pro Teilnehmer
Ko
sten
der
No
rmat
ivit
ät
Clever Defector
Skimming Trust Defector
Distrust Distributor
Discrimatory Defector(p=0.3)
Betrachtete Dimension: Anzahl Transaktionen
Resultat: die erfolgreichsten Gegenstrategien
15
-25-20-15-10-505
10152025
5 10 15 20 40
Transaktionen pro Teilnehmer
Ko
sten
der
No
rmat
ivit
ät
All Defector
Clever Defector
Probabilistic Defector(p=0.10)
Skimming TrustDefector
Distrust Distributor
Discrimatory Defector(p=0.3)
Prozessschritt 2: Bewerten von Gegenstrategien
-25
-20
-15
-10
-5
0
5
10
5 10 15 20 40
Transaktionen pro Teilnehmer
Ko
sten
der
No
rmat
ivit
ät
All Defector
Clever Defector
Probabilistic Defector(p=0.10)
Skimming Trust Defector
Distrust Distributor
Discrimatory Defector(p=0.3)
Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10%
Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 3 Nutzen: 50, Kosten: 17 Rauschen: 10%
Variation der Transaktionspartner
16
Prozessschritt 2: Bewerten von Gegenstrategien
Auswahlmodul Entscheidungsbaum Übergangsfunktionen
StrategienRahmenbedingungen
Auswahlmodul
Strategie 1
Strategie 2
Strategie n
•
• •
•
• •
Integration der Bewertungen
Verbesserung:
17
Prozessschritt 3: Gesamtevaluation
Grundeinstellungen: Teilnehmer: 100 Transaktionspart.: 10 Nutzen: 5, Kosten: 1 Rauschen: 10%
0.1 0.5 0.95.0
20
35
Betrachtete Dimensionen: Anteil Normativer Transaktionen
Hypothese:Kosten der Normativität < 3 Transaktionen
18
Zusammenfassung
• Motivation - Repuationssystem notwendig um Betrüger zu erkennen.
• Entwicklung des Interactive Cooperation Tournaments als Werkzeug zum Finden von Gegenstrategien.
• Evaluationsprozess Finden von Gegenstrategien Bewerten der Gegenstrategien Gesamtevaluation
19
Ausblick
Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf
Untersuchung von schwachen Identitäten interessant
Psychologische Aspekte
Modellierung der Verteilungsfunktionen für Güter interessant (Monoplystellung, etc...)
20
Ende und Diskussion
Vielen Dank für die Aufmerksamkeit
21
Anhang
22
Gesamtevaluation
Kombinierbar-keit
Probabilistic Defector
Context Defector
Skimming Trust Defector
Normative Retailiator
Distrust Distributor
End of Stay
Discrimatory Defector
Newcomer Defector
Probabilistic Defector -
Context Defector -
Skimming Trust Defector
-
Normative Retailiator -
Distrust Distributor -
End of Stay -Discrimatory Defector -
Newcomer Defector -
Temptation Defector
< >< >
< >< >
< >< >
< >
< >< >
< >
< >< >< >< >
>< >
< >< >
<
< >
< >> >
>
>
< >>
>
>
> > > >>
>
29
Anteil Normativer - Transaktionszahl
Normative 10%
0
5
10
15
20
5 10 15 20 40
Transaktionen pro Teilnehmer
Co
mp
lian
ce C
ost
s
All Defector
Clever Defector
Prob Defector a=10
Skimming Trust 0.7
Distrust Distributor
DiscrimantoryDefector p=0.3
Normative 50%
-6-4-202468
101214
5 10 15 20 40
Transaktionen pro Teilnehmer
Co
mp
lian
ce C
ost
s
All Defector
Clever Defector
Prob Defector a=10
Skimming Trust 0.7
Distrust Distributor
DiscrimantoryDefector p=0.3
-25
-20
-15
-10
-5
0
5
10
5 10 15 20 40
Transaktionen pro TeilnehmerK
ost
en d
er N
orm
ativ
ität
All Defector
Clever Defector
Probabilistic Defector(p=0.10)
Skimming Trust Defector
Distrust Distributor
Discrimatory Defector(p=0.3)
30
Robustheit gegenüber destruktiven Gegenstrategien
Grundeinstellungen: Teilnehmer: 50 % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10
5 10 15 20 30
Transaktionen pro Teilnehmer
Tra
nsa
ktio
nsw
ert
Normative n=0.1
Uncooperative n=0.00
Uncooperative n=0.10
Uncooperative n=0.20
Clever Defectorn=0.10
Probabilistic Defectora=0.95,n=0.10
31
Robustheit gegenüber destruktiven Gegenstrategien
Grundeinstellungen: Populations: 50 Rauschen: 10% % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10
0
0.1
0.2
0.3
0.4
0.5
0.6
5 10 15 20 30
Transaktionen pro Teilnehmer
Ver
trau
ensw
ert
Clever Defector
Probabilistic Defectora=0.95
Uncooperative
Normative (g=10)
Normative (g=1)
32
Maximaler Anteil Uncooperative
Vertrauensgewicht 1
0
0.1
0.2
0.3
0.4
0.5
0.6
5 10 15 20 30
Ver
trau
ensw
ert
Uncooperative 20%
Uncooperative 40%
Uncooperative 60%
Grundeinstellungen: Populations: 50 Rauschen: 10% mögliche Transaktionspartner: 1
Vertrauensgewicht 10
0
0.1
0.2
0.3
0.4
0.5
0.6
5 10 15 20 30
Vert
rau
en
sw
ert
20% Uncooperative
40% Uncooperative
60% Uncooperative
80% Uncooperative
33
• Integration der Gegenstrategien in einen automatischen Auswerter
Profiler Strategien
Benchmark
Designpoint
Prozessschritt 1: Finden von Gegenstrategien
34
Unterschiede Simulator - ICT
• Vereinfachung– Geld statt Partneraktion– Keine Inkonsistenzen– Keine Eigenwechsel
• Änderungen– Beweismittelspeicherung
• Weitere Unterschiede– Partionierung nur emuliert– Skalierbarkeit
35
ICT
• Teilnehmeranzahl: 30• Langfristige Teilnehmer: 10• Turnierlänge: 30 Minuten – 2 Stunden
Anforderungen:• Teilnehmer über längeren Zeitraum zu
motivieren.• Alle Module müssen vermittelt werden• Kein Siegereffekt
36
ICT3 – Näher Betrachtet
Intuitive Bedienbarkeit
Avatare
Transaktionswerte
Zuordnung
Leicht erlernbar FAQ Forum Glossar
Feedback/Motivation Statusfigur als Feedback
Highscore
Ticker
37
Ausblick
Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf
Vertrauenswerte sehr unintuitiv Bürgschaften sehr wichtig Informationsaufbereitung für Menschen
Untersuchung von schwachen Identitäten interesant (bereits im ICT und Simulator integriert)
38
ICT 3 – Näher Betrachtet (1)
ICT SCT
Transaktionsentscheidung aufsparbar Jetzt oder nie
Transaktionsablauf nacheinander
Partitionierung emuliert (zufällig) simuliert
(durch Bewegung)
Nachrichtenversand nur bei neuen Transaktionsmöglichkeiten
andauernd
Produktion + -Beweismittelspeicherung Unlimitiert Fixed
(Least Recently Used)
Eigenwechsel - +Anzahl Actions in return Eine viele
Inkonsistenz möglich - +Systemgröße beschränkt beliebig
Partneraktion Geld (bzw. Calorien) Aktion
menschliche Teilnehmer + -
39
Klassifizierung der Gegenstrategien (2)
Name Transaktions-werte
Vertrauens-werte
Eigene Bürgen
Bürgen des Gegenübers
Shadow of the future
Partner
Probabilistic Defector
- - - - - -
Context Defector
- - - - -
Skimming Trust Defector
- - - - -
Normative Retailiator
- - - - -
Distrust Distributor
- - - - -
End of Stay - - - - -
Discrimatory Defector
- - - - -
Newcomer Defector
- - -
Temptation Defector
40
Gefundene Gegenstrategien
Clever Defector Temptation Defector Skimming Trust Defector End of Game Defector Context Defector Batch Defector -> neues Problem Probability Defector Distrust Distributor Normative Retailiator Newcomer Defector
41
Kalorientabelle
9696Banane
5040Apfel
16080Donut
211160Eis
5527,5Karotte
333308Pommes
259246Hamburger
816272Pizza
240266Kuchen
Portion100g
42
UbiBay
43
Testen der Einstellungen
An
zah
l Tra
nsa
kti
on
en
Normative
20% 100%60%
100
55
1
Ab 50 Transaktionen testen
44
6 Wege Protokoll
Vertrag
Quittung
Aktion
Aushandeln
45
Trust Kernel
46
Literatur
H. Frey, D. Gorgen, J. K. Lehnert, and P. Sturm. Erfahrungsberichtzur praktischen umsetzung eines auktionssystems für großfächige mo-bile multihop ad-hoc-netzwerke. In GI Betriebssysteme, Frühjahrstre®en2003, Erlangen, April, 2003.
C. M. Jonker, J. J. P. Schalken, J. Theeuwes, and J. Treur. Humanexperiments in trust dynamics. In iTrust, pages 206{220, 2004.
S. Buchegger, L. Boudec, and J.-Y. L. Boudec. Core: A collaborativereputation mechanism to enforce node cooperation in mobile ad hoc net-works. In Proceedings of The 6th IFIP Communications and MultimediaSecurity Conference, Portorosz, Slovenia, September 2002.
S. Buchegger and J.-Y. L. Boudec. Performance analysis of the confidantprotocol: Cooperation of nodes - fairness in dynamic ad-hoc networks.In Proceedings of MobiHoc, 2002.
P. Obreiter, S. Fähnrich, and J. Nimis. How social structure improvesdistributed reputation systems - three hypotheses. In Third Intl. Work-shop on Agents and Peer-to-Peer Computing (AP2PC'04), To appear inpost-proceedings, New York, 2004.
47
Interactive Cooperation Tournament
• Erstellen einer Webapplikation– Turnier welches Simulator nachempfunden ist
– Miterleben des Ablaufs
– Menschliche Teilnehmer als „Mitarbeiter“
Anfänglich gut Akzeptanz – Aber kein „Langzeitspaß“
ICT 1 rein textbasiert
Avatare, Partitionierung, Computerspieler
Neues Design, FAQ und Glossar
ICT 2
ICT 3
Zu komplex
Sehr gute Akzeptanz
48
Motivation
Autonome mobile Geräte bilden spontan ein offenes Kommunikations-Netz mit Selbstverwaltung
Teilnehmer möchten Dienste in Anspruch nehmen
Reputationssystem soll Robustheit sichern
Problem:Ändern der Einstellungen führt eventuell zu neuen Problemen
Finden von neuen Gegenstrategien
Testen von Gegenstrategien
49
50
51
Normatives EVIDIRS
• Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur
• Normen als Handlungsvorschriften
Vertrag
Transaktionsprotokoll
Reputationssystem
Teilnehmer
Beweismittelverwalter
Aktion
Quittung