Digitale Ethik - · • Digitale Ethik by Design • Etablierung eines Verhaltenskodexes •...

Julia Jessen – Avanade General Counsel Europe

Oktober 2018

Digitale Ethik

©2017 Avanade Inc. All Rights Reserved.


2



3



4

We looked at the risk scores the program spit out for more than 7,000 people arrested in Broward County, Florida in 2013 and 2014. We checked to see how many defendants were charged with new crimes over the next two years — the same benchmark used by the creators of the algorithm. Our analysis showed:

• The formula was particularly likely to falsely flag black defendants as future criminals, wrongly labeling them this way at almost twice the rate as white defendants.

• White defendants were mislabeled as low risk more often than black defendants.

James Rivelli, 53.

In August 2014, Rivelli allegedly shoplifted seven boxes of Crest Whitestrips from a CVS. An employee called the police. When the cops found Rivelli and pulled him over, they found the Whitestrips as well as heroin and drug paraphernalia in his car. He was charged with two felony counts and four misdemeanors for grand theft, drug possession, and driving with a suspended license and expired tags.

Past offenses: Assault for domestic violence in 1996, theft in 1996 and 1998 and drug trafficking.

COMPAS score: 3 — low

Subsequent offense: In April 2015, he was charged for theft in the 3rd degree for shoplifting about $1,000 worth of tools from a Home Depot.

Robert Cannon, 18.

In December 2013, Cannon was caught shoplifting a cell phone and two pairs of headphones from a Wal-Mart (together valued at $171.52), and was charged with petty theft.

Past offense: One earlier petty theft in Miami in 2012.

COMPAS score: 6 — medium

Subsequent offenses: None.

https://www.propublica.org/article/what-algorithmic-injustice-looks-like-in-real-life

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

https://www.propublica.org/article/what-algorithmic-injustice-looks-like-in-real-life



5

https://www.gedmatch.com/tos.htm



6

https://www.nytimes.com/2018/06/01/technology/google-pentagon-project-maven.html


7

Warum digitale Ethik wichtig ist

• Moderne Technologien werfen neue Fragen auf

• Verantwortung und Chancen

• Alte und neue Antworten

• Digitale Fürsorge Ethik

• Was der Markt über digitale Ethik denkt

Digitale Ethik bei Avanade

• Die vier Säulen der digitalen Ethik

• Beispiel: Kodex für Ethik und professionelles Verhalten

• Wie man digitale Ethik in ein Unternehmen implementiert

Weitere Beispiele

Agenda



8

Moderne IT wirft neue Fragen aufEs geht hauptsächlich um KI, aber

nicht nur um KI: Die zunehmende

Nutzung und Kombination von

Cloud, Big Data und KI löst neue

ethische Fragen aus oder bringt

bekannte Fragen auf eine neue

Ebene.

Sie werden neue Marktchancen

schaffen und die Lösung großer

gesellschaftlicher Probleme

unterstützen.

Aber wir müssen dieser Zukunft

kritisch entgegensehen. Es wird

sowohl Herausforderungen als

auch Chancen geben.

Neue Szenarien, die wir

adressieren müssen:

• Erhebliche unbeabsichtigte Folgen

• Verstärkungseffekt

• Vor allem entlang der Vertriebskette kann es zu schweren Schäden kommen

• Ist das System selbst oder der Eigentümer oder Ersteller, der diese Entwicklung hätte vorhersehen können, verantwortlich?



9

Verantwortung und Chancen

„Maschinen an sich verletzen keine Menschen“ oder „Alles kann

für gute und schlechte Zwecke verwendet werden“ funktioniert

nicht.

Die Marktwahrnehmung ist breiter, vor allem für KI

• Der Verwendungszweck ist breit, selbstlernend und anpassungsfähig

• Fortwährende Verantwortung, der Anwender kann keine Probleme

vorhersehen oder beheben

• In der Regel keine Schulung des Benutzers

• Benutzer benutzt die Maschine nicht, sondern interagiert mit ihr

• Das System weicht schnell von seiner ursprünglichen Programmierung

ab

Digitales Vertrauen ist ein wichtiger Verkaufsfaktor

• Zunehmender öffentlicher Diskurs wird durch berechtigte und

ungerechtfertigte Sorgen und Ängste angetrieben

• Wenn Menschen der Technologie nicht vertrauen, werden sie weniger

wahrscheinlich zur Entwicklung dieser Systeme beitragen und sie nutzen

• Abwärtsspirale: Nicht häufig verwendet = keine Daten = schlechte

Produkte = noch weniger verwendet

• Gut publizierte Negativpresse

Aber: Gute Möglichkeit zur Differenzierung von

Unternehmen und deren Produkten und Marken



10

Alte und neue Antworten Moderne IT Systeme müssen heute bereits ein breites Spektrum an weltweiten Gesetzen einhalten, die Produkthaftung, Fairness, Datenschutz und dergleichen regeln. Sie sind von diesen Gesetzen nicht ausgenommen.

Aber wir müssen noch klare Grundsätze entwickeln und verabschieden, die durch geltendes Recht nicht behandelt werden. Ethische Regeln werden die Entwicklung neuer Gesetze prägen. Einige hiervon können umgesetzt werden, andere zu ethische Leitlinien bleiben werden.

Politische Entscheidungsträger, Forscher, Wissenschaftler, Wirtschaftsführer und Vertreter von Non-Profits müssen hierbei eng zusammenarbeiten.

Die Situation ist ähnlich wie in den frühen Tagen des Datenschutzes oder der Fahrzeugsicherheit.



11

Digitale Fürsorge EthikIn anderen Bereichen gibt es gut

entwickelte ethische Systeme: Medizinische

Ethik, Rechtsethik, Militärethik,

Wissenschaftsethik,

Rechnungslegungsethik, Bildungsethik usw.

Anwenden der Prinzipien der Fürsorge Ethik:

Nicht per se auf Gut oder Böse fokussiert,

sondern „Wie übernehmen wir Verantwortung

für die Folgen unseres Handelns, selbst wenn

sie unbeabsichtigt sind“

Ethik in der IT bis heute:

• Relativ unausgereift, oft wertneutral, Entwicklung durch eine schnell wachsende Wirtschaft, flexible Geschäftsmodelle, der Geist einer „freien Gemeinschaft“ und hohe Kaufkraft der Nutzer

• Relativ entwickelt für Computerethik, Internetethik und Informationsethik, oft bereits in Leitlinien gefasst und Ursprung der heutigen Datenschutz- und Sicherheitsgesetze

Empathisch sein + Verantwortung übernehmen + Kompetenz zeigen = Vertrauen fördern



12

Was der Markt über Digitale Ethik denkt

89 % gaben an, dass sie bereits in ein ethisches Dilemma geraten

sind, das durch den zunehmenden Einsatz intelligenter

Technologien und digitaler Automatisierung verursacht wurde

87 % gaben an, dass sie nicht fähig waren diese ethischen

Bedenken zu adressieren

• 40 % der japanischen und 26 % der europäischen Befragten gaben an,

dass sie mehr als einmal ein ethisches Dilemma erlebten, verglichen mit

21 % der Befragten weltweit

Auf die Frage, welche Eigenschaft bei der Auswahl eines Partners

wichtiger wäre - Vertrauenswürdigkeit oder Erschwinglichkeit -

entschied sich die Mehrheit der Befragten aus 6 von 7 Zielländern

für Vertrauenswürdigkeit

Obwohl fast alle Befragten (99 %) den Druck verspürten, die

Herangehensweise ihres Unternehmens an die digitale Ethik zu

verbessern, gibt es unterschiedliche Quellen für diesen Druck

• In den USA wuchs dieser Druck hauptsächlich durch Kundennachfrage, in

Australien durch Industrienormen, in Europa und Japan durch öffentliche

Richtlinien und staatliche Vorschriften und in Kanada durch interne

Beteiligte und Führungskräfte

Jüngste Avanade-

Umfrage mit 800

Entscheidungsträgern

auf C-Ebene und im IT-

Bereich in Australien,

Kanada, Frankreich,

Deutschland, Japan,

Großbritannien und den

Vereinigten Staaten



13

Die vier Säulen der digitalen Ethik von Avanade

• Transparent

• Das digitale Vertrauen verbessernd

• Sicher

• Digital Ethik by Design

• Robust und dynamisch

• Feedbackschleife

• Lernt aus Fehlern

• Überprüfbar

• Menschen, die letztendlich verantwortlich sind

• Menschen wandten Mitgefühl, Empathie und gesunden Menschenverstand an

• Bewahrt die Würde des Menschen

• Gestaltet eine bessere Informationsgesellschaft

• Keine rechtswidrige oder unethische Diskriminierung

• Keine Stigmatisierung, Stereotypen, Segregation oder Ausgrenzung

• Entspricht Datenschutz- und Sicherheitsvorschriften

Fair & Einbeziehend

Menschliche Verantwortlichkeit

VertrauenswürdigAnpassungsfähig

Digitale Ethik


14

Microsofts Herangehensweise


15

• Digitale Ethik darf keine Theorie sein

• Digitale Ethik by Design

• Etablierung eines Verhaltenskodexes

• Richten Sie eine zentrale Stelle ein, die ethische Herausforderungen prüft und entscheidet.

• Idealerweise nutzen Sie eine bestehende Ethikkommission neben einer speziellen Task Force für digitale Ethik.

• Wie bei allen ethischen Problemen sollten Mitarbeiter die Möglichkeit haben, Probleme über die Hotline für digitale Ethik - bei Bedarf - anonym zu eskalieren.

Operationalisierung der digitalen Ethik


16

1. ALLGEMEINE MORALISCHE IMPERATIVE.

• Tragen Sie zur Gesellschaft und zum Wohlergehen von Menschen bei.

• Vermeiden Sie Schäden für Andere.

• Seien Sie ehrlich und vertrauenswürdig.

• Seien Sie fair und ergreifen Sie Maßnahmen, um nicht diskriminierend zu handeln.

• Erkennen Sie Eigentumsrechte einschließlich Urheberrechte und Patente an.

• Geben Sie dem geistigen Eigentum die passende Anerkennung.

• Respektieren Sie die Privatsphäre Anderer.

• Belohnen Sie Vertraulichkeit.

Beispiel: ACM-Kodex für Ethik und professionelles Verhalten

2. BESONDERE BERUFLICHE VERANTWORTLICHKEITEN.

• Streben Sie nach höchster Qualität, Effektivität und Würde sowohl im Prozess als auch in den Produkten der professionellen Arbeit.

• Erwerben und wahren Sie Fachkompetenz.

• Kennen und respektieren Sie die geltenden Gesetze hinsichtlich einer professionellen Arbeit.

• Akzeptieren Sie eine angemessene professionelle Bewertung und stellen Sie diese zur Verfügung.

• Führen Sie umfassende und gründliche Bewertungen der Computersysteme und ihrer Auswirkungen durch, einschließlich der Analyse möglicher Risiken.

• Respektieren Sie Verträge, Vereinbarungen und zugewiesene Verantwortlichkeiten.

• Verbessern Sie das öffentliche Verständnis von Computern und deren Folgen.

• Greifen Sie nur dann auf Rechen- und Kommunikationsressourcen zu, wenn Sie dazu berechtigt sind.

Als Mitglied werde ich:

3. EINHALTEN DER RICHTLINIE.

• Wahren und fördern Sie die Grundsätze dieses Kodexes.

• Behandeln Sie Verstöße gegen diesen Kodex als unvereinbar mit der Mitgliedschaft im ACM.

Weitere Informationen: https://ethics.acm.org/code-of-ethics/


17

Interne Expertise und Kommunikation


18

Interne Expertise und Kommunikation

<Confidential> See Avanade’s Data Management Policy©2018 Avanade Inc. All Rights Reserved.

19

Beispiele

Probleme mit Schulungsdaten

• Es besteht eine medizinisch unbegründete Korrelation zwischen zwei Datengruppen, wie z. B. Geschlecht und Sterblichkeitsrate bei Personen mit einem bestimmten Symptom. Ein KI-basiertes Tool, das die Dringlichkeit einer Operation auf Grundlage dieser Daten bestimmt, könnte die beiden Datengruppen verknüpfen und für einen chirurgischen Eingriff eine falsche Empfehlung abgeben. Es werden medizinisches Fachwissen und gesunder Menschenverstand erforderlich sein.

• Das HR-Tool zum Scannen von Lebensläufen wird unter Einsatz vorhandener Daten geschult. Das Ergebnis wird den bisherigen Auswahltrend fortsetzen und könnte diesen ausweiten, einschließlich eventueller Diskriminierungen.

Datenschutz

• Personenüberwachung in Großbritannien und Berlin.

• Antrag auf Offenlegung der Bewegungsdaten für jedes Fahrzeug in den Niederlanden von Tiefgaragen an die Steuerbehörden, um private Fahrten und mögliche Steuerhinterziehungen festzustellen. Bestätigt von einem Gericht, wird noch immer öffentlich diskutiert.

• Unternehmen meldet Mitarbeiter wegen der online Shopping für einen Rucksack und einen Schnellkochtopf, da bei den Bombenanschlägen in Boston beides verwendet wurde.

https://avanade.sharepoint.com/sites/policies/Policies2/Data Management/1431_DataManagement.pdf



20

Beispiele

VerbrechenKI hat „Killer Robots“ möglich gemacht - nur Science Fiction oder der logische nächste Schritt in einer Entwicklung, bei welcher der Verbrecher immer weiter vom Opfer entfernt ist (Hände - Waffe -Drohne - intelligenter Roboter)?

Freier Wille• Technologie blockiert oder

verbietet bestimmte Nutzungen in bestimmten Kontexten: Vernetzte Autos verweigern die Beschleunigung, Mobiltelefone können während der Fahrt nicht benutzt werden, Shopping-Apps können auf Wunsch der Krankenkasse den Einkauf von salzigen, fettigen oder zuckerhaltigen Snacks verweigern.

• Facebook hat mit der Platzierung oder Zurückhaltung von Benutzerinteraktionen experimentiert, um zu sehen, ob sie die Stimmungen der Benutzer beeinflussen würden.

Governance• Sind Hacker Helden oder

Kriminelle?

• Britische Regierung diskutiert Internetfilter - Zensur oder gesunde Maßnahme?



21

Beispiele

Transparenz• Google-Chef Sundar Pichai ließ

während einer Konferenz einen Anruf durch einen Bot tätigen, ohne offenzulegen, dass ein Bot anrief. Eine weibliche Stimme hat erfolgreich einen Tisch in einem Restaurant reserviert. Das Publikum jubelte über das scheinbar banale Gespräch. In den sozialen Medien hielten sich zwei Reaktionen die Waage: Die eine Hälfte war begeistert, die andere entsetzt. „Das ist schrecklich und so offensichtlich falsch“

• Anmerkung: Es ist nicht klar, ob diese Geschichte völlig korrekt ist. Aber sie wirft eine gute Frage auf, ob sich Bots selbst identifizieren müssen. Denken Sie an das Betrugspotenzial durch gefälschte Anrufe unter Verwendung der Stimmen von Einzelpersonen.

Überwachung• Nachverfolgung von

Mitarbeiterleistung: Amazon-Tracking-Armband und alte Klick Diskussionen

• Eine Schule in der chinesischen Provinz Hangzhou testet ein Gesichtsausdrucksystem: Drei Kameras beobachten die Schüler und interpretieren ihren Gesichtsausdruck. Sollte die Software glauben, ein unaufmerksames Kind erkannt zu haben, wird der Lehrer informiert. „Da die Kameras im Klassenzimmer hängen, wage ich es nicht mehr, mich ablenken zu lassen“, sagte ein Schüler. „Es ist, als würden mich die ganze Zeit ein paar Augen beobachten.“



23

• Sie ist transparent.• Sie verstärkt oder zumindest schädigt nicht das digitale Vertrauen

der Menschen in sie und ihre Herkunft. Digitales Vertrauen ist die allgemein anerkannte Annahme, dass die digitalen Praktiken einer Marke zuverlässig, fähig, sicher, transparent und wahrheitsgemäß sind.

• Sie gibt an, ob Sie es mit einer Maschine oder mit einem Menschen zu tun haben.

• Sie ist sicher in der Anwendung.• Sie darf einen Menschen weder verletzen noch einen Menschen

durch Untätigkeit zu Schaden kommen lassen.• Sie erfüllt ihre Funktion effizient, außer wenn dies zu Schäden

führen würde.• Sie gehorcht den Befehlen, die ihr von Menschen erteilt werden,

außer wenn diese Befehle Schaden anrichten würden.• Sie ermöglicht eine algorithmische Rechenschaftspflicht, so dass

Menschen unbeabsichtigte Schäden rückgängig machen können.• Sie wurde gemäß Design mit digitaler Ethik konstruiert. Dabei

wurden während des Designs alle Elemente berücksichtigt, um sie ethisch konform zu machen.

• Ihr Design begann mit dem, was für den Benutzer am besten ist, und nicht mit der Technologie an sich oder finanziellen Erwägungen.

• Sie hat Flexibilität eingebaut, da sich Ethik, Dilemmata und die Akzeptanz entwickeln und verändern werden. Digitale Ethik-Frameworks müssen sowohl robust als auch dynamisch sein.

• Sie enthält eine Feedbackschleife, in der Fragen oder Bedenken zur digitalen Ethik kommuniziert, bearbeitet und an den oder die Anfragenden zurückgemeldet werden können.

• Sie lernt aus Fehlern und korrigiert diese kontinuierlich.

• Sie ist überprüfbar.

• Sie stellt sicher, dass ein Mensch letztlich für das Ergebnis einer computergenerierten Diagnose oder Entscheidung verantwortlich ist.

• Die damit verbundenen ethischen Dilemmata wurden von Menschen - nicht von Maschinen -überprüft und gelöst. Die Menschen wandten bei der Lösung aller ethischen Dilemmata Mitgefühl, Empathie und gesunden Menschenverstand an.

• Sie bewahrt die Würde des Menschen. • Sie gestaltet letztlich eine bessere

Informationsgesellschaft: Offen, pluralistisch, tolerant, gleichberechtigt und gerecht.

• Sie gilt nicht als und führt nicht zu rechtswidriger oder unethischer Diskriminierung.

• Sie wendet keine Filterblase an. Sie gilt nicht als und führt nicht zu einer Risikostigmatisierung, mit der bestehende Stereotypen, soziale und kulturelle Segregation und Ausgrenzung verstärkt werden.

• Sie entspricht den Grundsätzen des Datenschutzes und der Sicherheit.

Fair & Einbeziehend

Menschliche Verantwortlichkeit

VertrauenswürdigAnpassungsfähig

Digitale Ethik



24

5 Ethikgrundsätze für Big-Data-Analysten

Lebenszyklus der Daten

Verwendung

Sammlung

VerarbeitungGovernance

Spei-cherung

Analytik

1 FairHaben wir die möglichen Auswirkungen unserer Datennutzung beachtet?

2 RespektvollSind wir transparent und integrativ?

5 NützlichNutzt unsere Verwendung der Daten den Verbrauchern ebenso sehr wie uns?

4 FortschrittlichSuchen wir mit unserer Lösung nach Verbesserungen?

3 NachhaltigWird die Arbeit mit den Daten im Laufe der Zeit nachhaltig durchgeführt?

Digitale Ethik - · • Digitale Ethik by Design • Etablierung eines Verhaltenskodexes •...

Documents

Transcript of Digitale Ethik - · • Digitale Ethik by Design • Etablierung eines Verhaltenskodexes •...