Selbstermächtigung in der digitalen Weltordnung

edition suhrkampSV

Reclaim Autonomy

Inhalt

Vorwort von Jakob Augstein 7

Grußwort von Martin Schulz 17

I. Demokratie im digitalen Zeitalter

Yvonne HofstetterSoziale Medien: Wer Newsfeeds auf Werbeplattformen liest,

kann Propaganda erwarten, aber nicht die Wahrheit 25

Saskia SassenWenn bewundernswerte sozio-technische Fähigkeiten

handfeste Brutalitäten hervorbringen 39

Primavera De Filippi»In Blockchain We Trust«: Vertrauenslose Technologie für eine

vertrauenslose Gesellschaft 53

II. Die Macht digitaler Konzerne

Constanze Kurz und Frank RiegerAutonomie und Handlungsfähigkeit in der digitalen Welt:

Crossing the »creepy line«? 85

Evgeny MorozovBig Tech und die Krise des Finanzkapitalismus 99

Wolfgang Hoffmann-RiemRe:claim Autonomy:

Die Macht digitaler Konzerne 121

III. Wie Technologie unser Denken beeinflusst

Jan KalbitzerAngst und Wut im Internet als Entfesselung der Impulse durch

die Moderne 143

Daniel SuarezWie die Technik unser Denken verändert:Unser Geist in den sozialen Medien 155

Shoshana ZuboffAuf der Suche nach dem autonomen Selbst 167

Nachwort von Gerhart BaumAutonomie – Überlebensfrage der Demokratie 173

Über die Beiträgerinnen und Beiträger 187

Vorwort

Jakob Augstein

Es wäre ein Irrtum, das Zeitalter der Globalisierung ausschließ-lich für eines der Grenzüberschreitung zu halten. Es ist im sel-ben Umfang ein Zeitalter neuer Grenzziehungen. Grenzen sindkein Phänomen des Raumes, sondern eine gesellschaftliche Wirk-lichkeit, die im Raum erscheint. Wir teilen die Welt ja immer-zu ein. In Gläubige und Ungläubige. In Kommunisten und uns.Oder, neueste Variante, in Autoritäre und Liberale. Wenn manunsere Geschichte auf diese Weise erzählt, dann stehen auf dereinen Seite die Furchtsamen und auf der anderen die Freien, hierdie Feindlichen, dort die Friedlichen, und wer sich als Men-schenfreund begreift, weiß, wo sein Platz ist. Die Seiten Gutund Böse sind klar verteilt, und die Bösen stehen drüben.

Der große Konflikt der Gegenwart handelt also von Gren-zen. Es gibt gute Grenzen und gute Gründe, Grenzen einzu-reißen, und es gibt schlechte Grenzen und schlechte Gründe,Grenzen zu halten. Was eine gute und was eine schlechte Gren-ze ist, entscheidet sich danach, was aus welchem Grund einge-schlossen und was aus welchem Grund ausgeschlossen wird.Denn das ist ja das Wesen der Grenze, einschließen und aus-schließen. An der Antwort bemessen sich nach wie vor unsereIdentität und Integrität.

Zum Nachdenken über die Grenze gehört die Erkenntnis,dass Grenzüberschreitung nicht an sich gut ist. Und Grenz-

schutz – um das schlimme Wort zu benutzen – nicht an sichschlecht. Der Gedanke fällt schwer. Er widerspricht einem demWesten eigenen Prinzip: dem Universalismus. Grenzen sind mitdem Universalismus schwer zu vereinbaren. Ein Nonplusultradarf es eigentlich nicht geben. Wer liberal denkt, wähnt sich dar-um in einem natürlichen Bündnis mit den Kräften der Grenz-überschreitung, mit den Kräften des Internationalismus. Aberdie können sich als gefährliche Verbündete erweisen.

Die größte Grenzüberschreitung der Gegenwart ist die Digi-talisierung. An sie knüpfte sich einst die Utopie von Freiheit undGleichheit und Gerechtigkeit. Es besteht immer noch und zuRecht eine große Faszination für die ungeheure Leistungsfähig-keit der Maschinen, für die schier grenzenlosen Möglichkeitenihres Einsatzes. Denn die Fantasie kennt buchstäblich keineGrenzen und keinen Horizont für diese Leistungsfähigkeitund für diese Einsatzmöglichkeiten.

Es gibt immer noch diesen Sog der Zukunft, den Rausch desWandels, das Brausen aus Zerstörung und Schöpfung. Aber esgeht dabei nicht mehr um den großen emanzipatorischen Traumvom Netz. Der ist ausgeträumt. Hoffnung birgt die Digitalisie-rung nur noch für jene, die ihr Portefeuille mit den Aktien derTechnologiekonzerne gefüllt haben. Die anderen beobachten siemit Furcht – oder ertragen sie mit Gleichgültigkeit. Es ist zuspät, vor den Gefahren zu warnen. Sie sind bereits eingetreten.

Nun geht es um die zunehmend bange Frage: Was wird ausdem Menschen, wenn die Maschinen das Denken übernehmen?Was wird aus uns? Die Zeit für Gegenwehr ist gekommen. Wirdsie erfolgreich sein? Und vor allem: Welchen Charakter wird siehaben?

Die Beiträge, die in diesem Buch versammelt sind, behandelndiese Fragen. Das Buch geht auf eine Tagung der Rudolf-Aug-stein-Stiftung im Herbst 2016 zurück. Sie war dem Andenkendes zwei Jahre zuvor gestorbenen Herausgebers der FrankfurterAllgemeinen Zeitung Frank Schirrmacher gewidmet. Freunde

8 Vorwort

und Weggefährten versammelten sich in einer zum Kongress-zentrum umgewandelten Kirche und sprachen einen Tag langüber das,was auf dem Spiel steht. Die Informatikerin ConstanzeKurz war dabei, der Wissenschaftshistoriker Evgeny Morozov,der frühere Minister Gerhart Baum, der spätere Kanzlerkan-didat der SPD Martin Schulz und noch viele andere, denen ge-meinsam war, dass sie zu Frank Schirrmachers weitem Kosmosder Dritten Kultur gehörten: jenem intellektuellen Großprojekteiner Universalanalyse der Gegenwart, das durch Schirrma-chers frühen Tod jäh unterbrochen wurde.

Schirrmacher erkannte früherals andere, dass der Totalitaris-mus der Digitalisierung und ihrer Protagonisten eine ebensouniverselle, allumfassende Antwort verlangt. Darum machteer sein Feuilleton zur intellektuellen Werkbank der Kritik derdigitalen Moderne. Das war ein zutiefst politisches Projekt –vielleicht zu seinem eigenen Erstaunen. Schirrmacher war keinLinker. Aber im Angesicht des versagenden Liberalismus warsein Projekt der Verteidigung der menschlichen Autonomieund der Rückeroberung des Politischen ein linkes Projekt.

Im Spiegel wurde er einmal gefragt: »Würden Sie es als Belei-digung empfinden, wenn man Sie heute als links bezeichnet?«Schirrmacher antwortete: »Beleidigung? Darauf käme ich so-wieso nicht. Ich finde auch nicht, dass ich mich verändert habe.Ich bin wie wir alle nur Zeuge eines Denkens, das zwangsläufigin die Privatisierung von Gewinnen und die Vergesellschaftungvon Schulden führte.«

Die schiere Amoralität des modernen Kapitalismus ließ Schirr-macher nicht so sehr zu einem Kritiker dieses Kapitalismuswerden – sondern am eigenen Konservatismus zweifeln: »DieKrise der sogenannten bürgerlichen Politik, einer Politik, diedas Wort Bürgertum so gekidnappt hat wie einst der Kom-munismus den Proletarier, entwickelt sich zur Selbstbewusst-seinskrise des politischen Konservatismus«, schrieb Schirrma-cher.

9Jakob Augstein

An anderer Stelle diagnostizierte Schirrmacher einmal:

Die Verschmelzung der militärischen und ökonomischen Sphären hateine neue gesellschaftliche DNA geschaffen, in der private Wirtschafts-unternehmen mit militärischer Rationalität und Präzision Daten pro-duzieren können und militärische und geheimdienstliche Bürokratiensie nach privatwirtschaftlichen Effizienz- und Risikokriterien verwer-ten dürfen.

Als die Finanzkrise auf ihrem Höhepunkt war, zitierte Schirr-macher einen britischen Konservativen, der gerade die Stärkeder linken Analyse für sich entdeckt hatte. So fanden unerwar-tete Worte Eingang in die mit Cordsamt verkleideten Gedan-kengänge der ehrwürdigen Frankfurter Allgemeinen, dass näm-lich die Linken

verstanden haben, wie die Mächtigen sich liberal-konservativer Spracheals Tarnumhang bedient haben, um sich ihre Vorteile zu sichern. »Glo-balisierung« zum Beispiel sollte ursprünglich nichts anderes bedeutenals weltweiter freier Handel. Jetzt heißt es, dass Banken die Gewinne in-ternationalen Erfolgs an sich reißenund die Verluste auf jeden Steuerzah-ler in jeder Nation verteilen.

Jede Zeit hat ihre Moderne. Unsere ist durch die Kräfte desFinanzkapitals und der Digitalisierung geprägt. Schirrmacherwusste um deren wechselseitige Abhängigkeit. In seinem BuchEgo zitierte er den konservativen Unternehmer und PublizistenGeorge Gilder, der im Jahr 1998 – für einen Amerikaner eherungewöhnlich – eine Rede im Vatikan gehalten hatte. Der Texthieß »The soul of silicon«, die »Seele des Siliziums«. Darin rech-nete Gilder mit der alten linken Idee ab, der Reichtum sei etwasMaterielles, etwas Greifbares, Begrenztes, Endliches. Reichtumbestehe heute nicht in den Dingen, sondern in den Gedanken:

Ein Unternehmer schöpft Wert heute nicht mehr aus einem neuen Pro-dukt oder einer Ölquelle oder dem Design eines neuen Computers. Erschafft Wert, wo vorher Wertlosigkeit war. Und dieser Wert entspringtseineneigenen Werten – seinem Mut, seinem Erfindungsreichtum, seinerSorgfalt, seinem Glauben. Die wertvollsten Produkte unserer Gegen-wart bestehen aus Ideen von ungeheurer Komplexität, die in Mikrochips

10 Vorwort

aus Silizium geschrieben sind. Wenn es Wissenschaftlern gelingt, ganzeneue Welten in Sandkörner einzuschreiben, dann schrumpft der Wert ge-gebener Territorien und Ressourcen. Heute mehr als jemals zuvor in derGeschichte ist Reichtum metaphysisch, nicht mehr materiell.

Man versteht, warum der Mann in den Vatikan eingeladen wor-den war – er erklärte dem Klerus, dass der Materialismus einesKarl Marx im digitalen Zeitalter ein für alle Mal erledigt sei. Di-gitalisierung bedeutet Entmaterialisierung – und das bedeutet,die Macht verteilt sich neu.

Saskia Sassen beschreibt in ihrem Text, wie die Finanzindus-trie es mit ihren raubtierähnlichen Instrumenten schafft, ihrenWirkungskreis immer weiter auszudehnen und unter Einsatzder Werkzeuge, die sie sich in Silicon Valley hat schmieden las-sen, in Gebiete vorzudringen, die ihr in der Vergangenheit ver-schlossen waren. Die Kräfte, die dabei freigesetzt werden, ver-ändern die Gesellschaften ebenso, wie die schier unaufhaltsameMechanik der großen Datenmonopolisten die Bedingungen derindividuellen Integrität untergräbt.

Frank Schirrmacher hat einmal einen Artikel über den Aus-bruch des isländischen Vulkans mit dem unaussprechlichenNamen geschrieben. Das war im Jahr 2010. Da war der Himmelüber Europa plötzlich so blau wie lange nicht. Es flog nämlichüber dem gesamten Kontinent kein Flugzeug mehr. Warum?Wegen einer Computersimulation aus einem Rechenzentrumin Großbritannien. Dort war man zu dem Schluss gekommen,nach dem Vulkanausbruch treibe eine besondere Art von Staubin der Atmosphäre herum, der den Flugzeugmotoren gefährlichwerden könne.

Es gab dafür keinen Beweis. Keine Messungen. Es gab nur dieSimulation. Es war also eigentlich nicht eine Wolke aus Ascheund Staub, die den Flugverkehr lahmlegte, sondern ein Wolkevon Daten.

Nun will niemand die Verantwortung für einen Absturz tra-gen, klar. Und Simulationen können zweifellos sehr nützlich

11Jakob Augstein

sein. Aber es war bemerkenswert zu erleben, dass sie so sehrals Tatsachen gehandelt wurden, dass Entscheidungsabläufe er-zwungen wurden, die keinen Raum mehr für Erfahrung, Intui-tion, sagen wir: den gesunden Menschenverstand ließen.

Plötzlich wurden alle zu Zuschauern: die Fluggäste, die Pi-loten, die Airlines, der Wetterdienst, die Behörden. Die humanresponse, die menschliche Antwort auf die Maschine, ist nichtmehr möglich, weil auch in den menschlichen Entscheidungs-gruppen ein Programm von Befehlen, Verordnungen und Rou-tinen abläuft.

Eine einzige Simulation genügte, um in die Schicksale vonMillionen von Menschen einzugreifen. Simulationen produzie-ren nämlich ihre eigenen sozialen Algorithmen. Der tatsäch-liche Ermessensspielraum lag für alle beteiligten Behörden beinull. Es waren Menschen, aber im Grunde mussten sie handelnwie Algorithmen.

Schirrmacher hatte erkannt, dass dieser Fall ein besonderseindringliches Beispiel für ein Phänomen der digitalen Modernewar: Es gibt weder Schicksal noch Freiheit – nur möglichst ge-nau vorherberechnete Wahrscheinlichkeiten. Und im Zweifelhat die Maschine immer recht. Wenn der Mensch gegen die Ma-schine steht, entscheidet sich der Mensch für die Maschine.

Computer berechnen mittlerweile Dinge, die auch die bril-lantesten Mathematiker nicht mehr überprüfen können. Darauserwächst ein neuer Autoritarismus: Erkenntnisse werden zum»Zuschauersport«, wir können sie nur beklatschen oder ausbu-hen, aber wir können sie nicht mehr nachvollziehen, weil wirnicht mehr verstehen, wie der Computer zu seinen Ergebnissengekommen ist.

Im Finanzsektor kann Digitalisierung die Lebensumständeder Menschen gefährden – aber der Vulkanausbruch zeigte, dasses um viel mehr geht: um den Menschen an sich, seine Auto-nomie, seine Identität. »Reclaim Autonomy«, die Rückerobe-rung des Selbst, so lautete darum das Motto der Tagung, aus

12 Vorwort

der dieses Buch entstanden ist – und so lautet die Herausforde-rung für jeden Einzelnen, für die Gesellschaft, für die Politik.

Der damalige Justizminister Heiko Maas veröffentlichte imJahr 2014 in der Zeit seine Version einer Charta digitaler Grund-rechte. In der Präambel heißt es:

Die Digitalisierung ist zu einem Totalphänomen geworden. Kein Le-bensbereich, der nicht von ihr erfasst wird. Das Internet ist einst mithehren Zielen gestartet: freie Informationen für alle, dezentral, ohneKommerz und Hierarchien. Inzwischen steht die Digitalisierung fürdie Herrschaft der Kennzahlen, die Ökonomisierung aller Lebensberei-che.

Weil die Digitalisierung mit dem Neoliberalismus einherging, wurdeviel zu lange auf eine demokratische Regulierung verzichtet. Eine Tech-nikgestaltung durch Recht fand kaum statt.

In Artikel 4 dieser Charta heißt es:

Kein Mensch darf zum Objekt eines Algorithmus werden. In Zeiten vonBig Data werden aus Analysen vergangenen Verhaltens Prognosen fürdie Zukunft erstellt. Aber der Mensch ist mehr als sein Datenprofil,und menschliches Verhalten lässt sich nicht wertneutral berechnen. JederAlgorithmus basiert auf Annahmen, die falsch oder gar diskriminierendsein können. Wir brauchen deshalb einen Algorithmen-TÜV, der dieLauterkeit der Programmierung gewährleistet und auch sicherstellt, dassunsere Handlungs- und Entscheidungsfreiheit nicht manipuliert wird.Maschinen haben keine eigene Ethik und empfinden keine Empathie.Nachteilige Entscheidungen dürfen daher nicht allein von Algorithmengetroffen werden. Wir dürfen nicht blind auf Statistiken und Big Datavertrauen, denn eine richtige Entscheidung muss nicht nur effizient, son-dern auch gerecht sein.

Hier sprach kein Journalist, kein Aktivist, keine NGO – son-dern der Justizminister eines der größten Länder der Europäi-schen Union. Bis zu diesem Grad der öffentlichen Entmachtungdurch die digitalen Konzerne ist es schon gekommen.

Die Politik hat kapituliert. Längst hätte sie die Kontrolle überdie digitalen Massenvernichtungswaffen beanspruchen müssen.Aber weder an die Banken noch an die Daten-Konzerne – nochübrigens an die Geheimdienste – hat sich die Politik heran-

13Jakob Augstein

gewagt. Warum? Es kann sein, dass das für die meisten unsererPolitiker alles schlicht eine Nummer zu groß ist. Weil das Inter-net eben, wie die Kanzlerin gesagt hat, Neuland darstellt.

Schirrmacherhat schon vor Jahren Wege der Redemokratisie-rung vorgeschlagen: Europa könnte eigene Netzsysteme aufbau-en, die sich der Dominanz der großen US-Konzerne entziehen.Das wäre eine Vision, so groß wie seinerzeit die Mondlandung.Billiger und einfacher wäre es freilich, amerikanische Firmenzur Einhaltung europäischer Gesetze zu zwingen. Die EU-Kom-mission könnte das.

Dann könnten zwar die amerikanischen Geheimdienste wei-terhin europäisches Recht ignorieren – aber die NetzgigantenGoogle, Apple, Amazon und Facebook, die mit einer halbenMilliarde Europäer Geld verdienen wollen, die müssten derenGesetze befolgen. Und wenn sie etwa bei der unerlaubten Wei-tergabe von Daten erwischt werden, müssten sie Strafe zahlen.Zum Beispiel zwei Prozent des weltweiten Umsatzes. Das wäresehr viel Geld. Es gibt in der Kommission längst solche Ideen.Vor Kurzem machte der Vorschlag die Runde, die großen Tech-Konzerne nach ihrem Umsatz in Europa zu besteuern. Aber –bislang ist nichts geschehen.

Eine Rück-Ermächtigung der Politik hat nicht stattgefunden.Warum? Evgeny Morozov gibt in seinem Essay eine Antwort:Die Politik kann es sich buchstäblich nicht mehr leisten, denKampf gegen die Digitalmonopolisten aufzunehmen. Morozovbeschreibt in seinem Aufsatz,wie mit der enormen Ausdehnungder digitalen Industrie ein gleichsam privates Wohlfahrtssystementstanden ist. Die Industrie subventioniert mit ihren kostenlo-sen oder sagenhaft preisgünstigen Dienstleistungen und Pro-duktenunser Leben. Im Gegenzug nähren sich die großen Tech-nologiekonzerne von unseren Daten. Und die Finanziers derStart-ups, die Milliardenverluste vor sich herschieben, verrech-nen ihre kurzfristigen Einbußen mit der Hoffnung auf künftigeDominanzpositionen.

14 Vorwort

Morozov zeigt, dass die großen Daten-Konzerne seit der Fi-nanzkrise nicht aus purem Zufall so dramatisch gewachsen sind.In dem Maße, in dem sich gebeutelte Städte und Gemeindenvon öffentlichen Aufgaben zurückziehen, können die großenKonzerne in die entstehenden Lücken schlüpfen: Wer kein Geldmehr hat für seinen öffentlichen Personennahverkehr, der tutgut daran, Uber den Weg freizumachen.

Und die nächste Revolution steht schon bevor: Der massen-hafte, alltägliche Einsatz künstlicher Intelligenz wird weitereWirtschaftszweige und Lebensbereiche umpflügen: Erziehung,Versicherung, Energieverbrauch – es gibt keine Grenze. Umsonotwendiger ist es, dass wir der Digitalisierung Grenzen setzen.Sie bedroht unsere Freiheit. Aber diese Grenzen dürfen nichtverwechselt werden mit jenen des antiliberalen Abwehrkamp-fes. Ob es sich um eine gute oder eine schlechte Grenze handelt,eine schützende oder eine abwehrende – der Schlagbaum siehtimmer gleich aus.

15Jakob Augstein

Autonomie und Handlungsfähigkeitin der digitalen Welt:

Crossing the »creepy line«?

Constanze Kurz und Frank Rieger

Den Diskussionen um automatisierte Durchleuchtung der Pri-vatsphäre und über Jahre aufgehäufte Bestände menschlicherInteraktionsdaten, um Hasswellen im Netz und um Meinungs-beeinflussung zum Trotz: Die großen Netzkonzerne haben anEinfluss in den letzten Jahren noch gewonnen. Die eigene Auto-nomie zu wahren ist für den Einzelnen oft eine Herausforde-rung. Nach wie vor nutzen über neunzig Prozent der Menschenin der westlichen Welt Google für ihre Suchen im Netz. Dass dasUnternehmen die Suchergebnisse aus politischen und recht-lichen Gründen verändert, ist weithin bekannt – und wird eben-so weithin hingenommen. Der Popularität sowohl bei den Nut-zern als auch bei den Konzernkunden tut das jedoch keinenAbbruch: Der Suchmaschinen-Anbieter und Daten-Konzern,der sich 2015 zur Alphabet Holding umstrukturiert hat, konnteim selben Jahr allein durch Werbung und damit dem Verkaufder Kommunikations- und Verhaltensabdrücke seiner Nutzerrund achtzig Milliarden US-Dollar einnehmen. Jeden Monatklicken mehr als eine Milliarde Nutzer die Filmchen auf derKonzern-Tochter YouTube, lesen ihre E-Mail bei Gmailund su-chen Adressen bei Google Maps.

Auch im wichtiger werdenden Mobilmarkt hat die Anbieter-

konzentration weiter zugenommen, die Dominanz der Daten-Unternehmen wächst: Mehr als eine Milliarde Mobiltelefon-Nutzer verwenden derzeit das Android-Betriebssystem, dasebenfalls von der Alphabet Holding angebotenwird. Dank einereigenen Außen-Überwachungskamera ist Alphabet längst nichtmehr nur Dienstleistungsanbieter, sondern ebenfalls auf demHardwaremarkt aktiv: Mit einem 130-Grad-Weitwinkelobjek-tiv zeichnet die angebotene Kamera »Nest Cam Outdoor« hoch-auflösende Bilder auf – dreißig Fotos pro Sekunde. Natürlichbleibt der Konzern dennoch bei seinen Leisten: Die Überwa-chungskamera ist mit Gesichtserkennungssoftware bestückt,die den Inhalt der Bilder analysiert und Menschen darauf er-kennt.

Es ist nicht der erste Versuch des Konzerns in RichtungHardware. Im Jahr 2014 löste das Produkt Google Glass eineregelrechte Kontroverse aus: Das einer Brille ähnelnde Gerätkonnte die Umgebung des Trägers aufzeichnen, betraf also di-rekt die Umstehenden, die potenziell in ihrer Privatsphäre undihrer Datenautonomie berührt waren. Doch damit war man of-fenbar einen Schritt zu weit gegangen: Schnell machten Begriffewie »glasshole« und »glassholism« die Runde – keineswegs iro-nisch gemeinte Beschimpfungen der Besitzer. Wo Träger auf-kreuzten – in Restaurants oder an öffentlichen Orten –, sahman schnell »No glassholes«-Schilder.

Protest ist nicht technologiefeindlich

Der Protest verbreitete sich derart stark, dass sich der sonstkaum die öffentliche Meinung kommentierende Konzern zumGegensteuern genötigt sah: Er forderte die Google-Glass-Besit-zer auf, sich angemessen zu verhalten. Die Furcht des Daten-verkäufers war, dass sich der Widerstand gegen die Überwa-chungsbrillen negativ auf das Image des Unternehmens auswir-

86 Crossing the »creepy line«?

ken könnte. Der Konzern stampfte die Idee der Überwachungs-brillen letztlich weitgehend ein, zurück blieb nur ein kommer-zieller Fehlschlag und heute ein Angebot an die Industrie, dieHardware in Zukunft als Augmented-Reality-Brille zu nutzen.

Das Interessante an der Google-Glass-Kritik und der Kon-troverse um das Produkt ist die Tatsache, dass diejenigen, die sievortrugen, keineswegs technologiefeindlich waren – im Gegen-teil. Ein Anbieter in der Zukunft hätte nicht per se schlechteAussichten, ein vergleichbares Produkt an den Mann zu bringen.Denn was eine Gesellschaft zu einem bestimmten Zeitpunkttolerieren möchte und was ihr inakzeptabel erscheint, verändertsich fortwährend.

Bei Google Glass war offenbar die »creepy line« überschrit-ten. So heißt im unternehmensinternen Jargon eine Schwelle derDaten-Dreistigkeit, bei der eine Vielzahl von Menschen durchdie sichtbare Benutzung einer Technik ein Unwohlsein verspürt,einen nicht akzeptablen Eingriff in die Privatsphäre befürchtetund der ansonsten akzeptierten Vermarktungsoptimierung dereigenen Daten nicht mehr gleichgültig gegenübersteht. Und istsie überschritten, kann das betroffene Produkt nur schwerlicham Markt etabliert werden – zu groß ist der Widerstand undzu laut und teilweise schrill die Kritik.

Bei Google Glass versuchte der Daten-Konzern zunächstnoch, die »creepy line« lediglich zu touchieren, indem an dieersten Nutzer appelliert wurde, sich beim Tragen der Brille or-dentlich zu benehmen. Außerdem versprach man, keine biome-trische Gesichtserkennung einzubauen und damit darauf zuverzichten, die menschlichen Gesichter, die ein Google-Glass-Träger sieht, anhand der körperlichen Merkmale der Personenvor ihm automatisch zu erkennen.

Doch aus vergangenen Fehlern wurde gelernt: Die »creepyline« wurde in jüngerer Zeit mit einer neuen Methode über-schritten, die mehr an eine Brechstange als an ein vorsichtigesHerantasten erinnert. Denn zuletzt hat Google einfach beschlos-

87Constanze Kurz und Frank Rieger

sen, jede Scheu fahren zu lassen, wenn es um das Erstellen vonNutzerprofilen geht: Die Informationen aus der Werbevermark-tung wurden mit den anderen Daten aus den angebotenenDienstleistungen des Konzerns kurzerhand zusammengeführt.Man kündigte es nur kurz vorher an und zog den Paradigmen-wechsel durch, Proteste hin oder her. Die Abhängigkeit vielerMenschenund Unternehmen von den Google-Dienstleistungenist derart ausgeprägt, dass wenig Wahl bleibt, wenn der Daten-Konzern einseitig beschließt und verkündet, die Bedingungender Nutzung zu verändern. Nicht für jeden ist nämlich ein Aus-weichen auf Konkurrenten überhaupt eine Option.

Mit dieser Methode der einseitigen Änderung der Nutzungs-bedingungen kommt eine Diskussion gar nicht erst auf, ob dieIntegration so vielfältiger Datenaspekte von Menschen eigent-lich von den Betroffenen gewollt ist und als eine insgesamt ge-sellschaftlich gewünschte Entwicklung gesehen wird. Und an-ders als bei der Google-Glass-Brille ist bei Datendiensten keinsichtbares Artefakt vorhanden, das eine solche Diskussion anre-gen könnte. Das Zusammenführen der vielschichtigen Daten ge-schieht quasi hinterrücks, nur aus rechtlichen Gründen mussteüberhaupt eine öffentliche Mitteilung an die Nutzer gemachtwerden. Die Frage »Wollen wir das?« haben zwar viele Betroffe-ne durch Wortmeldungen auf den üblichen Social-Media-We-gen verneint. Aber die Frage ist bei einem Konzern, der nichtnur über das individuelle Wünschen und Wollen, sondern imGrunde über gesellschaftliche Normen mitbestimmt, eben kei-ne nur mehr individuell zu stellende.

Audiokommandos

Wo die »creepy line« beim unmittelbar anstehenden Aufschwungder Spracherkennung verlaufen wird, ist noch schwer absehbar:Computer aller Art und natürlich auch Smartphones haben lan-

88 Crossing the »creepy line«?

ge schon Mikrofone und Lautsprecher, in jüngster Zeit ändertsich aber die Nutzung in Richtung einer Sprachsteuerung vonGeräten. Das gilt nicht nur bei Computern im herkömmlichenSinne, sondern auch für all die neuen Sprachbefehl-Assistenz-systeme in Haushalt und Büro oder für sprachgesteuerte Spiel-zeuge, Fernseher oder gar Fahrzeuge.

Zum Senderwechsel beim Fernsehen nicht mehr die Fernbe-dienung, sondern die eigene Stimme zu nutzen, mag manchenattraktiv erscheinen. Dass für die Audiokommandos allerdingspermanent eine Software in den Raum lauscht und auf diesprachlichen Kommandos wartet, beunruhigt auch. Schließlichkann man am Beispiel von unablässig die Umgebung aufneh-menden Computern – gleich, ob es sich dabei um Fernseher,häusliche Assistenten oder Telefone handelt – ganz wunderbarüber die Entwicklung sozialer Normen diskutieren. Denn dieseverändern sich durch den Einsatz von Technik unweigerlich.Manche technologischen Produkte wie Google Glass stoßenauf Ablehnung, andere wie sprachgesteuerte Assistenten vonAmazon finden hingegen – nur kurze Zeit später – in Teilender potenziellen Käuferschichten Akzeptanz.

Bei den ansprechbaren Fernsehern ist die »creepy line« wohlnoch nicht festgezurrt. Anbieter, die ihre Produkte mit Hinwei-sen versahen, ernteten Skepsis: »Bitte beachten Sie, dass Ihrgesprochenes Wort aufgezeichnet und an Dritte übermitteltwird.« Die Offenheit bezüglich des Gebrauchs der Daten unddes permanenten Hineinlauschens in den Raum verschreckteKunden. Lässt man sich solche Hinweise kurz durch den Kopfgehen, während man auf der heimischen Couch lungert, stelltsich schnell ein unangenehmes Gefühl ein. Doch bringt manden schicken neuen Fernseher nun zurück oder nimmt man sichbesser vor, im Wohnzimmer ein wenig auf das zu achten, wasman sagt? Die Autonomie in den eigenen vier Wänden konkur-riert gewissermaßen mit der Bequemlichkeit; es gilt den Auf-wand abzuwägen, der damit verbunden ist, die potenzielle Wan-

89Constanze Kurz und Frank Rieger

ze im Wohn- oder gar Schlafzimmer tatsächlich wieder zu ent-fernen.

Echtzeitdatenauswertung

Die gesamte US-Datenindustrie mit ihren neuen Sprachassis-tenten ist trotz einiger solcher Diskussionen im Aufwind, allenvoran die sogenannten großen Drei. Ihre Jahresumsätze stiegenin den letzten zehn Jahren kontinuierlich: Alphabet beendet2015 laut seinem Jahresbericht mit einem Umsatz von knapp57 Milliarden US-Dollar, Amazon mit über 100 Milliardenund Facebook mit auch noch recht erklecklichen knapp 18 Mil-liarden. Wir als Nutzer generieren die Kommunikationshäpp-chen, Tweets, Filmchen, Texte oder Fotos und lassen durchunser Tippverhalten oder zusätzliche Protokolldaten zugleichProfile mit hoher Aussagekraft entstehen – und die Werbekon-zerne versilbern sie.

Durch die Geschäftsmodelle der Konzerne werden unserHandeln, unsere Kommunikation und unser Denken in Echt-zeit transparent und durchsuchbar für Software, über die wirwenig wissen. Natürlich ist uns längst klar, dass die Maschinenmit riesigen Datenmengen sehr viel besser als wir selbst um-gehen und dass sie schneller und verlässlicher rechnen können.Sie erkennen Tausende Muster in unserem Verhalten, unserenTransaktionen und unserer Kommunikation, um daraus bei-spielsweise abzuleiten, was wir wohl demnächst zu kaufen ge-denken.

Ob, wodurch und in welche Richtung diese Echtzeitdaten-auswertung unsere Aktivitäten im Netz und außerhalb davonbeeinflusst, können wir aber nur kursorisch erfahren oder manch-mal durch Beobachtung erahnen. Was der damalige Google-Chef Eric Schmidt als Daten-Prophet den Nutzern der Diensteseines Unternehmens schon im Jahr 2010 voraussagte, ist unter-

90 Crossing the »creepy line«?

dessen eingetreten: »Wir können mehr oder minder erahnen,worüber du nachdenkst.«1

Softwaregestützte Entscheidungen

Doch nicht nur das Berechnen unseres Wissens,Verhaltens undgar Wollens hat sich verändert, sondern auch, wie wir die neuedigitale Wirklichkeit wahrnehmen: Nachrichten-Software schlägtuns Lesenswertes vor oder schreibt die News gleich selbst.Denkt man das aktuell gern diskutierte Problem der sogenann-ten Fake News weiter, dürfte der nächste Problembereich dasautomatische Entwerfen dieser absichtlichen Falschmeldungendurch Bots sein. Je nach dem errechneten Persönlichkeitsprofilbekäme man gezielt für die eigenen Vorlieben maßgeschneiderteFake News serviert. Geschieht das geschickt und hinterrücks,dürften viele Menschen dafür durchaus anfällig sein.

Sowohl das Angebot als auch der Inhalt der Nachrichten,die uns erreichen, ändern sich beispielsweise, wenn man Geo-lokationsdaten hinzuzieht, die durch die mobile Nutzung vonSmartphones verfeinert werden. Durch solche alltäglichen soft-waregestützten Selektionsverfahren schwindet der uns bishervertraute menschliche Ermessensspielraum zugunsten von Vor-schlägen und Handlungsanweisungen, die auf uns unbekannteWeise generiert worden sind. Wir kennen nur selten die Para-meter, nach denen uns die Software ihr Ergebnis ausgibt. Obes unter korrekten, fairen und gerechten Annahmen zustandekommt, können wir kaum abschätzen. Das verringert unsereAutonomie in der digitalen Welt schleichend.

1 So Schmidt während eines Gesprächs auf dem Washington Ideas Forum2010. Eine Videoaufnahme der Unterhaltung ist online verfügbar unter:{https://www.youtube.com/watch?v=CeQsPSaitL0} (Stand September2017). Das Zitat findet sich bei Minute 16:34.

91Constanze Kurz und Frank Rieger

Manche der automatisierten Software-Entscheidungen ent-stehen durch gänzlich geheim gehaltene Verfahren, andere sindzumindest grob bekannt. Um ein Stück Autonomie zurück zuerkämpfen, genügt es möglicherweise, die Effekte dieser Soft-ware-Beeinflussung nur zu beschränken und ihr grundlegendesVerhalten offenzulegen. Aber ohne eine Diskussion darum, obdies gewünscht ist,wird es dazu nicht kommen. Denn keiner derKonzerne oder deren Geschäftspartner legt seine Geschäfts-geheimnisse freiwillig offen. Das zeigt sich beispielsweise andem hinhaltenden und erfolgreichen Widerstand von Google,den für seine Suchergebnisse bedeutenden PageRank-Algorith-mus allen zugänglich zu machen. Bekannt ist lediglich, dass fürdie Ergebnisse über zweihundert »Ranking Signals« eine Rollespielen.

Berechnung von Menschenprofilen

Unsere Mauszeigerbewegungen, Spracheingaben oder Orts-und Bewegungsinformationen sind der Input zur Berechnungder Menschenprofile. Wohin lassenwir unsere Aufmerksamkeitlenken,was lesenwir,wo registrierenwir uns als Nutzer und wonicht, welche benutzergenerierten Inhalte stellen wir wo undwann ins Netz? Damit diese Datenhäppchen gewinnbringendals Rohstoff von Google, Facebook & Co. an Werbetreibendein Echtzeit versteigert werden können, fügen die Konzerne un-sere E-Mail-Adressen, Telefonnummern, Fotos und sozialenVerbindungen hinzu, wenn sie verfügbar sind. Welche Websiteswir aufrufen, formt zusätzlich unseren »Clickstream«, der die-ses Verhaltensprofil noch verfeinert.

In dieser neuen »Berechnungsgesellschaft« voller Informa-tionssammlungen verändern sich aber die Plattformenwie Face-book oder Google permanent, ihre Dienste und Angebote sindin einem konstanten Fluss und werden weiterentwickelt. Die Ge-

92 Crossing the »creepy line«?

schwindigkeit, mit der das passiert, ist so hoch, dass die meistenMenschen gar keine Zeit haben, um die Veränderungen in ihrenLeben zu reflektieren oder ein Problemverständnis aufbauenzu können. Den Druck, sich ständig an neue Technologien undKommunikationswege anzupassen, verspüren zwar viele. Aberdas bedeutet nicht zwangsläufig, dass man sich dem Druck ent-ziehen kann. Es erscheint manchmal fast wie ein Kampf, sichandauernd an neue Funktionalitäten zu gewöhnen und sie inseigene Leben und Arbeiten integrieren zu müssen.

Dieser Dynamik der raschen Innovationszyklen hinkt deröffentliche Diskurs und die regulatorische Langsamkeit der po-litischen Sphäre notwendigerweise hinterher: Während sich star-re Gesetze noch mit der Datenerhebung befassen und bisherwenig mit deralgorithmischen Verwendung der erlangten Infor-mationen, beginnt die Diskussion um die Frage der Regulierungvon Software, die anhand dieser Profile Entscheidungen trifft,gerade erst.

Woher die Hoffnung rührt, dass die Lösung der kommendenProbleme bei der Diskriminierung von Menschen durch Soft-ware auf der regulatorischen Ebene nationaler Regierungen zusuchen ist, bleibt allerdings vage. Denn politisch-regulative An-sätze sind hier bisher oft gescheitert. Es ist aktuell die Technolo-gieentwicklung selbst, die den Rahmen setzt. Heute ist es regel-mäßig dem Belieben des Entwicklers und vor allem derjenigen,die ihn bezahlen und die Spezifikationen für die Software vor-geben, überlassen, in welche Richtung die technische Weiterent-wicklung verläuft. Das wird auch künftig nicht zu vermeidensein, aber ohne eine Willensbildung über wünschenswerte Zieleund eine nachgelagerte gesetzliche Flankierung wäre der Nut-zer dauerhaft allein dem Wohlwollen des Anbieters und seinerShareholder ausgeliefert.

Für den Einzelnenund seinen Umgang mit den Technologienist sicher auch Aufklärungsarbeit nötig: Er wird sich selbst Er-kenntnisse erarbeiten müssen, sollte aber ebenso auf verständ-

93Constanze Kurz und Frank Rieger