social bots: gefahr für die demokratie - pwc · 2017-08-09 · social bots: gefahr für die...

34
Whitepaper mit Handlungsempfehlungen für Unternehmen, Medien und Politik. August 2017 www.pwc.de www.pwclegal.de Social Bots: Gefahr für die Demokratie?

Upload: others

Post on 15-Aug-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Whitepaper mit Handlungsempfehlungen für Unternehmen, Medien und Politik. August 2017

www.pwc.dewww.pwclegal.de

Social Bots: Gefahr für die Demokratie?

Page 2: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus
Page 3: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Whitepaper mit Handlungsempfehlungen für Unternehmen, Medien und Politik. August 2017

Social Bots: Gefahr für die Demokratie?

Page 4: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie?

Herausgegeben von der PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft (PwC)

August 2017, 36 Seiten, 11 Abbildungen, Softcover

Alle Rechte vorbehalten. Vervielfältigungen, Mikroverfilmung, die Einspeicherung und Verarbeitung in elektronischen Medien sind ohne Zustimmung des Herausgebers nicht gestattet.

Die Inhalte dieser Publikation sind zur Information unserer Mandanten bestimmt. Sie entsprechen dem Kenntnisstand der Autoren zum Zeitpunkt der Veröffentlichung. Für die Lösung einschlägiger Probleme greifen Sie bitte auf die in der Publikation angegebenen Quellen zurück oder wenden sich an die genannten Ansprechpartner. Meinungsbeiträge geben die Auffassung der einzelnen Autoren wieder. In den Grafiken kann es zu Rundungsdifferenzen kommen.

© August 2017 PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft. Alle Rechte vorbehalten. „PwC“ bezeichnet in diesem Dokument die PricewaterhouseCoopers GmbH Wirtschafts­prüfungsgesellschaft, die eine Mitgliedsgesellschaft der PricewaterhouseCoopers International Limited (PwCIL) ist. Jede der Mitgliedsgesellschaften der PwCIL ist eine rechtlich selbstständige Gesellschaft.

Page 5: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 5

Inhaltsverzeichnis

Inhaltsverzeichnis

Abbildungsverzeichnis .............................................................................................6

Vorwort ....................................................................................................................7

A Was sind Social Bots? .........................................................................................9

B Wie lassen sich Social Bots identifizieren? .......................................................11

C Gastbeitrag: Zum technischen Hintergrund von Social Bots ............................13

D Welche Risiken bergen Social Bots? .................................................................17

E Welche Chancen bieten Social Bots? ................................................................20

F FakeNews,SocialBotsunddieRolleder Medien ............................................23

G WiekönnensichUnternehmenund Institutionenschützen? ............................26

H Gastbeitrag:ZweitechnischeAnsätzezur IdentifizierungvonSocialBots .......28

Quellenverzeichnis ................................................................................................30

IhreAnsprechpartner .............................................................................................33

Page 6: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

6 Social Bots: Gefahr für die Demokratie?

Abbildungsverzeichnis

Abbildungsverzeichnis

Abb. 1 Wahrnehmung von Social Bots .................................................................9

Abb. 2 Erkennen von Social Bots .......................................................................12

Abb.3 AIML-RegelnfürChatbotALICE ............................................................13

Abb.4 DialogausschnittChatbotALICE ............................................................ 14

Abb.5 ChatScript-RegelnundKonzeptefürChatbotRose ................................. 14

Abb. 6 Dialogausschnitt Chatbot Rose ...............................................................15

Abb.7 Sequence-to-SequenceVerarbeitung ......................................................16

Abb. 8 Akzeptierter Einsatz von Social Bots ......................................................21

Abb. 9 Bekanntheit von Begriffen .....................................................................24

Abb.10 AufklärungüberSocialBotsundFakesNews .........................................25

Abb. 11 Darstellung eines sozialen Netzes als Graph ...........................................28

Page 7: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 7

Vorwort

Vorwort

AlseineJuryvonSprachexpertenjüngstüberdenAnglizismusdesJahres2016zuentscheidenhatte,fieldieWahlwenigüberraschend–undnochvor„Darknet“und„HateSpeech“–auf„FakeNews“.Tatsächlichhatsichseltenzuvoreinenglischstämmiger Begriff derart rasch in der deutschen Sprache etabliert wie dieser.DaslagzumeinennatürlichanderprominentenRolle,diedemPhänomenwährenddesUS-Präsidentschaftswahlkampfszugeschriebenwurde.Esdürftezumanderenaberauchdamitzutunhaben,dassesfürFakeNewsimDeutschenkeineechteEntsprechunggibt.Begriffewie„Propaganda“oder„Desinformation“zielen zwar in eine ähnliche Richtung, haben jedoch nicht dieselbe Bedeutung. „Falschmeldung“wärezwareinenaheliegendeÜbersetzung,allerdingsschwingtbei diesem Wort nicht zwingend mit, was ganz entscheidend das Wesen von Fake Newsausmacht:EsgehtumFalschmeldungen(frühersagtemanauch„Enten“),dienichtirrtümlich,sondernbewusstverbreitetwerden,mitdemZiel,dieöffentlicheMeinungzumanipulieren.

NebendieserintentionalenVerbreitunglässtsichnocheinzweitesMerkmaldefinieren, das Fake News von klassischen Falschmeldungen unterscheidet, nämlich,dassessichbeiFakeNewsumeineErscheinungdesInternetzeitaltersoder,genauernoch,derSocial-Media-Ärahandelt.Dasheißtnatürlichnicht,dasses analoge Formen der Fake News nicht zu allen Zeiten gegeben hätte. Schon im altenRomversuchtenOctavianundMarcusAntonius,sichgegenseitigdurchdasStreuenvonLügengeschichtenzudiskreditieren.UndspätestensmitderErfindung des Buchdrucks wurden Fake News zu einem immer machtvolleren MittelderMeinungsmanipulation.AlseinesderbekanntestenBeispielegeltendiereißerischenundteilswohlauchfalschenBerichte,mitdenendieRegenbogen-presseindenUSAdenspanisch-amerikanischenKrieg1898heraufbeschwor.

Dennoch wäre es falsch, so zu tun, als wären Fake News, wie sie speziell das vergangeneJahrgeprägthaben,einlängstbekanntesPhänomen.WardiegroßflächigeBeeinflussungderöffentlichenMeinungbislangdenMassenmedienoderRegierungen(inautokratischenLändernmitentsprechendemZugriffaufFernsehenundRadio)vorbehalten,stehtdieseMöglichkeitinZeitenvonFacebook,TwitterundInstagramtheoretischjedemzurVerfügung.Diesgiltumsomehr–unddarinliegteineneueQualität–,alshinterderVerbreitungfalscherNachrichtennichtmehrunbedingtMenschenstehenmüssen.StattdessenwirddieMeinungsschlachtindensozialenMedieninzwischenzueinem(zumindestquantitativ)beträchtlichenTeilvonsogenanntenSocialBotsgeführt.DassindautomatisierteProgramme,diesichzumBeispielbeiTwitteralsechteMenschenausgebenundversuchen,diedortgeführtenDebattendurchLikes,TweetsoderRetweetsindievonihrenUrheberngewünschteRichtungzulenken.

IngrößeremAusmaßtratenSocialBotserstmalswährenddesArabischenFrühlingsinErscheinung.DanachspieltensieauchinderUkrainekrise,beiderBrexit-EntscheidungundvorallembeiderUS-PräsidentenwahleineRolle.SosollderAnteilechterTwitter-FollowersowohlbeimrepublikanischenKandidatenDonald

Page 8: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

8 Social Bots: Gefahr für die Demokratie?

TrumpalsauchbeiderdemokratischenBewerberinHillaryClintonzeitweisegerade einmal bei 60 % gelegen haben.1DasUS-MagazinWiredberichtetezudem,dassmitunter50bis55%derClintonschenTwitter-Aktivität(alsobeidenLikes,FollowsoderRetweets,diesieüberdiePlattformerhielt)vonSocialBotsgestammthätten.BeiTrumpseienesbisweilensogar80%gewesen.2

NunsinddiehohenquantitativenWertenochkeinBelegdafür,dassSocialBotsdieUS-Wahlentscheidendbeeinflussthätten–schließlichkommtesjaineinemMeinungsbildungsprozessauchundvorallemaufdieQualitätderBeiträgean.TrotzdemhabenwiresbeiSocialBotsalsUrhebernundMultiplikatorenmutmaßlicherFakeNewsinzwischenmiteinemsignifikantenPhänomenzutun,demdurchdieweitereVerfeinerungvonBig-Data-oderArtificial-Intelligence-TechnologienindenkommendenJahreneinenochmalswachsendeBedeutungzukommen könnte.

AlsNischenphänomenlassensichdieneuenFormenderMeinungsmachejedenfallsnichtmehrabtun.WieauseineraktuellenPwC-Umfragehervorgeht,glaubtinzwischenjederzweiteBundesbürger,überFakeNews„relativgutBescheidzuwissen“.Weitere34Prozentmeinen,siewüsstenzumindest„ungefähr,wassichdahinterverbirgt“.DerBekanntheitsgradvonSocialBotsistzwardeutlichgeringer,allerdingsauchnichtzuvernachlässigen:14Prozentsagten,siewüsstendarüber„relativgutBescheid“,22Prozentgebenan,dasssie„ungefährwissen,wassichdahinterverbirgt“.AusderselbenUmfragegehtzudemhervor,dass 68ProzentderDeutschenPlattformbetreiberwieFacebookoderTwitterverpflichtenwollen,FakeNewsaufihrenKanälengrundsätzlichzulöschen.BeiSocialBotswiederumbefürworten90ProzenteinestärkereReglementierung–undsogar43Prozenteingesetzliches Verbot.

ObsolcheMitteltatsächlichgeeignetsind,MeinungsmacheimInternetzubekämpfen –darüberlässtsichsicherlichstreiten.Zweifelsohneallerdingsstellen sicheineReihevonFragen:WielassensichSocialBotsidentifizieren?WelcheRisiken,aberwomöglichauchChancenbergensie–undzwarnichtnurfür politischeInstitutionen,sondernauchfürUnternehmen?WelcheRollewerden siebeiderbevorstehendenBundestagswahlspielen?Undvorallem:Wie kannmansichvordenGefahrendurchSocialBotswirksamschützen?

DasvorliegendeWhitepapersollIhnen,liebeLeserinnenundLeser,erste AntwortenaufdieseFragengebenundeinenDiskussions-undDebattenbeitragsein. Ich wünscheIhneneineaufschlussreicheLektüre!

Werner BallhausLeiterTechnologie,MedienundTelekommunikation

1 Vgl. S. Hegelich, „Invasion der Meinungs­Roboter“, Analysen und Argumente, Nr. 221, 2016. 2 Vgl. D. Alba, „The Political Twitter Bots Will Rage This Election Day“, Wired.com, 2016.

Vorwort

Page 9: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 9

A Was sind Social Bots?

Social Bots sind Computer programme, dieinsozialenMedieninautomatisierterFormNachrichtenoderMeinungenverbreiten –zumBeispieldurchLikes,TweetsoderRetweetsbeiDienstenwieTwitter.DabeiwirdderEindruckerweckt, hinter den entsprechenden Social-Media-ProfilenstündenrealeMenschen.TatsächlichsindesaberMaschinen,dievonihrenBetreiberngezielt eingesetzt werden, um die öffentlicheMeinungzu manipulieren.

Diese Definition ist nicht neutral. Denn dasWort„manipulieren“istnegativkonnotiert und deutet an, dass hinter dem Einsatz von Social Bots generell schlechte Absichten stehen. Ob das im Einzelfall immer zutrifft, wird zu überprüfensein–undistinletzterKonsequenznatürlichaucheineFragedes Standpunkts. Was man allerdings festhaltenkann:DerirreführendeCharakter von Social Bots (sie geben vor,jemandzusein,dersienichtsind)widerspricht den Gepflogenheiten des demokratischen Diskurses. Wir gehen in diesem Whitepaper deshalb grundsätzlich davon aus, dass die MotivederBetreibervonSocialBotskritisch zu betrachten sind.

Gleichwohl–sovielschonvorweg –werden wir im weiteren Verlauf auch der Frage nachgehen, ob es sozusagen„gute“SocialBotsgebenkann. Womit wiederum die Frage verbundenist,ob SocialBotsihrwahres Wesen zwingend verschleiern müssen.Denn warumsollensichdieUrheber nicht wie die artverwandten Chatbots (zum Unterschied zwischen

beidenBegriffensieheAbb.1)offenzuerkennengeben?Daranknüpftsicheine weitere Frage an: Sind Social Bots fürpolitischeoderwirtschaftlicheInstitutionennureinAbwehrthema(Wiekannichmichschützen?)–oderwerden sich in den kommenden Jahren auchlegitimeMöglichkeitenergeben,Social Bots selbst zu nutzen?

Abb. 1 Wahrnehmung von Social Bots

Fast vier von zehn Deutschen haben bereits Social Bots wahrgenommen.

Haben Sie in letzter Zeit schon einmal Beiträge von derartigen Social Bots zu politischen Themen in sozialen Netzwerken wahrgenommen?

Basis: Alle Befragten (Einfachnennung), n = 1.000

ja, ganz sicher

vermutlich, aber ich bin mir

nicht sicher

vermutlich nicht

ganz sicher nicht

ich nutze keine Sozialen

Medien

9 %

28 %

24 %

14 %

25 %

∑ 37 %

Schon einmal Social Bots wahrgenommen

Was sind Social Bots?

Page 10: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

10 Social Bots: Gefahr für die Demokratie?

DarüberhinausbenötigendieBetreibereinAlgorithmus-basiertesProgramm,dasdenSocialBotsteuert.DieletzteHürdeistschließlichdieProgrammierschnittstelle,kurzAPI,die Betreiber von sozialen Netzwerken externen Entwicklern kostenlos zur Verfügungstellen,umdieeigenePlattformerweiterbarzumachen.DieseAPIssindes,dieauchdemSocial-Bot-AccountdenZugangzumNetzwerk ermöglichen. Als besonders roboterfreundlichgeltendieAPIsvonTwitter–wasaucheinGrunddafürist,dassSocialBotsaufTwitterdeutlichstärker verbreitet sind als auf anderen Plattformen.

ReintechnischsinddieMeinungs-roboter relativ leicht zu kreieren und praktisch beliebig vermehrbar. VoraussetzungfürdieErstellungsindNutzer-Accounts,dieindenentsprechenden sozialen Netzwerken bereits registriert sind. Sie werden auf dem Schwarzmarkt inzwischen ingroßenStückzahlengehandelt.So kosten1.000falscheAccountslautdemData-Science-ExpertenSimonHegelichvonderTUMünchenzwischen45US-Dollar(füreinfacheTwitter-Konten)und150US-Dollar(für„gealterte“Facebook-Konten).3 Die AnbietersolcherAccount-Sammlungensitzen vor allem in Russland.

DieQualitätderMeinungsroboterist sehr unterschiedlich. Simpel programmierte Bots beschränken sichinersterLinieaufdieStreuungbereitsvorformulierterMitteilungen.Es gibt aber auch Bots, die mit anderen, auch echten, Nutzern kommunizieren undinderLagesind,eigenständigimmer wieder neue Nachrichten zu generieren.Insgesamthabensichdie Social Bots in den vergangenen Jahren stark weiterentwickelt. Dadurch–und aufgrundihrerschierenMasse–wirdesimmerschwieriger,die automatisierten von den realen Accounts zu unterscheiden. Angesichts der rasanten Fortschritte im Bereich der künstlichenIntelligenzdürftenSocial Bots ihre kommunikativen Fähigkeiten in den kommenden Jahren weiter verbessern.

3 Vgl. Hegelich, 2016.

„Bot“isteineKurzformvonRoboter.UrsprünglichwurdederBegriffvorallemfürComputerverwendet,die von einer Schadsoftware befallen wurden und darum nuneinEigenlebenführen.Füreine Vielzahl untereinander verbundener Schadprogramme bürgertesichdeshalbauchdieBezeichnung„Botnet“ein.

InzwischenwirdderBegriff„Bot“tendenziell eher mit automatisierten Computerprogrammenbzw.Social-Media-Accountsassoziiert.Ambekanntesten sind Dialogsysteme, wie sie als sogenannte Chatbots von immer mehr Unternehmen inderKundenkommunikationeingesetzt werden. Ein Beispiel ist IkeasvirtuellerAssistent„Anna“.

Zur UnterscheidungvonChatbotsund Social Bots bieten sich die beiden folgendenMerkmalean:1. Chatbots kommunizieren in der

Regel reaktiv, während Social Bots auch selbst aktiv werden.

2. Chatbots lassen sich in der Regel einer Quelle zuordnen, während Social Bots ihre Urheberschaft zu verschleiern suchen.

Worin unterscheiden sich Bots, Botnets, Chatbots und Social Bots?

Was sind Social Bots?

Page 11: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 11

B Wie lassen sich Social Bots identifizieren?

Bei einer Untersuchung der Universität Reading im Jahr 2014 konnten gut 30%derTestpersonendenChatbot„EugeneGoostman“–erimitiertdiePersönlichkeiteines13-jährigenJungen–angeblichnichtvoneinemmenschlichenKonversationspartnerunterscheiden.4 Das Ergebnis erlangte großeAufmerksamkeit.Eslässtsichallerdings auch andersherum lesen: SiebenvonzehnTestpersonen,alsodieklareMehrheit,erkanntendenRoboteroffenbar als das, was er ist, nämlich eine Maschine.Und:BeivieranderenBotsschnittendieTestpersonenteilssogardeutlich besser ab.

Dieses Resultat deckt sich mit der Einschätzung von Experten, wonach eingeschulterInternetnutzereinenChatbot oder Social Bot in aller Regel identifizierenkann.WieüberlegendiemenschlicheIntelligenzderkünstlichenin dieser Hinsicht noch immer ist, zeigtauchderIrrlaufdesMicrosoft-ChatbotsTayimFrühjahr2016.Denhatten menschliche Chatpartner mit ihrenFragensolangefehlgeleitet,bisderRoboterirgendwann–zumEntsetzenseinerProgrammierer–sogarrassistische Bemerkungen von sich gab.5

TatsächlichlassensichdiemeistenBots noch immer anhand einfacher Checklisten identifizieren: Formuliert erwirklichwieeinMensch?MachterauchmaleinePause?UndwarumhatseinProfilkeinFoto?Gehtesdaherum einen einzigen Social Bot, der FakeNewsviaTwitteroderFacebookverbreitet, dann sind Journalisten oderandereProfisinderLage,diesenTäuschungsversuchzuenttarnen.Wasaber, wenn es nicht mehr nur um einen, sondern um Abertausende von Social Bots geht, die versuchen, politische Debatten in bestimmte Richtungen zu lenken?Was,wenndieschiereMengevonfrisiertenTweets,RetweetsoderLikesdazuführt,dassdiesogenanntenTrendingTopics–dievielbeachtetenListen,diebeiTwitterdieaktuellmeistdiskutierenThemenanzeigen–manipuliertwerden?IstdiemenschlicheIntelligenzdannimmernochinderLage,denÜberblickzubehalten?Undwas passiert, wenn die Urheber ihre Social Bots in den kommenden Jahren technischweiteraufrüsten?

4 Vgl. The Guardian, „Computer simulating 13­years­old boy becomes first to pass Turing test“, Guardian.com, 2014.5 Vgl. E. Hunt, „Tay, Microsoft’s AI chatbot, gets a crash course in racism from Twitter“, Guardian.com, 2016.

Fest steht, dass die Grenze zwischen eindeutig menschlichen und eindeutig maschinellen Verhaltensweisen undeutlicher wird. Dank steigender Rechnerkapazitäten können Social BotsaufimmergrößereDatenbeständezugreifen. Durch den kombinierten EinsatzvonBig-Data-undArtificial-Intelligence-TechnologiensinddieinderLage,humanoideVerhaltensmusterimmerüberzeugendernachzuahmen.MancheMeinungsroboterwerdeninzwischen so programmiert, dass ihre Accounts ähnliche Aktivitätskurven aufweisenwiedieSocial-Media-ProfilemenschlicherNutzer,inklusiveentsprechender Ruhephasen (die der BotinWirklichkeitgarnichtbraucht).InzwischengibtessogarSocialBots–sogenannteCyborgs–,diezumindestpartiellvonMenschenunterstütztwerden.IhreWirkunglässtsichnochverstärken, wenn sich die Cyborgs gehackterProfileeinerauthentischenHistorie bedienen.

Wie lassen sich Social Bots identifizieren?

Page 12: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

12 Social Bots: Gefahr für die Demokratie?

Abb. 2 Erkennen von Social Bots

Social Bots wurden vor allem wegen ihrer vielen vergebenen „Likes“ und ihres verdächtigen Profils „enttarnt“.

Wie sind Ihnen die Social Bots aufgefallen?

Mehrfachnennung waren möglich

Basis: Befragte, die Social Bots wahrgenommen haben, n = 371

Weiß ich nicht mehr.

Auf Websites von Online­Shops etc., z. B. bei Fragen zu einem Produkt.

Ein Account schreibt/twittert immer ungefähr dasselbe oder teilt immer

Nachrichten desselben Accounts/Mediums.

… extrem schnelle Retweets oder Reaktion auf Beiträge.

… unpassende Antworten auch bei einfachen Fragen.

… die erhaltene Nachricht wurde parallel an viele Nutzer verschickt.

… hohe Anzahl von Tweets, Retweets oder Postings am Tag.

… Nachricht oder Freundschaftsanfrage einer mir unbekannten Person, deren

Freunde/Follower ich auch nicht kenne.

… unsinnige, nicht plausible oder fast keine Angaben im Profil eines Accounts.

… eine sehr hohe Anzahl an vergebenen „Likes“.

… sonstiges.u. a. Werbung auf Seiten von Facebook­Freunden

20 %

13 %

18 %

21 %

22 %

22 %

23 %

26 %

30 %

34 %

1 %

Social Bots sind aufgefallen durch …

Um Social Bots zuverlässig zu identifizieren, wird es auch in Zukunft auf das menschliche Urteilsvermögen ankommen.Danebengiltesaber–ebenfalls auf Basis von Big Data und künstlicherIntelligenz–technischeLösungenzuentwickeln,diedenMeinungsroboternauchimgroßenUmfang gewachsen sind. Ein bereits existierendesToolistdieWeb-APIBotOrNotfürTwitter(inzwischenBotometer genannt; siehe dazu KapitelH).BeiTestskamsieaufeineTreffsicherheitvonrund95%.6

TrotzsolcherErfolgestehtdieEntwicklungvonAnti-Bot-Technologienallerdings noch am Anfang. Zudem giltfürdieSocial-Bot-Enttarnung,wasanalogzumBeispielauchfürAnti-Virus-Programmegilt:UmeinenBotzubekämpfen, muss man ihn erst einmal kennen. Diese Regel impliziert, dass die EntwicklervonMeinungsroboterndenEntwicklernvonIdentifikationstoolsnotwendigerweise immer mindestens einen Schritt voraus sein werden. Was Unternehmen und politische Institutionentunkönnen,umsichdennochgegenSocialBotszuschützen,werdenwirinKapitelGausführlicherdiskutieren.ZuvorwerdenProfessorDr.JensLehmann,LeadScientistamFraunhofer-InstitutfürIntelligenteAnalyse-undInformationssysteme(IAIS),undseineKolleginKlaudiaThellmanndietechnologischenHintergründevonSocialBotsineinemGastbeitrag erklären.

6 Vgl. E. Ferrara et al., „The Rise of Social Bots“, Communications of the ACM, Bd. 59 Nr. 7, S. 96–104, 2016.

Wie lassen sich Social Bots identifizieren?

Page 13: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 13

Von Prof. Dr. Jens Lehmann und Klaudia Thellmann, Fraunhofer IAIS.

DietechnischeKomplexitätvonChat-bots reicht von einfachen Bots, die anhand einer Heuristik bestimmte MusterineinerNachrichterkennenund darauf mit einer entsprechenden vorgefertigten Antwort reagieren, bis hin zu solchen, die auf Grundlage erlernterModelleselbstständigAntworten generieren.7 Dabei werden Dialogsysteme, die auf eine Reihe von präparierten Antworten zurückgreifen,alsRetrieval-basiertbezeichnet. Systeme,dieohneeinsolchesKorpusvonpräpariertenAntwortenauskommen,heißengenerative Systeme.

Retrieval-basierte DialogsystemeRetrieval-basierteSystemeverwendenzur Auswahl der passenden Antwort auf eine Benutzereingabe Regeln, die dazudienen,MusterinderEingabezu erkennen. Diese Systeme liefern vorhersehbare, grammatikalisch korrekte Antworten. Sie sind einfach zu programmieren, da es bereits zahlreiche BibliothekenmitRegelngibt.ImGegensatz zu den generativen Systemen sind sie aber bei nicht vorgesehenen Eingaben weniger flexibel.

Der erste wissenschaftlich beschriebene Chatbot nannte sich Eliza. Er wurde bereits1966vondemdeutsch-amerikanischenInformatikerJosephWeizenbaum entwickelt.8 Eliza warRetrieval-basiertundbauteaufeinfachen Regeln zur Erkennung von MusterninEingabenauf.DerBotwarvor allem darauf ausgelegt, Aussagen geschicktinRückfragenumzuwandeln.DadurchkonntetrotzeinfacherMitteleinekontinuierlicheKonversationstattfinden.

ZurErstellungvonRetrieval-basiertenChatbotsführtederUS-InformatikerRichard Wallace in den 90er Jahren dieChatbot-SpracheAIML(ArtificialIntelligenceMarkupLanguage)ein.Auf ihrer Grundlage wurde der Chatbot ALICE9 programmiert, mit dem Wallace mehrmalsdenLoebner-PreisfürdiemenschenähnlichsteDialogführungerhielt(sieheAbb.3).

C Gastbeitrag: Zum technischen Hintergrund von Social Bots

Abb. 3 AIML-Regeln für Chatbot ALICE

<category> <pattern>WHAT IS YOUR NAME</pattern> <template> My name is <bot name=ʺname /̋> . </template></category>

Quelle: ALICE.

7 M. L. Mauldin, „Chatterbots, tinymuds, and the turing test: Entering the Loebner prize competition“, AAAI, Bd. 94, 1994.8 D. Britz, „Deep Learning for Chatbots“, WILDML, www.wildml.com/2016/04/, 2016.9 L. Bradesko und D. Mladenic, „A survey of chatbot systems through a loebner prize competition“, Proceedings of Slovenian Language Technologies

Society Eighth Conference of Language Technologies, 2012.

Der erste wissenschaftlich beschriebene Chatbot nannte sich Eliza.

Gastbeitrag: Zum technischen Hintergrund von Social Bots

Social Bots: Gefahr für die Demokratie? 13

Page 14: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

14 Social Bots: Gefahr für die Demokratie?

Abb. 4 Dialogausschnitt Chatbot ALICE1

Human: What is your name?ALICE: My name is Alice.Human: Are you evil?ALICE: No. I try to be good, but at worst I’m harmless.Human: Are you harmless?ALICE: I don’t know whether or not I am harmless. I am a Homo Sapiens.

You say:

Say

Quelle: ALICE.

1 ALICE: http://alice.pandorabots.com/.

AIMLbestehtimGrundeauseinerAnsammlungvoninKategoriengruppiertenMusternmitentsprechenden vorformulierten Antworten.DieMusterdeckenjeweilseine oder auch mehrere mögliche Benutzereingaben ab, auf die der Chatbot mit einer vorgegebenen Antwort reagiert.

EineweitereregelbasierteChatbot-Sprache mit einer ausgereifteren UmsetzungfürdasPattern-MatchingunddieKontexterkennungistdas2011vonBruceWilcox–einemaufkünstlicheIntelligenzspezialisiertenProgrammierer–veröffentlichteChatScript. Auf dieser Sprache basieren auch die Chatbots Suzette und Rosette, mit denen Wilcox 2010 und 2011 den Loebner-Preisgewann.

ImUnterschiedzuAIMLsetztdasProgrammChatScriptTextanalyse-techniken(Technikendesneuro-linguistischenProgrammierens)zumVerarbeiten der Eingabe ein. So etwa erkenntesWortarten(POS-Tagging)undSynonyme.DarüberhinausistChatScriptzustandsbehaftet,dasheißt,es kann sich Gesprächsverläufe merken.

Abb. 5 ChatScript-Regeln und Konzepte für Chatbot Rose

#!CONCEPTSconcept:~like[adore admire love]concept:~meat[bacon ham beef chicken]

#!RULE?: MEAT ( << you ~like ~meat >>) I love bacon

Quelle: Rose.

?

@

!

Gastbeitrag: Zum technischen Hintergrund von Social Bots

14 Social Bots: Gefahr für die Demokratie?

Page 15: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 15

ÄhnlichwiebeiAIMLbestehenChatScript-RegelnauseinemMusterfürdieEingabeundeinerVorlagefürdieAntwort.ZusätzlichzudenRegelnunterstütztChatScriptBegriffshierarchien und Synonyme durchDefinitionvonKonzepten(siehe Abb.5).

ZumFindenvonSynonymen,Unter-begriffen und Beziehungen zwischen Begriffenkönnenmaschinen-auswertbare Wissensdatenbanken wie WordNet oder OpenCyc verwendet werden. WordNet enthält semantische und lexikalische Beziehungen zwischen den Wörtern der englischen Sprache. OpenCyceermöglichtüberdiezugrunde liegende Ontologiesprache CycLlogischesSchlussfolgernüberSachverhalte.10

UmeineKonversationmenschlichererscheinenzulassen,werdendarüberhinausdiverseTrickswieetwaTipp-fehler,dieSimulationvonTastatur-eingaben,biografischeModelleoderSprüngevoneinemThemazumandereneingesetzt.10

Generative DialogsystemeGenerative Systeme bauen häufig aufkünstlichenneuronalenNetzen(KNN)auf.11 Diese wurden in den vergangenen Jahren sehr erfolgreich in verschiedenen Bereichen der künstlichenIntelligenzeingesetzt,mit teilweise beeindruckenden Resultaten. Das Spektrum reicht von der Erkennung von Objekten auf Bildern überdasautonomeFahrenbishinzurIdentifizierungmenschlicherSpracheund noch vielem mehr. Oft werden dabeiResultateerzielt,dieLeistungenvonMenschennahekommenoderdiesesogarübertreffen.

FürgenerativeDialogsystemekönnenneuronale Netze mit sogenannten Sequence-to-Sequence-Modelleneingesetzt werden. Eine Sequenz kann dabei eine nahezu beliebige Eingabe sein; zum Beispiel kann es sich bei der Eingabesequenz um einen deutschen TextundbeiderAusgabesequenzumeinenenglischenTexthandeln.IndiesemFallwürdedasneuronaleNetzlernen,TextevomDeutscheninsEnglischezuübersetzen.Damitdiesgelingt, muss das neuronale Netz seine Fähigkeiten anhand einer Unmenge vorgegebener korrekter Beispiele trainieren. Ein Beispiel besteht dabei auseinerrichtigenÜbersetzungvon einer Eingabesequenz in eine Ausgabesequenz.DafürwärenindiesemFallTausendevonrichtigübersetztenTextenausTrainingsmaterialnötig.

Quelle: Rose.

Abb. 6 Dialogausschnitt Chatbot Rose1

User: What is your name?Rose: My name is Rose.User: Are you evil?Rose: Of course not.User: Are you harmless?Rose: Absolutely.User: Why not?Rose: I’d love to really dig down deep into all my thoughts about that,

but it’s really not appropriate right now.

Name:

Message:

User

Send Input

1 Rose: http://brilligunderstanding.com/rosedemo.html.

Gastbeitrag: Zum technischen Hintergrund von Social Bots

Social Bots: Gefahr für die Demokratie? 15

10 L. Bradesko und D. Mladenic, „A survey of chatbot systems through a loebner prize competition“, Proceedings of Slovenian Language Technologies Society Eighth Conference of Language Technologies, 2012.

11 O. Vinyals und V. L. Quoc, „A neural conversational model“, arXiv preprint, 2015.

Page 16: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

16 Social Bots: Gefahr für die Demokratie?

DasgleichePrinziplässtsichauchaufDialogsystemeanwenden:IndemFallist die Eingabe der zuletzt gesprochene Dialogteil und die Ausgabe eine Antwort darauf. Ein derartiges neuronales Netz muss also mit Hunderttausenden von existierenden Dialogen trainiert werden.Interessantistdabei,dassdasneuronaleNetz–vergleichbarmiteinemneugeborenenKind–ohnevorheriges Wissen erlernt, wie Sprache funktioniertundDialogegeführtwerden. Dabei passt es sich stark an die Trainingsdialogean.WennmanfürdasTrainingalsoTexteauseinersozialenNetzwerkplattform wie Facebook verwendet, wird das Resultat völlig

anders aussehen, als wenn man das Netzwerk mit Werken von Shakespeare trainiert.Dasbedeutetnatürlichauch,dassmandieTrainingsbeispielevorsichtigauswählensollte.Kannein System wie der bereits erwähnte ChatbotTay(siehedazuKapitelB)unkontrolliertmitBeispielen„gefüttert“werden, dann lässt sich sein Verhalten manipulieren.

Der Vorteil von generativen Systemen ist, dass man die Zuordnung zwischen Eingabe und Antwort nicht durch Regeln abbilden muss, da das neuronale Netz diese Zusammenhänge selbstständig erlernt,wennmanihmgroßeMengen

anTrainingsdatenbietet.Nachteiligist,dass die aktuellen Systeme oft noch sehr allgemeine Antworten erzeugen, etwa „OK“oder„WiegehtesDir?“,stattaufdie individuelle Situation einzugehen. Zudem werden die neuronalen Netze durchdieriesigeMengeanbenötigtenTrainingsdatenoftmitDialogenverschiedenerPersonentrainiert.Dadurch entsteht ein uneinheitliches Persönlichkeitsbild.NachunsererEinschätzung wird die Forschung in diesem Bereich jedoch in den nächsten zehnJahrengroßeFortschritteerzielenundinderLagesein,beeindruckendmenschenähnliche Chatbots zu entwickeln.

DerTuring-TestistbenanntnachdemberühmtenbritischenInformatikerAlanTuring(1912–1954).DerTestsollermitteln,obeineMaschinedankkünstlicherIntelligenzeinDenkvermögen entwickeln kann, das mitdemeinesMenschenvergleichbarist.KlassischerweisestelltindemTesteinMenschzweiGesprächspartnern–eineristeinMensch,derandereeineMaschine–

ohneSicht-undHörkontaktmittelseinerTastaturFragen.WeißeramEnde nicht, bei welchem seiner KonversationspartneressichumdenMenschenhandelte,hatdieMaschinedenTestbestanden.Mit demLoebner-Preiswirdseit1991derEntwicklerjenerMaschine(bzw. jenesChatbots)ausgezeichnet,dieimTuring-TestdasbesteErgebnisverzeichnet.

Turing-Test und Loebner-Preis

Gastbeitrag: Zum technischen Hintergrund von Social Bots

16 Social Bots: Gefahr für die Demokratie?

Abb. 7 Sequence-to-Sequence Verarbeitung

ENCODER

DECODER

<Start>

Gut, danke! <Ende>

geht’s?Wie

Eingabe

Antwort

Page 17: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 17

Auch wenn Social Bots spätestens im ZugederUS-PräsidentschaftswahlzueinemvielbeachtetenMedienthemawurden, gibt es nur eine begrenzte Zahl von wissenschaftlich nachgewiesenen Fallbeispielen. Zu den am besten dokumentierten Fällen gehörtdergroßflächigeEinsatzvonMeinungsroboternwährenddesUkrainekonflikts im Jahr 2014. Dabei wiesen zwei deutsche Wissenschaftler, ausgehend von einer Analyse von abgesetztenTwitter-Beiträgenmitdem Hashtag #Ukraine, die Existenz einesmutmaßlichvonukrainischenRechtsnationalistengesteuertenSocial-Bots-Netzwerksmitrund15.000aktivenTwitter-Accountsnach.12

Eine Untersuchung der insgesamt rund 60.000versandtenTweetsförderteaufschlussreicheMusterzutage.SogingesindenBeiträgennichtnurumPolitik,sonderndieBots„sprachen“überpopuläreThemenwieFußball,machtensexistische Witze und verbreiteten LinkszumDownloadamerikanischerKinofilme.13 Damit zielten sie vermutlich auf den Geschmack der anvisierten Zielgruppe.DierechtePropaganda,um die es den Urhebern des Netzwerks in Wirklichkeit ging, wurde in dieseKonversationensozusagenin homöopathischen Dosierungen eingestreut.Dasgleichegaltfürgezielte Falschinformationen wie die Behauptung, die Separatisten in der Ostukraine planten, russische Raketen aufdieHauptstadtKiewzurichten.

Dabei folgten die Bots offensichtlich nicht nur stupiden Befehlen ihrer menschlichen„Botmaster“.Stattdessensorgten hochkomplexe Algorithmen dafür,dassdieMeinungsrobotereinen„hohenGradanAutonomie“aufwiesenund lediglich abstrakten Regeln folgten,imSinnevon„MacheDireinenpopulärenTweetzueigenundversiehihnmitdenfolgendenHashtags“14. AufgrunddieserStrategiewurdeesfürnormale Nutzer extrem schwierig, die tatsächlichenMotivederUrheberzuerkennen.

D Welche Risiken bergen Social Bots?

12 Vgl. S. Hegelich und D. Janetzko, „Are social bots on twitter political actors? Empirical evidence from a Ukrainian social botnet“, Tenth International AAAI Conference on Web and Social Media, 2016.

13 Vgl. Hegelich, 2016.14 Vgl. Hegelich, Janetzko, 2016.

Welche Risiken bergen Social Bots?

Page 18: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

18 Social Bots: Gefahr für die Demokratie?

Aus diesem Beispiel und ähnlichen dokumentiertenFällen–unteranderemwährendderBrexit-Kampagne–lassen sich zumindest drei potenzielle Gefahrenableiten,dieSocialBotsfürdie demokratische Debattenkultur bergen: • Durch die massenhafte Verbreitung

von Fake News sind Social Bots in derLage,gezielt„falscheTatsachen“in Umlauf zu bringen, was vor allem inangespanntenpolitischenLagenpotenziell dramatische Folgen haben kann.

• DurchdieschiereMengeverbreiteterBeiträge können Social Bots die TrendsindensozialenNetzwerkenmanipulieren und so die öffentliche MeinungineinebestimmteRichtunglenken.

• MitihrenoftmalsradikalenPositionentragen Social Bots dazu bei, dass sich (menschliche)UserauspolitischenDebattenzurückziehen.ImErgebnisbetreibendieMeinungsrobotereineVerrohung des öffentlichen Diskurses.

Die potenziellen Gefahren durch Meinungsrobotersindallerdingsnichtauf die politische Sphäre beschränkt. So ist denkbar, dass Social Bots eingesetzt werden, um Aktienkurse gezieltzumanipulieren.InderwissenschaftlichenLiteraturwirdin diesem Zusammenhang auf den mysteriösenFalldesTechnologie-Start-ups Cynk aus dem USA verwiesen. Die FirmahattezwarnureinenMitarbeiterund erwirtschaftete keinerlei Umsätze, trotzdem stieg die Aktie im Jahr 2014 binnen weniger Wochen um rund 36.000 %, was Cynk zwischenzeitlich einen Börsenwert von rund sechs MilliardenDollarbescherte(bevordieAktiekurzdanachzusammenbrach).15 Auffällig ist hier, dass die Rallye des Wertpapiers mit vielen positiven Twitter-Kommentarenzusammenfiel.EineErklärungfürdenwundersamenKursanstiegkönntedeshalbdarinbestehen, dass Handelsroboter die Aktie aufgrundderTwitter-Empfehlungenauch dann noch orderten, als menschlicheMarktteilnehmerlängstVerdacht schöpften.16,17

WierealdieGefahrvonFinanz-manipulation durch Social Bots tatsächlich ist, lässt sich vorerst zwar nicht mit Bestimmtheit sagen, das Bundeskriminalamthatjedochjüngstbereits zwei weitere Gefahrenszenarien benannt:18

• DieSchaffungkünstlicherMärkte,umAnlegerdurchBot-Kampagnengezieltinbeworbene(nichtexistente)Kapitalanlagenzutreiben.

• DieInfiltrierungklassischerVertriebs-undBeratungsmodelledurch von Social Bots verbreitete Falschnachrichten.

15 Vgl. T. Alloway, T. Bradshaw, „Cynk sinks after 36.000 % climb“, Financial Times, 2014.16 Vgl. E. Ferrara et al., „The Rise of Social Bots“, Communications of the ACM, 2017.17 Vgl. M. Levine, „Cynk makes the case for buying friends“, Naked Short Selling, Bloomberg, 2014.18 Vgl. S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“

am 26. Januar 2017 im Deutschen Bundestag, 2017.

Welche Risiken bergen Social Bots?

Page 19: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 19

Daneben sind weitere Bereiche denkbar, in denen Social Bots in betrügerischerAbsichteingesetztwerdenkönnen –und wirtschaftlicheoder sonstige Schäden anrichten. Ein relativ banales Beispiel ist der Fall der US-DatingplattformAshleyMadison.Dort verbargensichhinterangeblichrund 70.00019 Frauen in Wirklichkeit Bots, deren Aufgabe darin bestand, MännerinbezahlpflichtigeChatszuverwickeln. Weniger anschaulich, aber potenziell deutlich teurer sind sogenannteSpear-Phishing-Attacken,die sich nicht nur gegen Einzelpersonen, sondernmitdemZielderInfiltrierungauch gegen Unternehmen einsetzen lassen.BeidieserMethodewerdenausgewählteMitarbeitergezieltübersozialeNetzwerkekontaktiert.Das Vorgehen ist vergleichbar mit Spammails–durchdenEinsatzvonBotslassen sich die Nachrichten allerdings viel gezielter auf den Adressaten zuschneiden. Dadurch erhöht sich das Risiko,dassderMitarbeiteraufdenAngriff hereinfällt.

Solche„Speer-Attacken“sindnureinBeispieldenkbarerCyberwar-Aktivitäten. Es ist zumindest theoretisch möglich,überdenEinsatzvonSocialBotsSchadsoftwarezuverbreiten–bis hinzusogenanntenDDoS-Angriffen(DDoS:DistributedDenialofService),beidenenmitMassenanfragendie Homepage des Unternehmens lahmgelegtwird.DabeimüssendieCyberwarfare-Methodengarnichtimmer hochkomplex sein. Denn wenn SocialBotsimpolitischenKontextzurMeinungsmanipulationeingesetztwerden–warumdannnichtauchinderWirtschaft? Das Risiko jedenfalls ist evident und potenziell extrem teuer, von derStreuungvonInsolvenzgerüchtenbis hin zu Rufmordkampagnen gegen handelndePersonen.

Wie Unternehmen auf die potenziellen Bedrohungen reagieren können, wird inKapitelGerläutert.Zunächstwollenwir uns einer anderen Frage widmen: Bergen Social Bots neben Risiken nicht auch Chancen?

SindBot-KampagnenwieimUkrainekonflikt auch im Zuge der Bundestagswahl denkbar? Die politischenParteiensindjedenfallssensibilisiertfürdasThema–spätestens seitdem die AfD im Herbst 2016 heftig kritisiert wurde, nachdem ihr Vorstandsmitglied AliceWeidelineinemInterviewerklärthatte:„Selbstverständlich

werden wir Social Bots in unsere Strategie im Bundestagswahlkampf einbeziehen.“20KurzdaraufstelltedieAfDklar,sieplane„keinenEinsatz sogenannter Social Bots im Wahlkampf“.BeieinerUmfrageder Nachrichtenagentur Reuters betontenauchCDU,CSU,SPD,GrüneundFDP,imWahlkampfkeineMeinungsroboterzuverwenden.21

Social Bots und die Bundestagswahl

19 Vgl. A. Newitz, „Ashley Madison code shows more women, and more bots“, Gizmodo.com, 2015.20 Zeit Online, „AfD will Social Bots im Wahlkampf einsetzen“, Zeit Online, 2016.21 Vgl. A. Rinke, „Sorge um gekaufte digitale Hilfe im Wahlkampf“, Reuters, 2016.

Welche Risiken bergen Social Bots?

Page 20: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

20 Social Bots: Gefahr für die Demokratie?

E Welche Chancen bieten Social Bots?

NichtnurParteienbetonen,dasssiekeineSocialBotseinsetzen–auchausder Unternehmenswelt sind bislang keine prominenten Fälle bekannt. Dabei braucht es eigentlich nicht viel Fantasie, umsichdastheoretischePotenzialvonMeinungsroboternimMarketingbereichauszumalen.EingutesBeispielhierfüristderFallLajello.22

Unter diesem Namen tummelte sich vor einpaarJahreneinMitgliedbeiaNobii.com, einem sozialen Netzwerk, indemsichLiteraturfreundeüberBücheraustauschen.IndemLajelloanderenMitgliedernimmerwiederLesetippsgab,mutiertedasProfilimLaufderZeitzumzweiteinflussreichstenUseraufaNobii.comüberhaupt.DochbeiLajellohandelteessichnichtumeinenMenschen,sondernumeinenSocialBot.HinterdemFake-ProfilstandeineGruppevonProgrammierernderUniversitätTurin.SiebetrachtetendasGanze lediglich als Experiment. Ein LiteraturverlaghingegenkönntesichsolcheinenBücher-Botbeispielsweiseals Vertriebsinstrument zu Eigen machen.

Gleichwohl: Als irgendwann immer mehrMitgliederdenVerdachtäußerten,LajelloseiinWirklichkeiteineMaschine,wurdedasProfilvomBetreiber des Netzwerks gesperrt. Ganz abgesehen von den rechtlichen Fragen zeigtesichandiesemPunkt,warumUnternehmenbeimThemaSocialBotsausgutemGrundzurückhaltendsind.HättehinterLajellotatsächlichein Verlag gestanden, wäre der ImageschadenvermutlichsehrvielgrößergewesenalsderNutzendurchdenMehrverkaufvonBüchern.Deshalbstellt sich die Frage: Sind Social Bots alsInstrumentfürUnternehmenundandereseriöseInstitutionenvonvornherein diskreditiert?

22 Vgl. MIT Technology Review, „How a Simple Spambot Became the Second Most Powerful Member of an Italien Social Network“, MIT Technology Review, 2014.

Auch viele Buchungsportale setzen inzwischen auf Chatbots.

Welche Chancen bieten Social Bots?

Page 21: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 21

So einfach kann man das nicht sagen. Denn wie bereits erläutert, handelt es sich bei Social Bots technisch betrachtet lediglich um eine Spielart der Chatbots. Wenn man von Social BotsalsMeinungsroboternspricht,lassen sich Chatbots analog als Kommunikationsroboterbezeichnen.LetztereindeswerdeninzwischenvonvielenUnternehmenverwendet–eineEntwicklung, die enorm beschleunigt wurde dadurch, dass Facebook seine Messenger-AppimvergangenenJahrfürdie Chatbots von Fremdfirmen öffnete.23

Die Einsatzfelder werden dabei immer vielfältiger.BeiTacoBell(einerUS-KetteimBereichSystemgastronomie)nimmt der Roboter inzwischen nicht nur die Essensbestellung entgegen, er kümmertsichauchumdieRechnung,gibtkulinarischeTippsundorganisiertGruppenbestellungen.24 Auch viele Buchungsportale setzen inzwischen auf Chatbots, ebenso wie Wetterdienste oderAnbieterfürGesundheitstipps.Entsprechende Fortschritte beikünstlicherIntelligenzundmaschinellemLernenvorausgesetzt,könntendieKommunikationsroboterinden kommenden Jahren zu virtuellen Assistenten mutieren, die menschlichen Servicemitarbeitern sowohl in der KundenkommunikationalsauchimKundenserviceimmermehrAufgabenabnehmen.

23 Vgl. J. Sablich, „How to plan your next travel with a chatbot“, New York Times, 2017.24 Vgl. S. Kirchhof, „Was der Hype um Social Bots bedeutet“, Horizont, 2016.

Abb. 8 Akzeptierter Einsatz von Social Bots

Über vier von zehn Deutschen sind für ein generelles Verbot von Social Bots.

Zu welchen Zwecken sollten Social Bots Ihrer Meinung nach eingesetzt werden dürfen?

Mehrfachnennung waren möglich

Basis: Alle Befragten, n = 1.000

Social Bots dürften eingesetzt werden für …

41 % akzeptieren Einsatz felder für Social Bots.

43 %Social Bots sollten ganz

verboten werden.

16 %Weiß nicht.

1 %… andere Einsatzfelder.

7 %… Sammeln von Informationen von Usern, z. B. als Facebook­Freunde.

8 %… automatisierte Verbreitung

von Fake News.

12 %… automatisierte Meinungsmache, z. B. durch Likes bei Facebook, Retweets bei

Twitter, Rezensionen in Online­Shops etc.

13 %… automatisierte Erstellung von

Nachrichten.

13 %… automatisierte Verbreitung

von Werbung.

17 %… automatisierte politische Aufklärung,

z. B. zum Wahlrecht.

u. a. Kundenanfragen beantworten, Verbrechens bekämpfung, im Notfall, alles – Teil der Meinungs freiheit

Welche Chancen bieten Social Bots?

Page 22: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

22 Social Bots: Gefahr für die Demokratie?

Die Grenze zwischen Chatbot und SocialBotdürfteimZugedieserEntwicklungfließenderwerden–und der kontrollierte Einsatz von Meinungsroboterneinedurchausrealistische Option. Ein potenzielles Verwendungsgebiet,fürUnternehmenwieauchfürpolitischeInstitutionen,istdassogenannteInfluencer-Marketing.DamitistdieMethodegemeint,dasMarketingimInternetbzw.indensozialenMediengezieltdarauf auszurichten, einflussreiche MultiplikatorenfürdaseigeneProdukt,dieeigeneMarkeoderebenauchdieeigeneParteizugewinnen.KlassischerweisehandeltessichbeidiesenInfluencernumJournalistenoder Blogger. Daneben können aber zum Beispielauch„Fans“(alsoetwaKunden,die einem Unternehmen bei Facebook oderTwitterfolgen)zuwertvollenMultiplikatorenwerden.

WiesichMischformenausChatbotundSocialBots(wirwollendafürdenBegriff„Influencer-Bot“einführen)in solche Strategien einbinden lassen, lässt sich noch nicht konkret sagen. AllerdingsstehtaußerFrage,dassder Einsatz einem nicht nur rechtlich, sondern auch ethisch eindeutigen Kriterienkatalogzufolgenhätte.DaherwollenwiranhandvonzweiMerkmalenskizzieren, welchen Anforderungen einesolcheMischformgenügenmüsste,umsowohleinenklarenMehrwertzu generieren als auch öffentliche Akzeptanz zu erhalten: • InKapitelAhabenwirdefiniert,dass

Chatbots reaktiv kommunizieren, während Social Bots auch selbst aktivwerden.Influencer-BotswärendemgemäßSocialBots.

• Zudem definierten wir, dass sich Chatbots einer Quelle zuordnen lassen, während Social Bots ihre Urheberschaft zu verschleiern suchen. AngesichtsdessenwürdeessichbeiInfluencer-BotsumChatbotshandeln.

Welche Chancen bieten Social Bots?

Page 23: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Währendinden1980er-JahrenindenUSA angeblich auf einen Journalisten einPR-Expertekam,solldasVerhältnismittlerweilebeieinszufünfliegen.25 DochnichtnurdieÜbermachtprofessionellerEinflüsterererschwertdentraditionellenMediendasLeben.DasInternethatausdemeinstigenTagesgeschäfteinMinutengeschäftgemacht. Während Zeitungsredakteure früherdieNachrichtenfürdennächstenMorgenaufbereiteten,sollenOnline-journalisten heute quasi in Echtzeit nicht nur die News, sondern im besten Fall auch die Analyse liefern. ParalleldazusinddieWerbeerlösederklassischenMedieneingebrochen,während die Bereitschaft des Publikums,fürjournalistischeInhaltezu zahlen, tendenziell sinkt.

ErschwerendmüssensichdieRedaktionen nun auch mit neuen PhänomenenwieFakeNewsoderSocialBots auseinandersetzen. Dabei stehen sievordemzusätzlichenProblem,dasseinTeilderBevölkerungdieArbeit von Journalisten zunehmend kritischbetrachtet–oderzumindestinderLageist,dieseKritik(Stichwort„Lügenpresse“)viaInternetdirekterund heftiger zu artikulieren, als dies früherdieLeserbriefschreiberkonnten.CharakteristischfürdieseEntwicklungist,dassderneueUS-PräsidentviaTwitterregelmäßiggegenMedienwiedieNewYork TimesdenVorwurferhebt, sie selbst seien es, die Fake News produzierten. Haben Journalisten angesichts dieser schwierigen BedingungenüberhauptnocheineChance, ihre angestammte Rolle als Gate keeper des demokratischen Diskurses zu verteidigen? Oder drohen sie im angeblich postfaktischen Zeitalter in einer Flut bewusst verbreiteter Falschnachrichten und böswilliger Meinungsroboterzuversinken?

F Fake News, Social Bots und die Rolle der Medien

25 Vgl. S. Russ­Mohl, „Am Ende des Aufklärungszeitalters“, Neue Zürcher Zeitung, 2016.

Um die Debatte mit einer soliden Faktengrundlage zu untermauern, hatPwCimAprilundMai2017einerepräsentative Bevölkerungsumfrage zumThema„SocialBotsundFakeNews“durchführenlassen;darannahmen1.000Bundesbürgerab18Jahren teil. Dabei zeigte sich, dass die meisten Befragten mit dem Begriff Fake News deutlich mehr anzufangen wissen als mit dem Begriff Social Bots.Someinten84%,siewüsstenüberFakeNews„relativgut“oderzumindest„ungefähr“Bescheid;beiSocial Bots waren es hingegen nur 36%.Demgegenübermeinten25%,siewürdenSocialBotsnurdemNamen nach kennen, während 39 % angaben, sie könnten mit dem Stichwort gar nichts anfangen. Nachdem die Befragten aufgeklärt wurden, was es mitdenMeinungsroboternaufsichhat, meinten 9 %, sie hätten Social Bots„ganzsicher“schoneinmalindensozialen Netzwerken wahrgenommen. 28%meinten,diessei„vermutlich“derFall, ganz sicher waren sie aber nicht.

Fake News, Social Bots und die Rolle der Medien

Social Bots: Gefahr für die Demokratie? 23

Page 24: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

24 Social Bots: Gefahr für die Demokratie?

Abb. 9 Bekanntheit von Begriffen

Die Hälfte der Deutschen weiß über Fake News relativ gut Bescheid. Social Bots sind hingegen vier von zehn Befragten nicht bekannt.

Inwieweit kennen Sie die folgenden Begriffe?

Basis: Alle Befragten (Skalierte Abfrage), n = 1.000

Bekanntheit der Begriffe Fake News und Social Bots

7 %

9 %

34 %

50 %

Gar nicht.

Kenne ich nur dem Namen nach.

Ich weiß ungefähr, was sich dahinter verbirgt.

Ich weiß darüber relativ gut Bescheid.

Fake News

39 %

25 %

22 %

14 %

Social Bots

InteressanterweisebietetdieUmfragestarke Hinweise darauf, dass Fake News oder Social Bots die Arbeit etablierterMediennichtzwingendunterminierenmüssen,sondernim Gegenteil sogar dazu beitragen könnten, das Vertrauen in die klassische journalistische Arbeit wieder zu stärken. So rechnen nur 5 % der Deutschen damit, in kostenpflichtigen Tages-oderWochenzeitungenaufFakeNewszutreffen–währenddiesbeiTwitter66%undFacebooksogar79 % tun. Dazu passt, dass 61 % der Befragten meinte, es sei sogar eine

originäreAufgabeklassischerMedien(Zeitungen,Magazine,Fernsehen,Radio),dieÖffentlichkeitüberPhänomenewieFakeNewsundSocialBots aufzuklären. Dagegen sahen nur 57%diePlattformbetreiberselbst(alsoz.B.TwitteroderFacebook)undauch nur 53 % den Gesetzgeber in der Verantwortung.Tatsächlichwünschtensich neun von zehn Befragten, dass die Redaktionen personell aufgestockt werden,damitsieInformationenintensiverprüfenkönnen.Allerdings:NureinViertelzeigtesichbereit,dafürauch zu zahlen.

Fake News, Social Bots und die Rolle der Medien

Page 25: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 25

Hier zeigt sich ein grundsätzlicher Widerspruch. Denn dass insbesondere TwittervonimmermehrJournalistenalsInformationsquellegenutztwird,liegtnichtnurandenGeschwindigkeits-vorteilen,diederKurznachrichtendienstetwagegenüberKorrespondentenoderNachrichtenagenturenbietet –sondern auch daran, dass soziale MedienalsRechercheinstrumentgünstigsind.VieleRedaktionenhabendasScannenderSocial-Media-Kanälelängst institutionalisiert. So gibt es beispielsweise bei der Deutschen Presseagentur(dpa)einenListeningOfficer,der„sozialeMedienjedwederArtaufKlumpenvonNachrichten[beobachtet], die darauf hindeuten, dass irgendwoetwaspassiert“.26

Zugleich ist im Zuge von Fake News und Social Bots aber auch die Sensibilität im Umgang mit den neuen Quellen enorm gestiegen. Auch hier ist die dpa ein gutes Beispiel. Denn parallel zum ListeningOfficerwolltedieAgenturindiesem Jahr die Rolle eines sogenannten VerificationOfficerseinführen,„dergroßeErfahrungdarinhat,zuerkennen,obMeldungenplausibelsind“.27

Redaktionen, die es sich leisten können(oderwollen),habendenKampfgegenFakeNewsundSocialBots jedenfalls aufgenommen. Das vielleicht beste Beispiel ist die First DraftCoalition,derenMitgliedersichin Zukunft gegenseitig bei Recherche undVerifikationunterstützenwollen.28

Aus Deutschlandgehörenunteranderem ARD und ZDF diesem Verbund an, aus den USA die Nachrichtenagentur APundausGroßbritanniendieTages-zeitung Guardian. Das vielleicht Bemerkenswerteste allerdings ist: NebenklassischenMedienschlossensichauchTechnologieunternehmenwieFacebookundTwitterderFirstDraft Coalition an. Quasi parallel hatFacebookAnfangdiesesJahres–offenbaralsReaktionaufdieKritikander Verbreitung von Fake News während desUS-Präsidentschaftswahlkampfs –dasFacebookJournalismProjectausgerufen.29

Abb. 10 Aufklärung über Social Bots und Fakes News

Die Aufklärung über Social Bots und Fake News sollte in erster Linie durch die klassischen Medien erfolgen.

Wer sollte Ihrer Meinung nach über Fake News und Social Bots aufklären?

Mehrfachnennung waren möglich

Basis: Alle Befragten, n = 1.000

Über Social Bots und Fake News sollten aufklären:

61 %klassische Medien (Zeitungen,

Magazine, Fernsehen, Radio)

57 %Plattformbetreiber,

z. B. Twitter, Facebook, etc.

53 %der Gesetzgeber

49 %Online­Medien

1 % jemand anderes u. a. Schulen

8 %niemand/jeder ist selbst

verantwortlich

26 News Aktuell, „Die große Falle: Was das Phänomen Fake News für Kommunikation und PR bedeutet“, News Aktuell, 2017.27 Ebenda.28 Vgl. Meedia, „Große Koalition gegen Fake News: Globales Bündnis von über 40 Medien und Web­Konzernen geht an den Start“, Meedia, 2017.29 Vgl. Zeit Online, „Facebook startet Projekt gegen Falschmeldungen“, Zeit Online, 2017.

Fake News, Social Bots und die Rolle der Medien

Page 26: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

26 Social Bots: Gefahr für die Demokratie?

Handelt es sich bei Social Bots in erster LinieumInstrumentezurManipulationderöffentlichenMeinung–odersindsie längst auch zur Waffe in einem immer undurchsichtigeren Cyberwar mutiert?MitteMaiberichtetedasUS-MagazinTimevoneinerrussischenCyberattacke auf das amerikanische Verteidigungsministerium.30 Demnach hattenzweiMonatezuvormehrals10.000MinisteriumsmitarbeiterüberTwitterscheinbarharmloseMitteilungenerhalten,derenInhaltexaktaufdieInteressenihrerEmpfänger zugeschnitten war. Wer sich beiTwitterzumBeispielalsSportfanzuerkennengab,dererhielteinenLink,derangeblichzueinemBerichtübereinSportereignisführte.TatsächlichjedochverbargensichhinterdenLinksgefährliche Schadprogramme. Es handeltesichmithinumeineSpear-Attacke(sieheKapitelD)aufeinedermächtigsten Behörden der Welt.

DassdiesozialenMediennichtnureinVerbreitungskanalfürFakeNews,sondern auch ein potenzielles Einfallstor fürCyberangriffedarstellen,liegtaufderHand.ÜberNetzwerkewieLinkedInoderXinglassensichfürAußenstehendeheutzutage die Organigramme ganzer Unternehmen nachvollziehen. Und bei Twitterkommunizieren„Professionals“häufigsehroffenmit„Kontakten“,derenIdentitätsieinvielenFällenvermutlichnichtwirklichüberprüfthaben. Wenn selbst das amerikanische Verteidigungsministerium zum Ziel einerüberSocialMedialanciertenCyberattackewird–dannkannpotenziellauchjedeandereInstitutionzum Opfer eines solchen Angriffs werden.

Wie können sich Regierungen, Parteien,UnternehmenundandereOrganisationen gegen solche Angriffe zur Wehr setzen? Die Betreiber der sozialenNetzwerke–alsoMilliarden-konzernewieFacebookoder Twitter –müsstenzumSchutzdereigenenGlaubwürdigkeiteigentlicheinvitalesInteressedaranhaben,Phänomene wieFakeNews,SocialBotsoderSpear-AttackenmitallerMachtzubekämpfen.TatsächlichveränderteFacebookjüngstseineAlgorithmen,ummöglicheFalschnachrichten leichter erkennen zu können. Fast zeitgleich ergriff auch GoogleeineReihevonMaßnahmen,um die Verbreitung von Fake News zuerschweren.Trotzdemdrängtsich bisweilen der Eindruck auf, dass dieSchlachtnurhalbherziggeführtwird.ZwarbetontauchTwitter,dassdie eigenen Algorithmen darauf ausgerichtetwürden,ManipulationenderTrendlistezuerkennenundgegebenenfalls reagieren zu können. Als dasUnternehmenzudemAngriffauf das Verteidigungsministerium gefragt wurde, gab es jedoch keinen Kommentarab.31

Der Fairness halber muss gesagt werden,dassdasThemafürdiePlattformbetreiberheikelist.ZumeinengehtesnatürlichummonetäreFragen–derKampfgegenFakeNewsoder Social Bots kostet Geld. Zum anderen geht es aber auch um sehr grundsätzliche Erwägungen. Netzwerke wieTwitteroderauchInstagrambasieren technologisch gesehen ganz entscheidendaufdemPrinzipoffenerSchnittstellen.Deshalbdürftensichdie Betreiber dagegen sträuben, den Urhebern von Social Bots zum

G Wie können sich Unternehmen und Institutionen schützen?

Beispiel dadurch das Handwerk zu legen, dass sie ihnen den Zugang zu denSchnittstellen(sieheKapitelA)erschweren. Auch andere theoretisch denkbareAbwehrmaßnahmendürftenaufgrund ihrer Radikalität den Plattformbetreibernkaumgefallen.DazuwürdezumBeispieleineArt„Ausweispflicht“gehören.Siewürdedarauf hinauslaufen, dass Nutzer bei derEröffnungeinesFacebook-oderTwitter-AccountseinenähnlichenIdentifizierungsprozessdurchlaufenwie etwabeieinemGirokonto.

DarüberhinausbefindensichdieNetzwerkbetreiber auch politisch aufschwierigemTerrain:SollenzumBeispiel in den USA beheimatete UnternehmenwieFacebook,TwitteroderInstagraminihremKampfgegenSocialBots,Spear-Phishing-oderDDoS-AttackenmitdenamerikanischenGeheimdienstenkooperieren–oderdürfensiegeradedasnichttun?Einanderes Beispiel: Wie sieht der richtige Umgang mit falschen Nachrichten aus?Werentscheidetüberhaupt,was eine Fake News ist und was nicht? Welche Geschichte ist objektiv falsch –undwelchelediglichpolitisch„gespinnt“.BeiFacebookweißmanum die enorme Brisanz solcher Fragen. WährenddesUS-WahlkampfssahsichdasUnternehmensogarVorwürfenausgesetzt, bei der redaktionellen KuratierungderTrendingNews„liberal“geprägteStorysgegenüber„konservativen“gezieltzubevorzugen.32

30 Vgl. M. Calabresi, „Inside Russia’s social media war on America“, Time, 2017.31 Vgl. A. Breland, „Social media fights back against fake news“, The Hill, 2017.32 Vgl. M. Nunez, „Former Facebook workers: We routinely suppressed conservative news“, Gizmodo.com, 2016.

Wie können sich Unternehmen und Institutionen schützen?

Page 27: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 27

NatürlichspielenauchrechtlicheAspekte eine Rolle. Zum Zeitpunkt der Fertigstellung des vorliegenden Whitepapers wurde in Deutschland erregtüberdassogenannteHate-Speech-Gesetz(offizielleBezeichnung:„Netzwerkdurchsetzungsgesetz“)diskutiert.DerEntwurfvonJustiz-ministerHeikoMaassahvor,dassdie Netzwerkbetreiber offenkundig strafbareInhalteinderRegelbinnen24 Stunden, in komplexen Fällen innerhalbvonsiebenTagenlöschenmüssen;verstoßensiegegendieseVorgaben,drohenBußgeldervonbiszu 50MillionenEuro.Medienberichtenzufolge kritisierte Facebook das Gesetzalsverfassungswidrig.IneinemLobbypapierdesKonzernshießesdemnach:„DerRechtsstaatdarf die eigenen Versäumnisse und die Verantwortung nicht auf private Unternehmen abwälzen. Die Verhinderung und Bekämpfung von Hate Speech und Falschmeldungen ist eineöffentlicheAufgabe,dersichder Staatnichtentziehendarf.“33

InderTatbegibtsichdieBundes-regierungmitdemHate-Speech-Gesetzauf rechtliches Neuland. Denn der zuletztdiskutierteMinisteriums-entwurfläuftdaraufhinaus,Ordnungs-widrigkeiten oder gar Straftatbestände vonprivaterSeite–sprich:vonFacebook,Twitterusw.–feststellenzu lassen. Dieser Ansatz ist in der deutschen Gesetzgebung bislang ohne Beispiel. Hinzu kommt, dass die Grenzen zwischen einer gesellschaftlich unerwünschtenundeinerrechtlichverbotenenÄußerungfließendsind.DerEntwurfvonHeikoMaasfordertalso im Extremfall eine sichere Bewertung nicht sicher zu bewertender Sachverhalte–unddasvoneinemprivatwirtschaftlichen Unternehmen unter Vorgabe einer zeitlich eng gefassten Frist.

Dieser juristische Drahtseilakt zeigt exemplarisch, wie schwierig esist,Social-Media-PhänomenewieHate Speech,FakeNewsoderSocial BotsmitdenMittelndesRechts in den Griff zu bekommen. Selbstwennmanannähme,dieLiniezwischenRechtundUnrechtließesichtrennscharfziehen,bliebedasProblemder Durchsetzung. Die Urheber illegaler Handlungen sitzen häufig im fernen Ausland und entziehen sich so der nationalstaatlichen Rechtsprechung. AuchdieMachtderPlattformbetreiberstößthieranGrenzen.DennwasnützenschärfereAGBs,wennkaumAussicht besteht, Rechtsverletzungen zu sanktionieren?

Die potenzielle Gefahr, die von Fake News, Social Bots oder Cyberattacken indensozialenMedienausgeht,verlangt nach gesamtgesellschaftlichen Antworten.ImMittelpunktmussdabei die Aufklärung stehen. Hier ist zum Beispiel die ehrenamtliche InitiativeBotswatchzunennen,die sich zur Aufgabe gemacht hat, verdächtigeTwitter-Aktivitätenbeipolitischen Ereignissen in Deutschland zu analysieren. Daneben gibt es zwei vomBundesministeriumfürBildungundForschunggeförderteProjekte,diesich mit Fake News und verwandten Phänomenenauseinandersetzen.SieheißenPropStopundSocialMediaForensics. Ziel muss es sein, solche Initiativenzukünftigauchaufbreiterinternationaler Ebene zu verankern.

ZudemmussdasProblemnichtnuraufderMakro-,sondernauchaufderMikroebeneangegangenwerden.SowerdenParteien,Unter-nehmenundsonstigeInstitutionennicht umhinkommen, eigene Schutzmechanismen gegen die hier beschriebenen Risiken zu entwickeln. Wir wollen an dieser Stelle noch keine komplette Roadmap entwerfen.Klarallerdingsist,dassdieentsprechendenMaßnahmenvonzusätzlichenInvestitionenindieIT-SicherheitüberVorkehrungenzurKrisenkommunikationbishinzueiner stärkeren Sensibilisierung der Mitarbeiterschaftreichenmüssen.WiekomplexdieProblemesind,vordenenwirstehen,illustriertabschließendeinweitererGastbeitragvonProfessorDr.JensLehmannundKlaudiaThellmann.

33 Spiegel Online, „Facebook nennt Maas­Gesetz verfassungswidrig“, Spiegel Online, 2017.

Wie können sich Unternehmen und Institutionen schützen?

Page 28: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

28 Social Bots: Gefahr für die Demokratie?

Von Prof. Dr. Jens Lehmann und Klaudia Thellmann, Fraunhofer IAIS.

Auf technischer Seite kann durch Anwendungen und Dienste den Nutzern eineStützezurVerfügunggestelltwerden, um Bots, Falschinformationen undManipulationsversuchesosicherwie möglich zu erkennen.

Dabei unterscheidet man grundsätzlich zweiMethoden:Dieeineistaufdiezugrunde liegende Graphstruktur des sozialen Netzes ausgelegt. Es geht darum, mittels Graphalgorithmen VerbindungenvonProfilenzuuntersuchen, um Gruppen von Bots und Gruppen von legitimen Nutzern zu unterscheidenundsomitBot-Netzwerkeausfindig zu machen.34

Eine andere, etwas effektivere Gruppe vonAnsätzenwertetzurBot-DetektionProfilinformationen–sogenannteFeatures–aus.ZudenuntersuchtenProfilinformationenzählenunteranderem: Alter des Accounts, Vernetzungs-undInteraktionsverhalten,AnzahlderBeiträgeproTag,InhaltderBeiträge, Anzahl von Freunden und FollowernoderplausibleTimeline.35,36,37

Bot-Erkennung über Graph-basierte AnsätzeDieAnsätze,dieinRichtungGraph-analyse gehen, sind auf das Erkennen von Gemeinschaften ausgelegt. Dabei werden Cluster von Nutzerprofilen, dieüberdurchschnittlichengmiteinanderverknüpftsind,umeinalsvertrauenswürdiggekennzeichnetesProfilherumidentifiziert34. Diese AnalysederVernetzungvonSocial-

Bot-ProfilenwirdaufGrundlagederAnnahme vorgenommen, dass sich Bots tendenziell mehr mit anderen Bots vernetzenalsmitlegitimenNutzern. Das Verfahren ermöglicht somiteinePartitionierungdesGraphen,alsodessozialen(Teil)-Netzes,inGruppen von Bots und von legitimen Nutzern beziehungsweise ein Ranking von(wahrscheinlichen)Fake-Profilen38.

H Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

28 Social Bots: Gefahr für die Demokratie?

Abb. 11 Darstellung eines sozialen Netzes als Graph

Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

34 B. Viswanath, A. Post, K. P. Gummadi und A. Mislove, „An analysis of social network­based sybil defenses“, ACM SIGCOMM Computer Communication Review, 2010.

35 E. Ferrara, O. Varol, C. Davis, F. Menczer und A. Flammini, „The rise of social bots“, arXiv preprint, 2014.36 C. A. Davis, O. Varol, E. Ferrara, A. Flammini und F. Menczer, „BotOrNot: A system to evaluate social bots“, Proceedings of the 25th International

Conference Companion on World Wide Web, 2016.37 O. Varol, E. Ferrara, C. A. Davis, F. Menczer und A. Flammini, „Online human­bot interactions: Detection, estimation, and characterization“, arXiv, 2017.38 Q. Cao, M. Sirivianos, X. Yang und T. Pregueiro, „Aiding the detection of fake accounts in large scale social online services“, Proceedings of the 9th

USENIX conference on Networked Systems Design and Implementation, 2012.

Page 29: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 29

DenmeistenGraph-basiertenAnsätzenliegt die Annahme zugrunde, dass Bots sich mit vielen anderen Bots vernetzen, während legitime Nutzer die Vernetzung mit Bots meiden. Diese Annahmen haben sich jedoch als nicht immer zutreffend erwiesen.39InderStudie von Jing et al.40, in der das Vernetzungs verhalten von einer halben MillionBot-AccountsaufdersozialenPlattformRenrenuntersuchtwurde,konntenkeinestarkvernetztenBot-Gemeinschaftenbeobachtetwerden.ImGegenteil waren die Bots eher darauf programmiert, legitime Gemeinschaften zu infiltrieren.

Bot-Erkennung über Feature-basierte AnsätzeEs gibt einige veröffentlichte Ansätze, dieaufGrundlagegroßerMengenan gesammelten Daten mittels maschinellerLernverfahrenversuchen,ProfilinformationenausdensozialenNetzwerken auszuwerten. Damit sollen ähnliche Verhaltensmuster von Bots aufgedeckt und in Cluster gruppiert oderProfilevonBotsaufgrunderlernterUnterscheidungskriterien erkannt werden. Neben Verhaltensmustern undProfildatenkönnenhierbeiauchInhalteuntersuchtwerden.WenneinTwitter-NutzerzumBeispieloftsehrähnlicheInhalteinPostsverwendet,dannistdaseinIndikatordafür,dassessich um einen Bot handelt, der gezielt spezielleInhalte,zumBeispielzurStimmungsmache, verbreitet. Ein prominentes Beispiel, das auch inderPraxisAnwendungfindet,ist die von einer Gruppe um den Computerwissenschaftler Emilio FerraraentwickeltekostenloseWeb-APIBotometer(früherbekanntalsBotOrNot;sieheKapitelB)fürTwitter.37FürjedesSubjekt(BotoderNutzer)werdenunterschiedlicheKennzahlen(Features)extrahiert,

dieProfilinformationenumfassen.DieseFeature-VektorenwerdendannalsEingabefüreinLernverfahrenverwendet,welchesfürjedenNutzereine Bewertung erstellt, anhand deren abgeleitet werden kann, ob es sich um einenBotodereinenMenschenhandelt.

Das vorgeschlagene Verfahren weist laut Varol et. al37einehohePräzisioninderDetektionvonTwitter-Botsauf.Allerdings wurde die Evaluierung nur aufBotsausgeführt,dieaufHoneypotsreinfallen–darunterverstehtmaneinenalsKödereingerichteten Account,der die Bots dazu verleiten soll, sich mit dem Account zu vernetzen. Dementsprechend kann dieses KlassifikationsmodellnurBotserkennen, die ähnliche Eigenschaften haben wie solche Bots, die auf den Honeypot hereinfallen. Das Ergebnis sollte man daher nur als Ausgangspunkt füreineeigeneEinschätzungnehmen,da es nicht vollständig verlässlich ist.

ZudenweiterenBeispielenfürähnliche Ansätze gehört das unter anderem von Wissenschaftlern der University of California39 entwickelteKlassifizierungssystemzum Detektieren von Bots. Es baut auf einer Verhaltensanalyse von Nutzern auf, genauer gesagt, dem Surfverhalten von Nutzern. Hierbei wird insbesondere untersucht, wann und in welcher Abfolge Anfragen an Webseiten abgeschickt werden. Ein anderer vorgeschlagener Ansatz zum KlassifizierenvonBot-Profilenbasiertebenfalls auf Verhaltensstatistiken, insbesondereaufdemVernetzungs-verhaltenvomeigentlichenProfilunddendamitvernetztenProfilen.41

EineandereGruppevonWissen-schaftlern schlägt wiederum eine DetektionvonTwitter-Bot-Profilenvor, die Daten zum Erlernen der Unterscheidungsmerkmale zwischen

Bot-undlegitimenProfilenausdenHoneypots bezieht.42 Doch auch hier gilt:DieHoneypot-Strategiewarzwar anfangs sehr effektiv und half, tausende Bots einzufangen, weil frühereBots(i.d.R.Spam-Bots)nichtdarauf ausgelegt waren, Honeypots zu erkennen. Das hat sich aber in der Zwischenzeitgeändert.35

DasichdietechnischenMöglichkeitenzur Erkennung von Social Bots noch im Entwicklungsstadium befinden und dieBot-DetektionderBot-Entwicklungüblicherweisehinterherhinkt,kann man derzeit wenig konkrete Aussagen zu ihrer Effektivität oder Missbrauchsanfälligkeitmachen.Feststehtaber,dassversuchtwird,Social-Bots möglichst menschenähnlich zu gestalten(sieheKapitelC).Dadurchwird es immer schwieriger, selbst mittelsFeature-basiertenAnsätzenAuffälligkeiten oder Ungereimtheiten in ProfilenundVerhaltensweisenzufinden.43

MaschinelleLernverfahren,dieModellezurKlassifikationvonSocial Bots produzieren, könnten auch zur Entwicklung von Bots mit menschenähnlicherem Verhalten genutztwerden.DabeiwürdendieseModelledazugenutzt,gewisseMerkmaleabzuändern,diedieBotsenttarnenwürden.Außerdemsinddiese Ansätze auf die Erhebung von Profildatenangewiesen,undmancheAnsätze benötigen sogar direkten Zugriff auf das Nutzerprofil, woraus sich wiederMissbrauchspotenzialeergeben.Klarist,dassesindenkommendenMonatenundJahrenzueinemWettlaufkommen wird zwischen den Betreibern von Social Bots einerseits und den technischenMöglichkeiten,dieseBots zu erkennen und zu verhindern, andererseits. Noch ist unklar, wer dieses Rennen gewinnt.

Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

39 G. Wang, M. Mohanlal, C. Wilson, X. Wang, M. Metzger, H. Zheng und B. Y. Zhao, „Social turing tests: Crowdsourcing Sybil detection“, arXiv, 2012.40 J. Jing , C. Wilson, X. Wang, W. Sha, P. Huang, Y. Dai und B. Y. Zhao, „Understanding latent interactions in online social networks“, ACM Transactions

on the Web (TWEB), 2013.41 Z. Yang, C. Wilson, X. Wang, T. Gao, B. Y. Zhao und Y. Dai, „Uncovering social network Sybils in the wild“, ACM Transactions on Knowledge Discovery

from Data (TKDD), 2014.42 K. Lee, B. D. Eoff und J. Caverlee, „Seven Months with the Devils: A Long­Term Study of Content Polluters on Twitter“, ICWSM, 2011.43 S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“ am 26. Januar 2017

im Deutschen Bundestag, 2017.

Social Bots: Gefahr für die Demokratie? 29

Page 30: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

30 Social Bots: Gefahr für die Demokratie?

Quellenverzeichnis

D. Alba, „The Political Twitter Bots Will Rage This Election Day“, Wired.com, 2016.

T. Alloway, „T. Bradshaw, Cynk sinks after 36.000 % climb“, FinancialTimes,2014.

A. Bessi und E. Ferrara, „Social bots distort the 2016 US presidential election online discussion“, FirstMonday,2016.

P. Beuth, „Furcht vor den neuen Wahlkampfmaschinen“, Zeit Online, 2017.

A. Breland, „Social media fights back against fake news“, TheHill,2017.

M. Calabresi, „Inside Russia’s Social Media War on America“, Times,2017.

E. Ferrara, „Manipulation and abuse on social media“, ACM,2015.

E. Ferrara et al., „The Rise of Social Bots“, CommunicationsoftheACM,Bd.59,Nr.7,S.96–104,2016.

The Guardian, „Computer simulating 13-years-old boy becomes first to pass Turing test“, Guardian.com, 2014.

S. Hegelich, „Invasion der Meinungs-Roboter“, Analysen und Argumente, Nr. 221, 2016.

S. Hegelich und D. Janetzko, „Are social bots on twitter political actors? Empirical evidence from a Ukrainian social botnet,“ TenthInternationalAAAIConferenceonWebandSocialMedia,2016.

P. N. Howard und B. Kollanyi, „Bots,#StrongerIn, and#Brexit: computational propaganda during the UK-EU Referendum “, Social Science Research Network 2798311, 2016.

E. Hunt, Tay, „Microsoft’s AI Chatbot, gets a crash course in racism from Twitter“, Guardian.com, 2016.

S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“ am 26. Januar 2017 im Deutschen Bundestag, 2017.

Quellenverzeichnis

Page 31: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 31

S. Kirchhof, „Was der Hype um Social Bots bedeutet“, Horizont, 2016.

M. Levine, „Cynk makes the case for buying friends“, Naked Short Selling, Bloomberg, 2014.

Meedia, „Große Koalition gegen Fake News: Globales Bündnis von über 40 Medien und Web-Konzernen geht an den Start“, Meedia,2017.

MIT Technology Review, „How a simple spambot became the second most powerful member of an Italien Social Network“, MITTechnologyReview,2014.

A. Newitz, „Ashley Madison Code shows more women, and more bots“, Gizmodo.com, 2015.

News Aktuell, „Die große Falle: Was das Phänomen Fake News für Kommunikation und PR bedeutet“, News Aktuell, 2017.

M. Nunez, „Former Facebook workers: We routinely suppressed conservative news“, Gizmodo.com, 2016.

A. Rinke, „Sorge um gekaufte digitale Hilfe im Wahlkampf“, Reuters, 2016.

M. Rosenbach und G. Traufetter, „Betreiben von Social Bots soll unter Strafe stehen“, Spiegel, 2017.

S. Russ-Mohl, „Am Ende des Aufklärungszeitalters“, NeueZürcherZeitung,2016.

J. Sablich, „How to plan your next travel with a chatbot“, NewYorkTimes,2017.

Spiegel Online, „Facebook nennt Maas-Gesetz verfassungswidrig“, Spiegel Online, 2017.

A. M. Turing, „Computing machinery and intelligence“, Mind,Bd.59,Nr.236,S.433–460,1950.

R. S. Wallace, „The anatomy of ALICE“, in Parsing the Turing Test, Springer, 2009.

G. Wang, T. Konolige, C. Wilson, X. Wang, H. Zheng und B. Y. Zhao, „You are how you click: Clickstream analysis for Sybil detection“, Usenix Security, 2013.

Quellenverzeichnis

Page 32: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

32 Social Bots: Gefahr für die Demokratie?

Quellenverzeichnis

J. Weizenbaum, „ELIZA – a computer program for the study of natural language communication between man and machine“, CommunicationsoftheACM,Bd.9,Nr.1,1966.

O. Westerhagen, „Der Feind im Netz. Bot-Netze als Gefahr für die Gesellschaft.“, c’t, 2017.

Zeit Online, „AfD will Social Bots im Wahlkampf einsetzen“, Zeit Online, 2016.

Zeit Online, „Facebook startet Projekt gegen Falschmeldungen“, Zeit Online, 2017.

Page 33: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

Social Bots: Gefahr für die Demokratie? 33

Ihre Ansprechpartner

Ihre Ansprechpartner

Werner BallhausLeiterTechnologie,MedienundTelekommunikationTel.:[email protected]

Über unsUnsereMandantenstehentagtäglichvorvielfältigenAufgaben,möchtenneueIdeenumsetzenundsuchenRat.Sieerwarten,dasswirsieganzheitlichbetreuenundpraxisorientierteLösungenmitgrößtmöglichemNutzenentwickeln.DeshalbsetzenwirfürjedenMandanten,obGlobalPlayer,FamilienunternehmenoderkommunalerTräger,unsergesamtesPotenzialein:Erfahrung,Branchenkenntnis,Fachwissen,Qualitätsanspruch,InnovationskraftunddieRessourcenunseresExpertennetzwerksin157Ländern.BesonderswichtigistunsdievertrauensvolleZusammenarbeitmitunserenMandanten,dennjebesserwirsiekennenundverstehen,umsogezielterkönnenwirsieunterstützen.

PwC.Mehrals10.300engagierteMenschenan21Standorten.1,9Mrd.EuroGesamtleistung.FührendeWirtschaftsprüfungs-undBeratungsgesellschaftinDeutschland.

PwC Legal.Mehrals200RechtsanwältinnenundRechtsanwältean18Standorten.IntegrierteRechtsberatungfürdiePraxis.

Bernd Reimer Forensic ServicesTel.:[email protected]

Dr. Christian DresselPraxisgruppeIPIT&DatenschutzrechtTel.:[email protected]

Mathias ElsäßerDataDrivenMarketingTel.:[email protected]

Pressekontakt:

Julia WollschlägerCommunicationsTel.:[email protected]

Page 34: Social Bots: Gefahr für die Demokratie - PwC · 2017-08-09 · Social Bots: Gefahr für die Demokratie? 7 Vorwort Vorwort Als eine Jury von Sprachexperten jüngst über den Anglizismus

www.pwc.de www.pwclegal.de