themenerkennung in twitter unter berücksichtigung von ... · vom fachbereich 12 der johann...

T H E M E N E R K E N N U N G I N T W I T T E R U N T E RB E R C K S I C H T I G U N G V O N M E I N U N G S U SS E R U N G E N

PoliTwi: Eine Analyse politischer Themen

Dissertationzur Erlangung des Doktorgrades

der Naturwissenschaften

vorgelegt beim Fachbereich 12der Johann Wolfgang Goethe-Universitt

in Frankfurt am Main

vonsven rillaus Plauen

Frankfurt (2016)(D 30)

vom Fachbereich 12 derJohann Wolfgang Goethe-Universitt als Dissertation angenommen.

Dekan: Prof. Dr. Uwe Brinkschulte

Gutachter: Prof. Dott. Ing. Roberto V. ZicariProf. Dr. Jrg Scheidt

Datum der Disputation:

We have seen that computer programming is an art,because it applies accumulated knowledge to the world,

because it requires skill and ingenuity, and especiallybecause it produces objects of beauty.

Donald E. Knuth [74]

D A N K S A G U N G

Bei der Erstellung meiner wissenschaftlichen Arbeit habe ich viel Untersttzung erhal-ten, fr welche ich meinen Dank aussprechen mchte.

Zuerst mchte ich meinem Doktorvater, Professor Roberto V. Zicari, Dank sagen. Invielen konstruktiven Gesprchen erhielt ich Untersttzung, Ratschlge und Zuspruchbei der Erstellung meiner Doktorarbeit.

Ein ganz besonderer Dank gilt Professor Jrg Scheidt. Die fachlichen Diskussionenmit ihm und die in gemeinsamen Gesprchen entstandenen Ideen waren mir stets einegroe Hilfe.

Einen weiteren Dank schulde ich dem Team der Forschungsgruppe Analytische In-formationssysteme, namentlich Johannes Drescher, Patrik Perk, Dirk Reinel und Flori-an Wogenstein. Auf ihre wertvollen Tipps, Ideen und konstruktive Kritik konnte ichstets bauen.

Schlielich mchte ich noch Professor Richard Gbel danken. Er begleitete mich be-reits in meinem Studium und stand mir auch nach meiner Rckkehr an die Hochschuleund dem Beginn meiner wissenschaftlichen Ttigkeit immer mit viel Engagement zurSeite.

iii

E I G E N E V E R F F E N T L I C H U N G E N

Whrend der Erstellung der Arbeit wurden Zwischenergebnisse auf Konferenzen oderin Journalen verffentlicht. Weiterhin befindet sich eine Verffentlichung in Vorberei-tung.

Dirk Reinel, Jrg Scheidt, Andreas Henrich, Sven Rill and Alexander Kern. Ter-minology Extraction from Wikipedia in Order to Retrieve Aspects for OpinionMining Applications, 2016 (in Vorbereitung)

PoliTwi: Analyse politischer Themen in Twitter, Vortrag im Frankfurt Big DataLab, 2015

Sven Rill, Dirk Reinel, Jrg Scheidt, and Roberto V. Zicari. PoliTwi: Early detec-tion of emerging political topics on twitter and the impact on concept-level sen-timent analysis. Knowledge-Based Systems, 69(0):24 33, 2014. ISSN 0950-7051.doi: 10.1016/j.knosys.2014.05.008.

Florian Wogenstein, Johannes Drescher, Dirk Reinel, Sven Rill, and Jrg Scheidt.Evaluation of an algorithm for aspect-based opinion mining using a lexicon-based approach. In Proceedings of the Second International Workshop on Issues ofSentiment Discovery and Opinion Mining, WISDOM 13, pages 5:15:8, New York,NY, USA, 2013. ACM. ISBN 978-1-4503-2332-1. doi: 10.1145/2502069.2502074.

Robert Remus and Sven Rill. Data-driven vs. dictionary-based approaches formachine learning-based sentiment analysis. In Proceedings of the International Con-ference of the German Society for Computational Linguistics and Language Technology(GSCL), pages 176183. Springer, 2013.

Dirk Reinel, Jrg Scheidt, Florian Wogenstein, Sven Rill, and Johannes Drescher.Particular Requirements on Opinion Mining for the Insurance Business. pages3236, Venice, Italy, 2012. ISBN 978-1-61208-227-1.

Sven Rill, Jrg Scheidt, Johannes Drescher, Oliver Schtz, Dirk Reinel, and FlorianWogenstein. A generic approach to generate opinion lists of phrases for opinionmining applications. In Proceedings of the First International Workshop on Issues ofSentiment Discovery and Opinion Mining, WISDOM 12, pages 7:17:8, New York,NY, USA, 2012. ACM. ISBN 978-1-4503-1543-2. doi: 10.1145/2346676.2346683.

v

vi

Sven Rill, Sven Adolph, Johannes Drescher, Dirk Reinel, Jrg Scheidt, OliverSchtz, Florian Wogenstein, Roberto V. Zicari, and Nikolaos Korfiatis. A phrase-based opinion list for the German language. In Jeremy Jancsary, editor, Proceedingsof KONVENS 2012, pages 305313. GAI, September 2012. PATHOS 2012 work-shop.

Inhaltsverzeichnis

1 einleitung 11.1 Einordnung der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 bersicht der Hauptergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 stand der forschung 72.1 Analyse von Big Data im Bereich Social Media . . . . . . . . . . . . . . . . 82.2 Meinungsanalyse (Opinion Mining) . . . . . . . . . . . . . . . . . . . . . . 9

2.2.1 Verschiedene Methoden des Opinion Mining . . . . . . . . . . . . 102.2.2 Lexikalische Ressourcen . . . . . . . . . . . . . . . . . . . . . . . . . 172.2.3 Concept-level Sentiment Analysis . . . . . . . . . . . . . . . . . . . 22

2.3 Twitter-Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.4 Themenerkennung (Topic Detection) in Twitter . . . . . . . . . . . . . . . 24

2.4.1 Allgemein . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242.4.2 Verfahren zur Themenerkennung in Twitter . . . . . . . . . . . . . 24

2.5 Analyse von Twitter-Daten im Bereich von Politik und Wahlen . . . . . . 25

3 erarbeitete theorien und methoden 273.1 Erstellung lexikalischer Ressourcen - Sentiment Phrase List (SePL) . . . . 27

3.1.1 Zielsetzung und Idee . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.1.2 Systemaufbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333.1.3 Datengewinnung und Vorverarbeitung . . . . . . . . . . . . . . . . 343.1.4 Extraktion meinungstragender Phrasen . . . . . . . . . . . . . . . . 383.1.5 Berechnung des Meinungswertes . . . . . . . . . . . . . . . . . . . 423.1.6 Korrekturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433.1.7 Evaluation der Korrekturen . . . . . . . . . . . . . . . . . . . . . . . 483.1.8 Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.2 Meinungsanalyse mit Hilfe der Sentiment Phrase List . . . . . . . . . . . . 663.2.1 Allgemein . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.2.2 Verfahren zur Analyse von Meinungen in Tweets . . . . . . . . . . 67

3.3 Themenerkennung in Twitter . . . . . . . . . . . . . . . . . . . . . . . . . . 733.3.1 Allgemein . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733.3.2 Verfahren zur Berechnung neuer Themen (Top-Themen) . . . . . . 743.3.3 Kontextanalyse eines Top-Themas . . . . . . . . . . . . . . . . . . . 76

3.4 Verbesserung der Themenerkennung mit Hilfe subjektiver Tweets . . . . 78

vii

viii inhaltsverzeichnis

3.5 Erweiterung lexikalischer Ressourcen . . . . . . . . . . . . . . . . . . . . . 803.5.1 Kontexte auf Basis neuer Themen bilden . . . . . . . . . . . . . . . 813.5.2 Berechnung der Polaritt neuer Kontexte . . . . . . . . . . . . . . . 823.5.3 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

3.6 Forschungsbeitrag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

4 anwendung : projekt politwi 874.1 Projektidee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874.2 Architektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884.3 Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

4.3.1 Twitter-Streaming-Client . . . . . . . . . . . . . . . . . . . . . . . . 894.3.2 Vorverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 964.3.3 Analyse - Themenerkennung . . . . . . . . . . . . . . . . . . . . . . 1034.3.4 Sentiment Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104.3.5 Themenerkennung mit subjektiven Tweets . . . . . . . . . . . . . . 1254.3.6 Prsentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

5 evaluation 1355.1 bersicht ber die gesammelten Daten . . . . . . . . . . . . . . . . . . . . 135

5.1.1 Anzahl der gesammelten Tweets . . . . . . . . . . . . . . . . . . . . 1375.1.2 Anzahl der Hashtags pro Tag . . . . . . . . . . . . . . . . . . . . . . 1375.1.3 Anzahl der Hashtags pro Tweet und Tag . . . . . . . . . . . . . . . 1385.1.4 Anzahl der Tweets mit Sentiment Hashtags . . . . . . . . . . . . . 1395.1.5 Anzahl der Tweets und Retweets . . . . . . . . . . . . . . . . . . . . 140

5.2 Auswertung zu den berechneten Top-Themen . . . . . . . . . . . . . . . . 1415.2.1 Jahres-Top-Themen (Juni 2013 bis August 2014) . . . . . . . . . . . 1425.2.2 Verlauf ausgewhlter Top-Themen . . . . . . . . . . . . . . . . . . . 143

5.3 Vergleich mit anderen Plattformen . . . . . . . . . . . . . . . . . . . . . . . 1475.3.1 Vergleich mit Google Trends . . . . . . . . . . . . . . . . . . . . . . 1485.3.2 Vergleich mit Tagesschau Meta . . . . . . . . . . . . . . . . . . . . . 1545.3.3 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

5.4 Verbesserung der Themenerkennung durch Meinungsanalyse . . . . . . . 1625.4.1 Trennung von objektiven und subjektiven Tweets . . . . . . . . . . 1625.4.2 Berechnung Themenwert unter Bercksichtigung der Meinungen 1635.4.3 Bewertung der Top-Themen mit subjektiven Tweets . . . . . . . . . 163

6 diskussion der ergebnisse 1696.1 Zusammenfassende Schlussfolgerungen . . . . . . . . . . . . . . . . . . . . 1696.2 Knftige Arbeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

a anhang 173a.1 Sentiment Phrase Liste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

a.1.1 Anzahl der Rezensionen pro Kategorie . . . . . . . . . . . . . . . . 173a.1.2 Beispiel fr Phrasen der SePL . . . . . . . . . . . . . . . . . . . . . 175

inhaltsverzeichnis ix

a.1.3 Liste zur Bereinigung der nomenbasierten meinungstragendenPhrasen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

a.1.4 Lemmatizer - Ergnzung Morphologie-Lexikon . . . . . . . . . . . 177a.1.5 Abbildung Verneinung . . . . . . . . . . . . . . . . . . . . . . . . . 178a.1.6 Abbildung Verstrker . . . . . . . . . . . . . . . . . . . . . . . . . . 179

a.2 Twitter-Client - Suchbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

literaturverzeichnis 181

Abbildungsverzeichnis

Abbildung 1 Einordnung in den Bereich Data Science . . . . . . . . . . . . . . . 1Abbildung 2 Dokumentenbasierte Klassifikation (Bag of Words) . . . . . . . . 11Abbildung 3 Aspect Based Opinion Mining Klassifikation . . . . . . . . . . . . 12Abbildung 4 Aspekte und deren Produkteigenschaften am Beispiel einer Ka-

mera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Abbildung 5 Beispiel einer Klassifikation im zweidimensionalen Raum . . . . 15Abbildung 6 Rezension von der deutschen Amazon Webseite . . . . . . . . . . 28Abbildung 7 Ablauf des Tests auf Korrelation zwischen Sternebewertung und

Titel einer Rezension . . . . . . . . . . . . . . . . . . . . . . . . . . 29Abbildung 8 Korrelation zwischen der Sternebewertung des Autors und der

durch den Annotator manuell vergebenen Bewertung auf Basisvon 500 Rezensionstiteln . . . . . . . . . . . . . . . . . . . . . . . . 32

Abbildung 9 Korrelation zwischen der Sternebewertung des Autors und derdurch den Annotator manuell vergebenen Bewertung auf Basisvon 239 Rezensionstiteln . . . . . . . . . . . . . . . . . . . . . . . . 33

Abbildung 10 Aufbau des Systems zur Generierung der Sentiment Phrase List(SePL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Abbildung 11 J-frmige Verteilung der Rezensionen im verwendeten Datenset . 44Abbildung 12 Vorgehen zur Evaluation der Korrekturen am Beispiel von ein-

zelnen Adjektiven . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48Abbildung 13 Phrasen mit der Negation nicht und ihrem Meinungswert . . . 63Abbildung 14 Phrasen mit dem Verstrkungspartikel absolut und ihrem Mei-

nungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64Abbildung 15 Aufbau der Pipeline mit den Analysemodule und dem AISDOC 68Abbildung 16 Ablauf der Identifizierung meinungstragender Phrasen . . . . . . 71Abbildung 17 Zeitlicher Ablauf fr das Top-Thema Neuland . . . . . . . . . . . . 74Abbildung 18 Ansatz zur Berechnung der Top-Themen . . . . . . . . . . . . . . 75Abbildung 19 Anzahl von Tweets und daraus berechnete Themenwerte fr

den Hashtag #merkel . . . . . . . . . . . . . . . . . . . . . . . . . . 76Abbildung 20 Ergebnis der Kontextanalyse fr das Top-Thema Stuhl . . . . . . 78

x

Abbildungsverzeichnis xi

Abbildung 21 Exemplarische Darstellung der Berechnung fr die Verbesserungder Themenerkennung anhand subjektiver Tweets . . . . . . . . . 80

Abbildung 22 Beziehungsgraph fr zwei Top-Themen im Kontext der CDUmit ihren Polaritten . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Abbildung 23 Architektur von PoliTwi . . . . . . . . . . . . . . . . . . . . . . . . 88Abbildung 24 Implementierung des Gesamtsystems von PoliTwi . . . . . . . . . 89Abbildung 25 Gesamtanzahl der Tweets vom 17.04.2013 bis 23.06.2015. . . . . . 90Abbildung 26 Ablauf bei Nutzung der Rest-API . . . . . . . . . . . . . . . . . . . 91Abbildung 27 Ablauf bei Nutzung der Streaming-API . . . . . . . . . . . . . . . 92Abbildung 28 Datenbankstruktur der Rohdatenbank. . . . . . . . . . . . . . . . . 96Abbildung 29 Ergebnisse der Vorverarbeitung fr einen Tweet . . . . . . . . . . 97Abbildung 30 Klassendiagramm AnalyzeRawTweets . . . . . . . . . . . . . . . . 97Abbildung 31 Klassendiagramm StreamingDBHandler . . . . . . . . . . . . . . . 99Abbildung 32 Klassendiagramm HashtagAnalyzer . . . . . . . . . . . . . . . . . 99Abbildung 33 Klassendiagramm SentimentHashtagAnalyzer . . . . . . . . . . . 100Abbildung 34 Klassendiagramm TweetEmoticonAnalyzer . . . . . . . . . . . . . 100Abbildung 35 Klassendiagramm TweetQuestionAnalyzer . . . . . . . . . . . . . 101Abbildung 36 Datenbankstruktur der Analysedatenbank. . . . . . . . . . . . . . 102Abbildung 37 Klassendiagramm AnalysisDBHandler . . . . . . . . . . . . . . . . 103Abbildung 38 Klassendiagramm MainTopicDetection . . . . . . . . . . . . . . . . 106Abbildung 39 Anzahl der Tweets fr eine Themenerkennung (Tag) ohne mini-

male Anzahl von Tweets pro Tag (logarithmische Skalierung) . . 107Abbildung 40 Anteil der Tweets pro Tagesstunde fr alle erfassten Tweets . . . 108Abbildung 41 Anteil der Tweets pro Tagesstunde fr alle erfassten Tweets (aus-

genommen Wahltage und das TV-Duell) . . . . . . . . . . . . . . . 109Abbildung 42 Anteil der Tweets pro Wochentag fr alle erfassten Tweets . . . . 109Abbildung 43 Klassendiagramm Pipeline . . . . . . . . . . . . . . . . . . . . . . . 111Abbildung 44 Klassendiagramm POSTagger . . . . . . . . . . . . . . . . . . . . . 115Abbildung 45 Klassendiagramm NounRechecker . . . . . . . . . . . . . . . . . . 116Abbildung 46 Klassendiagramm Lemmatizer . . . . . . . . . . . . . . . . . . . . 119Abbildung 47 Klassendiagramm SentimentTagger . . . . . . . . . . . . . . . . . 121Abbildung 48 Klassendiagramm SentimentClassifier . . . . . . . . . . . . . . . . 121Abbildung 49 Klassendiagramm NegationFilter . . . . . . . . . . . . . . . . . . . 124Abbildung 50 PoliTwi Twitter-Kanal . . . . . . . . . . . . . . . . . . . . . . . . . . 127Abbildung 51 PoliTwi Webseite: Allgemeine Informationen . . . . . . . . . . . . 130Abbildung 52 PoliTwi Webseite: Top-Themen . . . . . . . . . . . . . . . . . . . . 131Abbildung 53 PoliTwi Webseite: zeitlicher Verlauf fr die Top-Themen . . . . . 132Abbildung 54 politwi Smartphone App (iOS) . . . . . . . . . . . . . . . . . . . . 133Abbildung 55 Anzahl der Tweets der Roh- und Analysedatenbank pro Monat

vom 17.04.2013 bis 23.06.2015 . . . . . . . . . . . . . . . . . . . . . 137

xii Abbildungsverzeichnis

Abbildung 56 Anzahl der Hashtags pro Tag vom 17.04.2013 bis 23.06.2015 . . . 138Abbildung 57 Durchschnittliche Anzahl der Hashtags pro Tweet und Tag vom

17.04.2013 bis 23.06.2015 . . . . . . . . . . . . . . . . . . . . . . . . 139Abbildung 58 Anzahl der Tweets mit Sentiment Hashtags pro Tag vom 17.04.2013

bis 23.06.2015 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140Abbildung 59 Anzahl der Tweets sowie Retweets pro Tag vom 17.04.2013 bis

23.06.2015 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141Abbildung 60 Anteil der Retweets pro Tag vom 17.04.2013 bis 23.06.2015 . . . . 141Abbildung 61 Ausgewhlte Top-Themen im Zeitraum von Juni 2013 bis Au-

gust 2014 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143Abbildung 62 Zeitlicher Verlauf des Themenwertes fr das Top-Thema Merkel . 144Abbildung 63 Zeitlicher Verlauf des Themenwertes fr das Top-Thema Neuland 145Abbildung 64 Zeitlicher Verlauf des Themenwertes fr das Top-Thema AfD . . 146Abbildung 65 Zeitlicher Verlauf des Themenwertes fr das Top-Thema Maut . . 146Abbildung 66 Vergleich zwischen PoliTwi und Google Trends fr das Top-

Thema Neuland . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149Abbildung 67 Korrelation zwischen PoliTwi und Google Trends fr das Top-

Thema Neuland . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149Abbildung 68 Vergleich zwischen PoliTwi und Google Trends fr das Top-

Thema Snowden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150Abbildung 69 Korrelation zwischen PoliTwi und Google Trends fr das Top-

Thema Snowden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151Abbildung 70 Vergleich zwischen PoliTwi und Google Trends (Folgetag) fr

das Top-Thema Neuland . . . . . . . . . . . . . . . . . . . . . . . . 152Abbildung 71 Korrelation zwischen PoliTwi und Google Trends (Folgetag) fr

das Top-Thema Neuland . . . . . . . . . . . . . . . . . . . . . . . . 152Abbildung 72 Vergleich zwischen PoliTwi und Google Trends (Folgetag) fr

das Top-Thema Snowden . . . . . . . . . . . . . . . . . . . . . . . . 153Abbildung 73 Korrelation zwischen PoliTwi und Google Trends (Folgetag) fr

das Top-Thema Snowden . . . . . . . . . . . . . . . . . . . . . . . . 153Abbildung 74 Tag-Cloud von Tagesschau Meta . . . . . . . . . . . . . . . . . . . 154Abbildung 75 Anzahl der objektiven und subjektiven Tweets pro Tag vom 01.07.2014

bis 31.12.2014 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163Abbildung 76 Differenzen der tglichen Themenwerte (twnorm) zu den The-

menwerten mit subjektiven Tweets (twnorm,subj) . . . . . . . . . . . 164Abbildung 77 Differenzen der stndlichen Themenwerte (twnorm) zu den The-

menwerten mit subjektiven Tweets (twnorm,subj) . . . . . . . . . . . 165Abbildung 78 Anzahl aller Tweets fr den Hashtag wagenknecht . . . . . . . . . 167Abbildung 79 Anzahl subjektiver Tweets fr den Hashtag wagenknecht . . . . . 167Abbildung 80 PoliTwi im Live-Ticker von FOCUS online . . . . . . . . . . . . . . 170

Abbildung 81 Phrasen mit der Negation nicht mit ihren Meinungswert . . . . 178Abbildung 82 Phrasen mit dem Verstrkungspartikel absolut mit ihren Mei-

nungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

Tabellenverzeichnis

Tabelle 1 bersicht ber verfgbare lexikalische Ressourcen . . . . . . . . . 21Tabelle 2 Gewichtungsmatrix zur Berechnung der bereinstimmung . . . 31Tabelle 3 bereinstimmungsmatrix der beiden Annotatoren . . . . . . . . . 31Tabelle 4 bersicht ber die erfassten Amazon Kundenrezensionen . . . . 35Tabelle 5 Ergebnisse des POS-Tagger an einem Beispiel . . . . . . . . . . . . 36Tabelle 6 Ergebnisse des POS-Tagger am Beispiel Super Geschichte. . . . 36Tabelle 7 Ergebnisse des POS-Tagger am Beispiel super Geschichte. (ers-

tes Wort korrigiert) . . . . . . . . . . . . . . . . . . . . . . . . . . . 37Tabelle 8 Beispiele zur Quantifizierung der J-frmigen Korrektur (Stand

SePL vom 9.8.2012). Ein neuer OV (OVn) wurde berechnet, wennSJ1 > 0.79 und SJ2 mit Ja bewertet ist. . . . . . . . . . . . . . . . 47

Tabelle 9 Automatische Klassifikation unter Einbeziehung der Standard-abweichung fr die Klassen I bis M . . . . . . . . . . . . . . . . . . 50

Tabelle 10 Ergebnis Szenario 1 fr Klassen A bis E als Referenz fr dieweitere Optimierung . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Tabelle 11 Ergebnis Szenario 1 fr Klassen F bis H als Referenz fr dieweitere Optimierung . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Tabelle 12 Ergebnis Szenario 2 fr Klassen A bis E . . . . . . . . . . . . . . . 52Tabelle 13 Ergebnis Szenario 2 fr Klassen F bis H . . . . . . . . . . . . . . . 52Tabelle 14 Ergebnis Szenario 3 fr Klassen A bis E . . . . . . . . . . . . . . . 53Tabelle 15 Ergebnis Szenario 3 fr Klassen F bis H . . . . . . . . . . . . . . . 53Tabelle 16 Ergebnis Szenario 4 fr Klassen A bis E . . . . . . . . . . . . . . . 54Tabelle 17 Ergebnis Szenario 4 fr Klassen F bis H . . . . . . . . . . . . . . . 54Tabelle 18 Ergebnis Szenario 5 fr Klassen A bis E . . . . . . . . . . . . . . . 54Tabelle 19 Ergebnis Szenario 5 fr Klassen F bis H . . . . . . . . . . . . . . . 55Tabelle 20 Ergebnis Szenario 6 fr Klassen A bis E . . . . . . . . . . . . . . . 55Tabelle 21 Ergebnis Szenario 6 fr Klassen F bis H . . . . . . . . . . . . . . . 56

xiii

xiv Tabellenverzeichnis

Tabelle 22 Vergleich der Klassifizierung vor und nach den Korrekturen frKlassen A bis E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Tabelle 23 Vergleich der Klassifizierung vor und nach den Korrekturen frKlassen F bis H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Tabelle 24 Confusion Matrix vor Korrekturen fr Klassen A bis E . . . . . . 57Tabelle 25 Confusion Matrix vor Korrekturen fr Klassen F bis H . . . . . . 57Tabelle 26 Confusion Matrix nach Korrekturen fr Klassen A bis E . . . . . 58Tabelle 27 Confusion Matrix nach Korrekturen fr Klassen F bis H . . . . . 58Tabelle 28 Precision, Recall und F-Ma vor und nach Korrekturen fr Klas-

sen A bis E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58Tabelle 29 Precision, Recall und F-Ma vor und nach Korrekturen fr Klas-

sen F bis H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59Tabelle 30 bersicht ber die verschiedenen Versionen der SePL . . . . . . . 60Tabelle 31 Anzahl der Phrasen der SePL in Version 1.0 . . . . . . . . . . . . . 61Tabelle 32 Anzahl der Phrasen der SePL in Version 1.4 . . . . . . . . . . . . . 61Tabelle 33 Anzahl der 1- bis 5-Wort Phrasen der SePL in Version 1.0 . . . . . 62Tabelle 34 Anzahl der 1- bis 7-Wort Phrasen der SePL in Version 1.4 . . . . . 62Tabelle 35 Beispiele fr Adjektive und adjektivbasierte Phrasen (SePL Ver-

sion 1.0) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65Tabelle 36 Beispiele fr Nomen und nomenbasierte Phrasen (SePL Version

1.0) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65Tabelle 37 Meinungswerte einzelner Wrter der SePL im Vergleich mit Po-

larity Lexicon (PL) und GermanPolarityClues (GPC) . . . . . . . 66Tabelle 38 Anzahl der Tweets mit den Sentiment Hashtags #CDU+ und

#CDU in den beiden Referenzzeitrumen ref1 und ref2 . . . . 83Tabelle 39 Anzahl der Tweets mit den Sentiment Hashtags #CDU+ and

#CDU und den drei Top-Themen . . . . . . . . . . . . . . . . . . 84Tabelle 40 Ergebnisse fr die Berechnung mit Hilfe der Binomialverteilung

fr die drei Top-Themen . . . . . . . . . . . . . . . . . . . . . . . . 84Tabelle 41 Suchbegriffe fr die Nutzung der Twitter-API . . . . . . . . . . . 94Tabelle 42 berblick ber das Datenset aus dem Projekt PoliTwi im Zeit-

raum vom 17.04.2013 bis 23.06.2015 . . . . . . . . . . . . . . . . . . 136Tabelle 43 Ergebnisse des Vergleichs zwischen PoliTwi und Google Trends . 151Tabelle 44 Ergebnisse des Vergleichs zwischen PoliTwi und Tagesschau Meta157Tabelle 45 bersicht ber die berechneten Top-Themen mit und ohne Be-

rcksichtigung von Meinungsuerungen . . . . . . . . . . . . . . 164Tabelle 46 bersicht ber die verwendeten Daten zur Generierung der SePL 173Tabelle 47 Phrasen mit ihren Meinungswert (OV), Standardabweichung ()

und Standardfehler (SE) der SePL in Version 1.4 . . . . . . . . . . 175

Tabelle 49 bersicht ber die ergnzten Wrter des Morphologie-Lexikon . 177

Listings

Listing 1 Aufruf der Rest-API . . . . . . . . . . . . . . . . . . . . . . . . . . . 91Listing 2 Ergebnis einer Anfrage im JSON-Format (Auszug) . . . . . . . . . 92Listing 3 Auszug aus der Pipeline-Definition mit Angabe der Prioritten . 110Listing 4 Datenstruktur AISDOC . . . . . . . . . . . . . . . . . . . . . . . . . 112Listing 5 XML Schema Definition (XSD) zur Datenstruktur AISDOC . . . . 112Listing 6 Auszug des AISDOC fr ein korrigierten POS-Tag am Satzanfang 115Listing 7 Datenstruktur AISDOC nach Verarbeitung verschiedener Analy-

semodule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Algorithmenverzeichnis

Algorithmus 1 Durchfhrung der Themenerkennung . . . . . . . . . . . . . . . . 105Algorithmus 2 Analysemodul POS-Tagger . . . . . . . . . . . . . . . . . . . . . . 114Algorithmus 3 Analysemodul NounRechecker . . . . . . . . . . . . . . . . . . . . 116Algorithmus 4 Analysemodul Lemmatizer - Anpassung der Lemmatisierung . . 117Algorithmus 5 Analysemodul Lemmatizer . . . . . . . . . . . . . . . . . . . . . . 118Algorithmus 6 Analysemodul SentimentTagger . . . . . . . . . . . . . . . . . . . 120Algorithmus 7 Analysemodul TweetClassifier . . . . . . . . . . . . . . . . . . . . . 122Algorithmus 8 Analysemodul NegationFilter . . . . . . . . . . . . . . . . . . . . . 123Algorithmus 9 Durchfhrung der Themenerkennung mit subjektiven Tweets . . 126

xv

1E I N L E I T U N G

1.1 Einordnung der Arbeit

Die vorliegende Arbeit lsst sich in den Bereich Data Science einordnen. Data Scienceverwendet Verfahren aus dem Bereich Computer Science, Algorithmen aus der Ma-thematik und Statistik sowie Domnenwissen, um groe Datenmengen zu analysie-ren und neue Erkenntnisse zu gewinnen. In dieser Arbeit werden verschiedene For-schungsbereiche aus diesen verwendet. Diese umfassen die Datenanalyse im Bereichvon Big Data (soziale Netzwerke, Kurznachrichten von Twitter), Opinion Mining (Ana-lyse von Meinungen auf Basis eines Lexikons mit meinungstragenden Phrasen) sowieTopic Detection (Themenerkennung).

Abbildung 1: Einordnung in den Bereich Data Science

Die verschiedenen Forschungsbereiche werden interdisziplinr genutzt, um zu un-tersuchen, ob aktuelle oder neu aufkommende politische Themen anhand einer Analy-se von Daten des Mikroblogging-Dienstes Twitter frhzeitig erkannt werden knnen.Hierfr wurden im Rahmen des Projektes PoliTwi aus der Domne Politik mehr als25 Millionen Tweets in deutscher Sprache sowie 210 Millionen in englischer Sprachegesammelt.

1

2 einleitung

Es konnte gezeigt werden, dass neu aufkommende Themen durch eine Analyse derTwitter-Daten zuverlssig erkannt werden knnen. Im Vergleich mit Google Trendsund Tagesschau Meta konnte die zeitliche Einordnung der Themenerkennung beschrie-ben werden. Hierbei wurde evaluiert, zu welchem Zeitpunkt neue Themen in den ver-schiedenen Systemen nach ihrer Entstehung identifiziert werden konnten.

Die Ergebnisse bisheriger Anstze der Themenerkennung werden durch die Anwen-dung der Meinungsanalyse verbessert. Eine Vorselektion der Daten anhand von Mei-nungsuerungen ermglicht die Erkennung relevanter Themen, welche kontroversdiskutiert werden und hierdurch von grerer Bedeutung sind.

Die Meinungsanalyse basiert auf einem lexikonbasierten Verfahren, fr welches ei-ne Liste meinungstragender Wrter bentigt wird. Im Rahmen dieser Arbeit wurdeein neuartiges Vorgehen zur automatisierten Erstellung einer solchen Liste entwickelt,welches wesentliche Vorteile gegenber bisherigen Anstzen besitzt.

1.2 Motivation

Die analysierten Daten, entwickelten Methoden und implementierten Verfahren wur-den am Lehrstuhl fr Datenbanken und Informationssysteme (DBIS) am FrankfurtBig Data Lab der Goethe-Universitt Frankfurt unter Leitung von Professor Dott. Ing.Roberto V. Zicari in Zusammenarbeit mit der Forschungsgruppe Analytische Informa-tionssysteme am Institut fr Informationssysteme der Hochschule Hof unter Leitungvon Professor Dr. Jrg Scheidt erstellt.

Die weite Verbreitung von mobilen Endgerten und die daraus resultierende Mg-lichkeit fr Augenzeugen, ihre Ereignisse unverzglich bei deren Entstehung anderenmitteilen zu knnen, untersttzt die schnelle Verbreitung von Informationen in sozia-len Netzwerken. In Europa erfolgen knapp 30% der Webseitenaufrufe mit mobilenEndgerten [142].

Die Analyse von Daten aus sozialen Netzwerken ermglicht es, eine Vielzahl vonInformationen zu politischen Ereignissen oder Themen zeitnah auswerten zu knnen.Jedoch ist es durch die groe Anzahl von Informationen schwierig, die relevantenund fr den gewnschten Anwendungsfall wichtigen Daten zu finden. Verfahren ausdem Bereich der Themenerkennung ermglichen es, relevante Informationen aus einergroen Menge von Dokumenten zu identifizieren. Daten in Twitter besitzen besondereMerkmale (u.a. aufgrund ihrer begrenzten Zeichenlnge sowie der Verwendung vonHashtags), welche bei der Themenerkennung bercksichtigt werden knnen.

Politische Themen gewinnen oft dann an Bedeutung, wenn sie kontrovers diskutiertwerden und demzufolge verschiedene Meinungen enthalten. Etwa 45% der Facebook-Nutzer beteiligen sich an politischen Diskussionen [141]. Eine Verbesserung der The-menerkennung soll erreicht werden, indem diese mit der Meinungsanalyse kombiniertwird. Mit Hilfe der Meinungsanalyse sollen kontroverse Diskussionen identifiziert und

1.3 bersicht der hauptergebnisse 3

die darin enthaltenen Themen extrahiert werden. Zur Identifikation dieser kontrover-sen Diskussionen bzw. der darin geuerten Meinungen wird ein lexikonbasiertes Ver-fahren des Opinion Mining eingesetzt.

Fr ein lexikonbasiertes Verfahren werden lexikalische Ressourcen bentigt, welchefr das Opinion Mining nur in einem sehr begrenzten Umfang und berwiegend frdie englische Sprache verfgbar sind. Die meisten lexikalischen Ressourcen beinhaltenbisher nur einzelne meinungstragende Wrter. Negationen und Verstrkungs- sowieAbschwchungspartikeln mssen bei der Anwendung der Liste im verwendeten Al-gorithmus bercksichtigt werden. Mehrwortphrasen oder Redewendungen sind in ak-tuellen Listen meist nicht enthalten, wodurch diese in derzeit eingesetzten Verfahrenzur Meinungsanalyse auch nicht bercksichtigt werden. Teil dieser Arbeit ist die Ent-wicklung eines neuartigen Ansatzes, diese lexikalische Ressource automatisiert erstel-len zu knnen. Die neu entwickelte Liste soll sowohl Negationen, Verstrkungs- undAbschwchungspartikeln sowie Mehrwortphrasen und Redewendungen enthalten. Er-gebnisse der Meinungsanalyse sollen hierdurch deutlich verbessert werden knnen.

Fr die Anwendung und Evaluierung der entwickelten Methoden wurde das For-schungsprojekt PoliTwi implementiert. Ziel des Projektes ist die Bereitstellung einergengend groen Datenmenge und die frhzeitige Erkennung neu aufkommender po-litischer Themen in sozialen Netzwerken.

Im Bereich der Politik gewinnen soziale Netzwerke immer mehr an Bedeutung. Ins-besondere jngere Menschen nutzen sie, um Informationen zu erhalten und selbstneue Informationen zu teilen. 41% der Nutzer sind unter 34 Jahre alt [137]. In Deutsch-land nutzten 2015 ca. 12,2 Millionen Personen ihr mobiles Endgert, um aktuelle Nach-richten zur Politik zu lesen. Ca. 4,3 Millionen Personen informierten sich in Twitter[140]. In sozialen Netzwerken wie dem Mikroblogging-Dienst Twitter knnen Neuig-keiten und Informationen sehr schnell verbreitet werden. Twitter bietet hierfr spezi-elle Funktionalitten wie das Retweeten und Favorisieren von Tweets oder das Folgenanderer Benutzer.

1.3 bersicht der Hauptergebnisse

Zu den genannten Forschungsbereichen wurden im Rahmen dieser Arbeit verschiede-ne Verbesserungen des aktuellen Forschungsstandes erarbeitet, die in fnf Beitrgenauf internationalen Konferenzen vorgestellt sowie in einem Artikel im Elsevier JournalKnowledge-Based Systems verffentlicht wurden. Im folgenden sind die Hauptergeb-nisse und die zugehrigen eigenen Verffentlichungen aufgefhrt.

4 einleitung

Ergebnis 1: Sentiment Phrase List (SePL)

Im Forschungsbereich Opinion Mining spielen Listen meinungstragender Wrter ei-ne wesentliche Rolle bei der Analyse von Meinungsuerungen. Das im Rahmen die-ser Arbeit entwickelte Vorgehen zur automatisierten Generierung einer solchen Listeleistet einen wichtigen Forschungsbeitrag in diesem Gebiet. Der neuartige Ansatz er-mglicht es einerseits, dass auch Phrasen aus mehreren Wrtern (inkl. Negationen,Verstrkungs- und Abschwchungspartikeln) sowie Redewendungen enthalten sind,andererseits werden die Meinungswerte aller Phrasen auf Basis eines entsprechendenKorpus automatisiert berechnet.

Die Sentiment Phrase List sowie das Vorgehen wurden verffentlicht und knnenvon der Forschungsgemeinde genutzt werden [121, 123].

Die Erstellung basiert auf einer textuellen sowie zustzlich numerischen Bewertung,welche typischerweise in Kundenrezensionen verwendet werden (beispielsweise derTitel und die Sternebewertung bei Amazon Kundenrezensionen). Es knnen weitereDatenquellen verwendet werden, die eine derartige Bewertung aufweisen. Auf Basisvon ca. 1,5 Millionen deutschen Kundenrezensionen wurden verschiedene Versionender SePL erstellt und verffentlicht [120].

Ergebnis 2: Algorithmus auf Basis der SePL

Mit Hilfe der SePL und den darin enthaltenen meinungstragenden Phrasen ergebensich Verbesserungen fr lexikonbasierte Verfahren bei der Analyse von Meinungsue-rungen. Phrasen werden im Text hufig durch andere Wrter getrennt, wodurch eineIdentifizierung der Phrasen erforderlich ist.

Der Algorithmus fr eine lexikonbasierte Meinungsanalyse wurde verffentlicht[176]. Er basiert auf meinungstragenden Phrasen bestehend aus einem oder mehre-ren Wrtern. Da fr einzelne Phrasen unterschiedliche Meinungswerte vorliegen, isteine genauere Bewertung als mit bisherigen Anstzen mglich. Dies ermglicht, dassmeinungstragende Phrasen aus dem Text extrahiert und anhand der in der SePL ent-haltenen Eintrge differenziert bewertet werden knnen.

Bisherige Anstze nutzen hufig einzelne meinungstragende Wrter. Der Meinungs-wert fr beispielsweise eine Verneinung muss nicht anhand eines generellen Vorgehenserfolgen. In aktuellen Verfahren wird der Wert eines meinungstragenden Wortes beiVorhandensein einer Verneinung bisher meist invertiert, was hufig falsche Ergebnisseliefert. Die Liste enthlt im besten Fall sowohl einen Meinungswert fr das einzelneWort und seine Verneinung (z.B. schn und nicht schn).

1.3 bersicht der hauptergebnisse 5

Ergebnis 3: Evaluierung der Anwendung der SePL

Der Algorithmus aus Ergebnis 2 wurde mit Rezensionen der BewertungsplattformCiao aus dem Bereich der Automobilversicherung evaluiert. Dabei wurden wesentlicheFehlerquellen aufgezeigt [176], die entsprechende Verbesserungen ermglichen.

Weiterhin wurde mit der SePL eine Evaluation anhand eines Maschinenlernverfah-rens auf Basis einer Support Vector Machine durchgefhrt. Hierbei wurden verschie-dene bestehende lexikalische Ressourcen mit der SePL verglichen sowie deren Einsatzin verschiedenen Domnen untersucht. Die Ergebnisse wurden in [115] verffentlicht.

Ergebnis 4: Forschungsprojekt PoliTwi - Themenerkennung politischer Top-Themen

Mit dem Forschungsprojekt PoliTwi wurden einerseits die erforderlichen Daten vonTwitter gesammelt. Andererseits werden der breiten ffentlichkeit fortlaufend aktuellepolitische Top-Themen ber verschiedene Kanle zur Verfgung gestellt.

Fr die Evaluation der angestrebten Verbesserungen im Bereich der Themenerken-nung in Verbindung mit einer Meinungsanalyse liegen die erforderlichen Daten bereinen Zeitraum von bisher drei Jahren aus der Domne Politik vor. Auf Basis dieserDaten konnte die Themenerkennung durchgefhrt werden. Die berechneten Themenwurden mit anderen Systemen wie Google Trends oder Tagesschau Meta verglichen(siehe Kapitel 5.3). Es konnte gezeigt werden, dass die Meinungsanalyse die Themener-kennung verbessern kann. Die Ergebnisse des Projekts wurden in [124] verffentlicht.

Der ffentlichkeit und insbesondere Journalisten und Politikern wird zudem ein Ser-vice (u.a. anhand des Twitter-Kanals unter https://twitter.com/politwi) zur Verf-gung gestellt, anhand dessen sie ber aktuelle Top-Themen informiert werden. Nach-richtenportale wie FOCUS Online nutzten diesen Service bei ihrer Berichterstattung(siehe Kapitel 4.3.6.1). Die Top-Themen werden seit Mitte 2013 ermittelt und knnenzudem auf der Projektwebseite [119] abgerufen werden.

Ergebnis 5: Erweiterung lexikalischer Ressourcen auf Konzeptebene

Das noch junge Forschungsgebiet des Concept-level Sentiment Analysis versucht bishe-rige Anstze der Meinungsanalyse dadurch zu verbessern, dass Meinungsuerungenauf Konzeptebene analysiert werden. Eine Voraussetzung sind Listen meinungstragen-der Wrter, welche differenzierte Betrachtungen anhand unterschiedlicher Kontexteermglichen. Anhand der Top-Themen und deren Kontext wurde ein Vorgehen entwi-ckelt, welches die Erstellung bzw. Ergnzung dieser Listen ermglicht.

Es wurde gezeigt, wie Meinungen in unterschiedlichen Kontexten differenziert be-wertet werden und diese Information in lexikalischen Ressourcen aufgenommen wer-

https://twitter.com/politwi

6 einleitung

den knnen, was im Bereich der Concept-level Sentiment Analysis genutzt werdenkann. Das Vorgehen wurde in [124] verffentlicht.

2S TA N D D E R F O R S C H U N G

In diesem Kapitel wird der aktuelle Forschungsstand zu den Bereichen Big Data (sieheKapitel 2.1), Meinungsanalyse (siehe Kapitel 2.2) und Themenerkennung (siehe Kapitel2.4) in sozialen Netzwerken wie Twitter (siehe Kapitel 2.3) aufgezeigt.

Fr den Bereich Big Data sind insbesondere unstrukturierte Daten, wie sie auch insozialen Netzwerken als Textdaten vorliegen, eine Herausforderung fr die effizien-te Analyse. Bei der Meinungsanalyse werden bei der Textanalyse statistische wie auchlinguistische Verfahren eingesetzt, die besondere Anforderungen an eine effiziente Ver-arbeitung groer Datenmengen stellen.

Bei der Analyse von Meinungen sind lexikalische Ressourcen von groer Relevanz.Diese bestehen typischerweise aus einer Liste mit meinungstragenden Wrtern. Frdie Generierung solcher Ressourcen existieren unterschiedliche Methoden, welche ak-tuell verschiedene Nachteile aufweisen. Sowohl der Umfang als auch die Gte beste-hender Ressourcen sind nicht immer ausreichend. Bei der Bewertung meinungstragen-der Wrter ist hufig ein Domnen- sowie Kontextbezug zu beachten, was existierendeRessourcen nur zu einem geringen Anteil bercksichtigen.

Der Bereich des Concept-level Sentiment Analysis (CLSA) versucht dies fr die Mei-nungsanalyse zu verbessern. Konzeptbasierte Anstze zur Meinungsanalyse legen denFokus auf eine semantische Analyse des Textes, was durch den Einsatz einer semanti-schen Wissensbasis erreicht werden soll. Anstelle einer Betrachtung von nur einzelnenWrtern werden natrliche Sprachkonzepte analysiert. Bestehende lexikalische Res-sourcen mssen erweitert werden, um als semantische Wissensbasis dienen zu knnen.

Twitter wird in zahlreichen Forschungsarbeiten als Datenbasis genutzt. In deutschenTweets bieten sich mit Sentiment Hashtags Ansatzpunkte fr eine Meinungsanalyse unddie Generierung von kontextbezogenen Ressourcen meinungstragender Wrter. Wei-terhin ist Twitter vielfach im Umfeld von Politik und Wahlen (siehe Kapitel 2.5) Gegen-stand von Forschungsarbeiten.

Die Themenerkennung in Twitter basiert aufgrund der begrenzten Textlnge einesTweets auf anderen Verfahren als dies in klassischen Themenmodellen umgesetzt wer-den kann. Zur Hervorhebung einzelner Wrter werden in Tweets sogenannte Hashtagsverwendet. Diese Hashtags knnen bei der Themenerkennung als Grundlage einer sta-tistischen Analyse genutzt werden.

7

8 stand der forschung

2.1 Analyse von Big Data im Bereich Social Media

Digitale Medien und Dienste sind fest in unserem Alltag verankert. Dabei findet einezunehmende Vernetzung aus den verschiedensten Bereichen statt. Soziale Netzwerkesind ein Beispiel, wie die fortschreitende Digitalisierung genutzt wird. Eine Vielzahlweiterer, unterschiedlicher Dienste werden angeboten und genutzt.

Im Bereich Social Media sind Daten aus verschiedenen Diensten und PlattformenGegenstand der Forschung. Es entstehen kontinuierlich groe Mengen an unterschied-lichen Daten, welche mit herkmmlichen Verfahren nicht immer hinreichend effizientverarbeitet und analysiert werden knnen.

Big Data beschftigt sich mit der Erfassung, Verarbeitung, Speicherung, Suche undAnalyse dieser Daten und wird mit den vier Vs beschrieben:

Volume: groe Menge von Daten

Variety: unterschiedliche Datenformate, Bilder, Texte oder komplexe Datenstzein Datenbanken

Velocity: stndige nderung der Daten, fortlaufende Entstehung neuer Daten, ho-he Anforderungen bezglich der Verarbeitungsgeschwindigkeit und Performan-ce

Veracity: Messgenauigkeit bzw. Unsicherheit und Inkonsistenz der Daten

Ziel bei der Verarbeitung der Daten ist u.a., dass aus einer groen Datenmenge die re-levanten Informationen extrahiert und die Ergebnisse fr den jeweiligen Anwendungs-fall genutzt werden knnen. Aus der Verarbeitung der umfangreichen vorhandenenDaten sollen neue Erkenntnisse gewonnen werden knnen.

Es wird zwischen strukturierten und unstrukturierten Daten unterschieden. Bei struk-turierten Daten handelt es sich beispielsweise um Kundenstammdaten (Name, Ort,Geburtsdatum). Diese knnen in traditionellen relationalen Datenbanken als Tabellengespeichert werden.

Die Verarbeitung unstrukturierter Daten (beispielsweise von Menschen frei verfass-te Texte) stellt hingegen enorme Anforderungen an die Analyse. Textdaten entsteheninsbesondere im Bereich Social Media und sind Gegenstand dieser Arbeit. In Foren,sozialen Netzwerken, Bewertungsportalen oder Blogs entstehen tglich eine groe An-zahl neuer Texte. Umfassende Analysen erfordern ein tieferes Textverstndnis, wasmit aktuellen Verfahren nur bedingt gelingt. In einigen Bereichen der automatisiertenTextverarbeitung existieren zuverlssige Verfahren, allerdings sind diese meist nur frdie englische Sprache verfgbar. Hufig fehlen geeignete oder die Domne betreffendeModelle fr die einzelnen Verfahren, wodurch die Ergebnisse der Verfahren ungen-gend sind. Relativ einfache Aufgaben der Textanalyse funktionieren hingegen gut, wie

2.2 meinungsanalyse (opinion mining) 9

beispielsweise die Satz- oder Wortzerlegung sowie Wortarterkennung. Das grammati-kalisch korrekte Verstehen eines komplexen Textes oder eine inhaltliche Analyse ist umein Vielfaches schwieriger. Die Analyse einzelner Wrter ist dabei nicht ausreichend.Es mssen sowohl der Aufbau des Satzes sowie dessen Struktur betrachtet werden.Einzelne Wrter einer Texteinheit mssen bei der Analyse im gesamten Kontext be-trachtet werden, um alle Informationen korrekt extrahieren zu knnen. Dies ist mitaktuellen Verfahren noch nicht zufriedenstellend mglich [9].

2.2 Meinungsanalyse (Opinion Mining)

Das Aufkommen von Textdaten ist insbesondere im Web 2.0 sprunghaft angestiegen.Neben verschiedenen anderen Fragestellungen gewinnt die Extraktion von Meinun-gen aus Textdaten immer mehr an Bedeutung. Unternehmen interessieren sich in denverschiedensten Bereichen fr die Meinungen, die von Kunden ihrer Produkte undLeistungen oder ganz allgemein ber sie geuert werden. Neben Foren und Blogsspielen Kundenrezensionen eine wichtige Rolle [103]. In Online-Shops wie Amazonfinden sich mehrere Millionen Kundenrezensionen zu einer groen Anzahl von Pro-dukten. In Bewertungsportale wie HolidayCheck oder Yelp verfassen Benutzer eineVielzahl von Bewertungen. Die enthaltenen Bewertungen knnen durch die Vergabevon Punkten, Noten oder Sternen quantifiziert werden. Details zu einzelnen Aspektender Meinungen werden jedoch textuell ausgedrckt. Als weitere Mglichkeit knnenan verschiedensten Stellen Kommentare verfasst werden, welche wiederum Meinun-gen enthalten.

Die Analyse und Verarbeitung von Meinungen in Texten wird als Opinion Miningoder auch Sentiment Analysis bezeichnet. Opinion Mining ist ein Teilbereich des TextMining. Es beschreibt die Erkennung bzw. Klassifikation verschiedener Tonalitten inTexten sowie die Extraktion weiterer Merkmale. Texte werden in subjekiv und objektivunterteilt. Meinungen werden hufig in positiv und negativ unterschieden. Ergnzendwird als dritte Mglichkeit neutral betrachtet. Die Klassifizierung kann zudem in ab-gestuften Ausprgungen erfolgen. Hierbei kann positiv in schwach positiv wertend undstark positiv wertend unterteilt werden. Weiterhin kann die Bewertung einer Meinunganhand einer numerischen Skala, z.B. von -1,0 (am negativsten) bis +1,0 (am positivs-ten), quantifiziert werden.

Opinion Mining ist ein aktuelles Thema der Forschungsgemeinde sowie vieler An-wendungen, da Meinungsuerungen einen Einfluss auf Entscheidungen in den ver-schiedensten Bereichen haben knnen. Beispielsweise beeinflussen die Meinungen vonKunden, welche in Rezensionen ausgedrckt werden, die Kaufentscheidung potentiel-ler Kunden. Fr Unternehmen, sowohl Produktanbieter als auch Anbieter von Dienst-leistungen, ist es inzwischen unerlsslich, die ber sie geuerten Meinungen zu ver-folgen. Die meisten Social Media Monitoring Anwendungen haben daher ein Opinion


Mining Modul implementiert. Die Qualitt aktueller Anwendungen ist jedoch nachwie vor eher ernchternd. Sofern diese auf eine spezielle Domne oder Quelle opti-miert sind, erzielen sie innerhalb dieser auch relativ gute Ergebnisse. Werden diesefr Daten aus anderen Domnen oder Quellen angewandt, zeigen sie deutliche Schw-chen. Ist eine Anwendung hingegen auf ein Vielzahl von Domnen oder Quellen hinoptimiert, erzielt sie in verschiedenen Domnen oder Quellen gleichwertige Ergebnisse,allerdings mit einem relativ hohen Fehleranteil. Daher werden in Forschungsarbeitenhufig Anwendungsflle untersucht, die sich auf eine spezielle Domne (z.B. Kun-denrezensionen) oder Quelle (z.B. Twitter-Daten) beziehen, um so bessere Ergebnisseerzielen zu knnen. Eine bersicht ber aktuelle Anstze wird in [1, 85] gegeben.

2.2.1 Verschiedene Methoden des Opinion Mining

Ein berblick ber verschiedene Methoden des Opinion Mining wird in [24, 46, 85]gegeben. Bei der Analyse von Meinungen ist es zum einen von Bedeutung, mit wel-cher Granularitt Meinungen im Text klassifiziert werden sollen und zum anderenexistieren zwei unterschiedliche Verfahren, um diese Klassifizierung durchzufhren.

Die Klassifikation von Meinungen kann mit den folgenden Granularitten erfolgen:

Dokumentenbasierte Klassifikation: Bewertung eines kompletten Dokumentes,ggf. auch kleinere Texteinheiten wie einzelne Stze (siehe Kapitel 2.2.1.1)

Aspektbasierte Klassifikation: Bewertung einzelner Aspekte innerhalb des Textes(siehe Kapitel 2.2.1.2)

Zur Klassifikation der Meinungen werden hufig folgende Verfahren eingesetzt:

Maschinenlernverfahren: Klassifikation anhand eines mit Hilfe von Lerndaten er-stellten Modells, z.B. Bayes-Klassifikator (z.B. Naive Bayes), Maximum-Entropieoder Support Vector Machine (SVM) (siehe Kapitel 2.2.1.3)

Lexikonbasierte Verfahren: Klassifikation auf Basis lexikalischer Ressourcen mei-nungstragender Wrter (siehe Kapitel 2.2.1.4)

2.2.1.1 Dokumentenbasierte Klassifikation

Eine dokumentenbasierte Klassifikation stellt die am wenigsten granulare Vorgehens-weise dar. Hierbei wird ein gesamtes Dokument, eine kleinere Texteinheit, eine Re-zension oder ein kompletter Kommentar als positiv, negativ bzw. neutral klassifiziert.Abbildung 2 zeigt an einem Beispiel mit einen Bag of Words Ansatz die Vorgehenswei-se.


Ich hatte anfangs viel Freude mit meinem neuen Smartpho-ne. Die einfache Bedienung, die tolle Kamera, das scharfeDisplay und der gute Akku waren fr mich Kaufgrund.Jedoch habe ich hufig Empfangsprobleme, sodass es frmich unbrauchbar ist.

Meinungen: 5x positiv sowie 2x negativ

Klassifikation des Textes: positiv

Abbildung 2: Dokumentenbasierte Klassifikation (Bag of Words)

2.2.1.2 Aspect Based Opinion Mining

Die am meisten granulare Vorgehensweise zur Analyse von Meinungen wird als AspectBased Opinion Mining (vormals Feature Based Opinion Mining) bezeichnet (siehe Ab-bildung 3). Hierbei werden die unterschiedlichen Meinungen einzeln extrahiert undseparat betrachtet. Neben der eigentlichen Meinung wird u.a. analysiert, zu welcherEntitt, welchem Aspekt oder welcher Eigenschaft diese geuert wird.

Entitten werden beispielsweise durch Produkte, benannte Personen, Organisatio-nen oder Orte und Aspekte durch deren Produkteigenschaften oder Eigenschaften zubestimmten Leistungen beschrieben [61]. Aspekte fr eine Kamera wren Auflsung,Zoombereich oder Gewicht. Fr ein Unternehmen wren dies Kulanz oder Erreichbar-keit.

Das Aspect Based Opinion Mining setzt Meinungen in Beziehung zu einzelnen En-titten und Aspekten. Dabei werden aus den unstrukturierten Textdaten verschiedeneTeile einer Meinung extrahiert. Die Meinung zu einer Entitt oder einem Aspekt kanndurch verschiedene Formen von Tuples dargestellt werden [83, 84, 85]. Es werden fol-gende Formen unterschieden:

Opinion Quadruple (g, s, h, t): allgemeine Form (beinhaltet weitere Tuples)

Opinion Quintuple (e, a, s, h, t): vereinfachte Form in der praktischen Anwendung

Opinion Sechstuple (E1, E2, A, PE, h, t): spezielle Form fr vergleichende Meinun-gen

Ein Opinion Quadruple beschreibt eine ausgedrckte Meinung durch die vier Ele-mente:


Ich hatte anfangs viel Freude mit meinem neuen Smartpho-ne. Die einfache Bedienung, die tolle Kamera, das scharfeDisplay und der gute Akku waren fr mich Kaufgrund.Jedoch habe ich hufig Empfangsprobleme, sodass dasSmartphone fr mich unbrauchbar ist.

Meinungen:sieben Aspekte mit unterschiedlichen Meinungen

Aspekt / Klassifikation:Smartphone / positivBedienung / positiv

Kamera / positivDisplay / positivAkku / positiv

Empfang / negativSmartphone / negativ

Abbildung 3: Aspect Based Opinion Mining Klassifikation

Sentiment Target (g): Ziel, fr welches eine Meinung geuert wird

Meinung (s): Ansicht, Haltung oder Bewertung zu g

Meinungstrger (h): Person oder Organisation, die eine bestimmte Meinung zug besitzt

Zeitpunkt (t): Zeitpunkt, an dem die Meinung geuert wird

Das Sentiment Target (g) beschreibt eine Entitt oder einen Bestandteil bzw. eineEigenschaft dieser Entitt. Eine Entitt kann ein Produkt, eine Person, ein Ereignis, eineOrganisation oder ein Thema sein. Es kann als Baum von Aspekten (Komponenten undUnterkomponenten) dargestellt werden. Jeder Knoten kann wiederum mit mehrerenEigenschaften verknpft werden.

Abbildung 4 zeigt am Beispiel des Produktes Kamera den Aufbau des Baumes mitden verschiedenen Komponenten, Unterkomponenten sowie Eigenschaften. Eine Mei-nung kann die Entitt, einen Aspekt (Komponente/Unterkomponente) oder eine Ei-genschaft betreffen.


Kamera

Gehuse

Akkudeckel . . .

. . . Akku

Gre, Bedienung, ...

Kapazitt,Haltbarkeit, ...

EigenschaftEntitt/Produkt

Aspekt/Komponente

Aspekt/Unterkomponente

Abbildung 4: Aspekte und deren Produkteigenschaften am Beispiel einer Kamera

Die Meinung (s) wird als Triple (y, o, i) wie folgt dargestellt:

Art der Meinung (y)

Ausrichtung der Meinung (o)

Intensitt der Meinung (i)

Die Art der Meinung (y) kann durch verschiedene Klassifizierungsmethoden erfol-gen. Es existieren sprach-, psychologie- und konsumbasierte Klassifizierungsmethoden.Beispielsweise wird in der konsumbasierten Klassifizierung in die Klassen rationale Mei-nung und emotionale Meinung unterschieden [27]. Bei der Ausrichtung der Meinung (o)knnen verschiedene Einteilungen verwendet werden, wie beispielsweise in positiv,negativ und neutral. Die verschiedenen Arten der Meinung knnen unterschiedlicheStufen der Intensitt besitzen. Bei den Kundenrezensionen von Amazon werden hier-fr fnf Sterne verwendet. Eine Einteilung anhand einer numerischen Skala von -1,0bis +1,0 ist ebenso mglich.

Bei der praktischen Anwendung der o.g. Definitionen lsst sich aus der allgemeineneine vereinfachte Form als Opinion Quintupel beschreiben. Dies umfasst die folgendenElemente:

Entitt (e): Objekt, fr welches eine Meinung geuert wird

Aspekt (a): Komponente bzw. Unterkomponente oder Eigenschaft eines Objekts,fr welches eine Meinung geuert wird (optional)

Meinung (s): Ansicht, Haltung oder Bewertung zu e oder a

Meinungstrger (h): Person oder Organisation, die eine bestimmte Meinung zueinem speziellen Objekt besitzt

Zeitpunkt (t): Zeitpunkt, an dem die Meinung geuert wird

Meinungen werden nicht nur direkt zu einer Entitt oder einem Aspekt geuert.hnliche Entitten oder Aspekte knnen miteinander verglichen werden [67]. Mit dem


Satz Die Bildqualitt meiner Canon ist besser als bei meiner Sony Kamera. wird einevergleichende Meinung zu zwei unterschiedlichen Entitten ausgedrckt. Hierbei istkeine explizite Meinung in Form von positiv oder negativ enthalten. Beide Produkteknnen gut oder weniger gut sein. Eine der beiden Entitten wird lediglich als besserbewertet. Eine vergleichende Meinung wird durch ein Sechstuple (E1, E2, A, PE, h, t)definiert:

Entitten-Set E1 und E2: Entitten, welche anhand eines gemeinsamen Aspektsverglichen werden

Aspekt (A)

Bevorzugte Entitt (PE)

Meinungstrger (h)

Zeitpunkt (t)

Vergleichende Meinungen wurden bisher nicht so eingehend untersucht, wie dasin anderen Bereichen des Opinion Mining erfolgte. In [67, 181] wurden verschiedeneAnstze verwendet, um diese zu extrahieren. Bei der Bewertung einer vergleichen-den Meinung liegt eine Schwierigkeit darin, die zwei Aspekte und/oder Entitten zuidentifizieren, welche miteinander verglichen werden. Weiterhin existieren viele ver-gleichende Wrter, welche ambig verwendet werden. Es ist nicht immer einfach zuidentifizieren, ob deren Verwendung eine vergleichende Meinung ausdrcken soll odernicht. In diesem Bereich sind weitere Forschungsarbeiten notwendig.

2.2.1.3 Maschinenlernverfahren

Maschinelles Lernen wird hufig im Bereich des Opinion Mining eingesetzt. Hierbeilernt ein System aus Erfahrungen und nutzt dieses Wissen, um Erkenntnisse in neuenDaten zu finden. Das Lernen erfolgt ber sogenannte Trainingsdaten. Trainingsdatenmssen meist manuell erzeugt werden. Ein typisches Beispiel im Bereich des maschi-nellen Lernens ist ein Spamfilter, welcher mit Hilfe eines Bayes-Klassifikators E-Mailsin Spam und Nicht-Spam unterscheidet.

Mit Hilfe des maschinellen Lernens werden Meinungen auf verschiedene Klassenabgebildet. Ein Dokument oder eine Texteinheit wird beispielsweise den Klassen po-sitiv, negativ oder neutral zugeordnet. Die Analyse der Meinungen erfolgt dabei aufverschiedenen Ebenen (Dokumentenebene [104], Satzebene [170] oder generell auf Tex-te [80, 131]).

Hufig finden Algorithmen zum berwachten Lernen Anwendung [12, 66, 104, 169].Dazu zhlen u.a. Bayes-Klassifikator (z.B. Naive Bayes), Maximum-Entropie oder Sup-port Vector Machine (SVM). berwachte Lernverfahren eignen sich gut, Dokumente in


y

x

Hype

rebe

ne

Abbildung 5: Beispiel einer Klassifikation im zweidimensionalen Raum

unterschiedliche Klassen zu klassifizieren. Sie haben jedoch den entscheidenden Nach-teil, angelernt werden zu mssen. Im Bereich des Opinion Minings kommen hufigSupport Vector Machines zum Einsatz.

Das Ergebnis der Klassifikation hngt stark von den verwendeten Trainingsdatenab. Trainingsdaten stammen hufig aus einer speziellen Domne oder Textsorte, wo-durch das so trainierte System fr diese Domne und Textsorte gute Ergebnisse liefert.Eine Anwendung in anderen, sich unterscheidenden Domnen, liefert meist deutlichschlechtere Ergebnisse. Auch ist es meist schwierig, gengend gute Trainingsdaten be-reitzustellen. Trainingsdaten werden vielfach von Hand annotiert, was nur fr einebegrenzte Anzahl mglich ist. Ein weiterer Nachteil tritt bei der Generierung einesModells fr groe Datenmengen auf. Der whrend der Trainingsphase verwendeteMerkmalsraum (feature space) wchst mit der Anzahl der verwendeten Trainingsdaten.Die Generierung bentigt fr groe Datenmengen viel Ressourcen und Zeit.

Im Bereich der Meinungsanalyse wird hufig das Lernen unterschiedlicher Model-le von Wort n-Grammen verwendet [103]. Beim Erstellen eines Modells fr eine SVMwird jedes Objekt (Textdokument) aus den Trainingsdaten durch einen Vektor repr-sentiert. Ein Textdokument kann als Vektor aus den in diesem Text vorkommendenWrtern dargestellt werden (Wort-Vektor). Aufgabe der SVM ist es, ausgehend vonallen Vektoren einer Dokumentensammlung eine Hyperebene in diesen Vektorraumeinzufgen, welche so viele Trainingsobjekte wie mglich in die jeweils richtige Klasseeinteilt. Der Abstand zwischen den Trainingsobjekten und der Hyperebene soll dabeimaximiert werden. Abbildung 5 zeigt den prinzipiellen Aufbau einer SVM im zweidi-mensionalen Raum.

Beim Aufbau des Wort-Vektors kann eine Auswahl der im Wort-Vektor verwendetenWrter (feature selection) erfolgen. Hierbei existieren zwei konkurrierende Methoden imBereich der Wort n-Gramm feature selection zur Erstellung eines Modells:


Data-driven feature selection: Die whrend der Trainingsphase verwendeten Merk-male werden direkt aus den Textdaten selbst generiert, z.B. anhand von allenim Text vorkommenden Unigrammen. Der Wort-Vektor besteht dann aus allenUnigrammen der Dokumentensammlung.

Dictionary-based feature selection: Als Merkmale werden whrend der Trainings-phase nur bestimmte Wort n-Gramme aus den Textdaten verwendet, welchebeispielsweise in einer vordefinierten lexikalischen Ressource vorkommen. DerWort-Vektor besteht somit nur aus allen Unigrammen der Dokumentensamm-lung, die auch in dieser lexikalischen Ressource enthalten sind.

Der erste Ansatz ist unabhngig von lexikalischen Ressourcen, welche u.U. in be-stimmten Sprachen oder Domnen nicht verfgbar sind. Lexikalische Ressourcen er-lauben durch eine feature selection dem zweiten Ansatz jedoch, sich auf eine bestimmteAufgabe zu spezialisieren (z.B. einer Meinungsklassifikation) [166, 167]. Diese featureselection kann dann sowohl das Rauschen sowie die Gre des Merkmalsraums signifi-kant verkleinern.

Modelle, welche auf Wort n-Gramme als feature beruhen und die sich auf Daten auseiner bestimmten Domne (z.B. Bcher, technische Produkte oder Dienstleistungen)oder einem Genre (Rezensionen, Zeitschriftenartikel oder Blogbeitrge) beziehen, sindin der Regel sehr domnen- und genreabhngig [40, 133, 168]. Zeitschriftenartikel oderBlogbeitrge beispielsweise basieren zum groen Teil auf externen, nicht sprachlichenMerkmalen, wie die angesprochene Zielgruppe, dem Zweck und der Art der Aktivi-tt [79], welche sich in ihren textuellen Eigenschaften unterscheiden [6, 114]. Zudemunterscheiden sich in verschiedenen Domnen das Vokabular und die Art und Weise,wie dieses verwendet wird [113].

Die in einer lexikalischen Ressource enthaltenen meinungstragenden Wrter, wel-che fr eine dictionary-based feature selection verwendet werden, knnen domnenabhn-gige sowie domnenunabhngige Merkmale besitzen [174]. Viele meinungstragende Wr-ter besitzen eine eindeutige, domnenunabhngige Bewertung. Die Wrter gut undhervorragend drcken beispielsweise immer eine positive Meinung aus. Die Wrterschlecht und unbrauchbar stellen immer eine negative Aussage dar. Hingegen exis-tieren einige Wrter, welche je nach verwendeter Domne unterschiedliche Bewertun-gen aufweisen knnen. Das Wort grausam wird im Bereich elektronischer Produkteals negativ angesehen. Bei der Bewertung eines Horrorfilms drckt es hingegen ge-gebenenfalls eine positive Meinung aus. Weiterhin kann die geuerte Meinung vomverwendeten Kontext eines Wortes abhngen. Der hohe Verbrauch eines Fahrzeu-ges ist negativ, wohingegen die hohe Beschleunigung eines Fahrzeuges positiv zubewerten ist.


2.2.1.4 Lexikonbasierte Meinungsanalyse

Bei der lexikonbasierten Analyse von Meinungen wird eine Klassifikation anhand vonmeinungstragenden Wrtern und Phrasen durchgefhrt. Diese Wrter und Phrasensind in einer lexikalischen Ressource (siehe Kapitel 2.2.2) enthalten, welche zu jedemEintrag die Ausrichtung und ggf. zustzlich die Strke der Meinung enthlt.

Meinungen knnen ber einzelne Wrter sowie ber geeignete Muster, beispiels-weise ber Wortarten, identifiziert bzw. aus dem Text extrahiert werden. In dem SatzDas Buch finde ich spannend und sehr gut. sind die meinungstragenden Wrter bzw.Phrasen spannend und sehr gut enthalten, welche in lexikalischen Ressourcen alspositiv bewertet werden. Der Satz kann somit als positiv klassifiziert werden.

In [148] wurden einzelne meinungstragende Wrter verwendet. Zu jedem meinungs-tragenden Wort, welches in einer lexikalischen Ressource vorhanden ist, kann eineKlassifizierung in die Klassen positiv oder negativ erfolgen. Negationen, Verstrkungs-und Abschwchungspartikeln sowie Mehrwortphrasen und Redewendungen mssengesondert behandelt werden, da diese in den meisten lexikalischen Ressourcen nichtenthalten sind. Hierfr wurden verschiedene Anstze entwickelt, welche jedoch nurbedingt gute Ergebnisse liefern. Wie in Kapitel 3.1.8.3 am Beispiel der Negation nichtund dem Verstrkungspartikel absolut gezeigt wird, ist eine allgemeingltige Vorge-hensweise fr deren Bewertung nicht immer mglich. Insbesondere bei Negationen istkein Muster erkennbar, anhand dessen der Meinungswert aller Wrter korrekt inver-tiert werden kann.

Fr eine Klassifikation auf Dokumentenebene knnen alle so gefundenen Meinun-gen beispielsweise durch ein einfaches Aufsummieren zusammengefasst werden. Dasgesamte Dokument kann anschlieend als positiv oder negativ klassifiziert werden.

Es knnen weitere Vorverarbeitungsschritte durchgefhrt werden, um beispielswei-se nur Produkteigenschaften im Dokument zu bewerten. Hierfr werden Stze mitProdukteigenschaften identifiziert und eine Meinung pro Satz bewertet, welche danneine zusammengefasste Bewertung von Produkteigenschaften ermglicht [60].

Alternativ kann eine Trennung in objektiv und subjektiv erfolgen. Subjektive Stzeknnen beispielsweise anhand des Vorhandenseins von Adjektiven identifiziert wer-den. Frhere Arbeiten haben gezeigt, dass das Vorhandensein von Adjektiven auf einestatistisch signifikante Korrelation mit Subjektivitt hinweist und Adjektive somit alsKandidaten hierfr geeignet sind [16, 171].

2.2.2 Lexikalische Ressourcen

Meinungstragende Wrter werden in verschiedenen Verfahren verwendet. Sie drckeneine positive oder negative Meinung aus. Positive Wrter sind beispielsweise gut,perfekt und wertvoll. Beispiele fr negative Wrter sind schlecht, miserabel


und langweilig. Neben einzelnen Wrter werden hufig Phrasen wie sehr gut,absoluter Schrott und nicht besonders gut oder Redewendungen wie nicht dasGelbe vom Ei, klein aber oho und mehr schlecht als recht verwendet, um eineMeinung auszudrcken.

Diese Wrter und Phrasen werden in lexikalischen Ressourcen zusammengefasst.Fr die Erstellung dieser Ressourcen existieren drei verschiedene Anstze:

Manuelle Erstellung

Wrterbuchbasierter Ansatz (dictionary-based)

Korpusbasierter Ansatz (corpus-based)

Ein generelles Problem bestehender Ressourcen besteht darin, dass diese berwie-gend nur einzelne Wrter (Unigramme) enthalten. Negationen wie nicht oder keinund Verstrkungspartikeln wie sehr oder besonders sowie Abschwchungsparti-keln wie wenig oder bedingt mssen fr zusammengesetzte Phrasen wie nichtschlecht oder sehr gut gesondert betrachtet werden. Man spricht hier von Meinungs-Komposition [31, 73, 86, 97]. Am Beispiel von nicht wird die Schwierigkeit deutlich.Fr das Wort gut kann der positive Meinungswert durch die Verwendung der Ne-gation nicht invertiert werden. Die Phrase nicht gut drckt das Gegenteil, d.h.etwas Negatives, aus. Anders ist dies fr das Wort perfekt, welches einen positivenMeinungswert hat. Fr die Phrase nicht perfekt ist das vorherige Vorgehen nicht an-wendbar, da der Meinungswert hier immer noch positiv ist und nicht invertiert werdenkann.

Einzelne Wrter knnen abhngig von dem verwendeten Kontext eine unterschied-liche Meinung besitzen. Ausschlaggebend ist der Aspekt, welcher bewertet wird. [39]untersuchte die Kontextabhngigkeit von meinungstragenden Wrtern. Die Wrterschnell. langsam, niedrig, hoch, lang, kurz, gro und klein sind ty-pische meinungstragende Wrter, deren Meinungswert abhngig vom verwendetenKontext betrachtet werden muss [43, 178]. Die Aussage Die Ladezeit meines Akkusist kurz spiegelt eine positive Meinung bzgl. des Akkus wieder. Hingegen wird durchdie Aussage Die Lebensdauer meines Akkus ist kurz eine negative Meinung bzgl.des Akkus ausgedrckt. Hieraus lsst sich ableiten, dass eine lexikalische Ressourcefr kontextabhngige Wrter mehrere Eintrge enthalten sollte. Dabei sollte die Be-wertung der Meinung in Kombination mit dem entsprechenden Aspekt vorliegen. Indem eben genannten Beispiel hiee das, es gibt zwei Eintrge fr die KombinationenWort: kurz, Aspekt: Ladezeit, Meinung: positiv sowie Wort: kurz, Aspekt: Lebensdauer, Mei-nung: negativ.


2.2.2.1 Manuelle Erstellung

Bei der manuellen Erstellung von lexikalischen Ressourcen wird eine meist geringeAnzahl von Wrtern in positiv und negativ unterteilt. Dieser Ansatz ist zeitintensivund wird daher hufig durch automatisierte Schritte ergnzt oder mit den beiden fol-genden Anstzen kombiniert. In bestimmten Anwendungsfllen kann es jedoch durch-aus sinnvoll sein, kleinere manuell erstellte Ressourcen zu verwenden bzw. bestehen-de Ressourcen mit manuell erstellten Eintrgen zu ergnzen. Insbesondere fr sehrspezifische Domnen fehlen in bestehenden Ressourcen wichtige domnenspezifischeWrter.

2.2.2.2 Wrterbuchbasierter Ansatz

Hierbei werden ein kleines Set an meinungstragenden Wrtern (Seed) sowie bestehen-de Wrterbcher (z.B. Thesaurus [96] oder WordNet [95]) verwendet. In einem ite-rativen Prozess werden fr die in dem Seed enthaltenen Wrter alle Synonyme sowieAntonyme aus den Wrterbchern gesucht und die Meinungen fr diese entsprechendder bekannten Meinung aus dem Seed zugeordnet. Dies wird solange wiederholt, biskeine neuen Wrter anhand von Synonymen und Antonymen gefunden werden. Aufdiese Art wurden mehrere Listen generiert [39, 42, 72, 61, 145, 172].

Beispielsweise kann das Wort gut im Seed als positives Wort enthalten sein. Diein einem Thesaurus enthaltenen Synonyme angenehm, schn und fein knnenebenfalls als positiv bewertet und in die Liste aufgenommen. Die Antonyme mies,bse und schlecht werden hingegen als negativ ergnzt.

Dieser Ansatz hat den Nachteil, dass domnen- sowie kontextspezifische Meinungennicht entsprechend zugeordnet bzw. bewertet werden knnen. Diese spielen jedochhufig eine wichtige Rolle. Im Bereich der Versicherungswirtschaft besitzt beispiels-weise die Phrase von/zu wechseln eine groe Bedeutung. Fr eine Versicherung istdies uerst negativ zu bewerten. In vielen anderen Domnen drckt diese Aussagehingegen keine Meinung aus, wre also als neutral zu betrachten.

2.2.2.3 Korpusbasierter Ansatz

Beim korpusbasierten Ansatz wird ebenfalls ein Seed von bekannten meinungstra-genden Wrtern verwendet. Anhand von syntaktischen sowie kookkurrenzbasiertenMustern wird versucht, weitere meinungstragende Wrter innerhalb eines Korpus zufinden.

In [55] wurde dies fr Adjektive untersucht. Ausgehend von einem Seed meinungs-tragender Adjektive wurden anhand sprachlicher Muster neue meinungstragende Wr-tern identifiziert. Eines dieser Muster basiert auf dem Bindewort und. Normalerwei-se besitzen Adjektive, welche mit einem und verbunden sind, die gleiche Meinung.In dem Satz Die Bedienung funktioniert gut und unkompliziert drcken die Adjek-


tive gut und unkompliziert eine positive Meinung aus. Sofern eines der beidenAdjektive im Seed enthalten ist, kann fr beide die gleiche Meinung angenommenwerden. Neben diesem Muster wurden weitere wie oder, aber, entweder oderund weder noch verwendet. In [70] wurde dieser Ansatz auf Satzebene innerhalbvon Stzen (intra-sentential) sowie fr benachbarte Stze (inter-sentential) erweitert.

In [49] wurde eine hnlicher Ansatz bezogen auf Gegenstze verfolgt. [90] unter-suchte ebenfalls die automatische Erstellung eines kontextabhngigen Lexikons mitHilfe von Integer Linear Programming [32]. Einen anderen Ansatz verfolgen [157, 160].Hier werden kontextbezogene Meinungen basierend auf syntaktischen Mustern vonWortarten untersucht.

Ein durch den korpusbasierten Ansatz erstelltes Lexikon ist hufig nicht vollstndig,da es sehr schwierig ist, einen gengend groen Korpus mit sehr vielen meinungs-tragenden Wrtern bereitzustellen. Jedoch hat dieser Ansatz entscheidende Vorteilegegenber dem wrterbuchbasierten Ansatz. Er ermglicht die Generierung dom-nenspezifischer sowie kontextabhngiger meinungstragender Wrter. Es muss auchbeachtet werden, dass ein an sich meinungstragendes Wort nicht immer verwendetwird, um eine Meinung auszudrcken. Die Aussage Ich suche nach einem gutenHandy. drckt keine positive Meinung aus, auch wenn das Wort gut als positiv ineinem Lexikon enthalten sein wird.

2.2.2.4 berblick ber bestehende lexikalische Ressourcen

In den vergangen Jahren wurden verschiedene lexikalische Ressourcen erstellt. Diesebestehen typischerweise aus meinungstragenden Wrtern sowie einer Bewertung hin-sichtlich ihrer Tonalitt. Die meisten Ressourcen liegen fr die englische Sprache vor.Fr viele, meist weniger verbreitete Sprachen, existieren keine Ressourcen. Eine ein-fache bersetzung von Ressourcen in englischer Sprache ist nicht mit ausreichenderQualitt realisierbar, da die sprachlichen Besonderheiten zum Teil sehr gro sind.

Im Deutschen sind dies im Vergleich zum Englischen beispielsweise die Komposi-tabildung (z.B. Buntstift - Adjektiv+Nomen oder Donaudampfschifffahrtskapitns-mtze - mehrere Nomen). In dem Wort Empfangsproblem sind sowohl der Aspekt(Empfang) als auch eine negative Meinung (Problem) enthalten. Auch werden im Deut-schen hufig lange und verschachtelte Stze verwendet, welche fr eine syntaktischeAnalyse sehr schwer zu verarbeiten sind. So knnen Phrasen innerhalb eines Satzessehr weit auseinander gezogen werden. In dem Satz Besonders gut gebrauchen kannich diese Kamera, welche im Dunkeln einfach schlechte Bilder macht, nicht, da ich vielnachts fotografiere. wird die Phrase nicht besonders gut durch einen Nebensatzgetrennt.

Tabelle 1 gibt einen berblick ber verfgbare lexikalische Ressourcen. Es zeigt sich,dass zur Erstellung meistens wrterbuchbasierte Anstze mit einem Seed verwendetwerden. Dabei werden hufig sprachliche Zusammenhnge anhand vorgegebener Mus-


ter analysiert und neue meinungstragende Wrter durch beispielsweise Antonymeund Synonyme entsprechenden Klassen (wie positiv oder negativ) zugeordnet (sieheKapitel 2.2.2.2). Als Wrterbuch wird hierbei mehrfach WordNet verwendet.

Nr. Name (Autor) Jahr REF SPR wrbu korpus ANZ MW

1 WordNet-Affect 2004 [146] en x 4.787 11 (aff)

2 (Hu and Liu) 2004 [61] en x ? 2

3 SentiSpin 2005 [156] en,jp

x x 90.000,55.000

-1 +1

4 Subjectivity Clues 2005 [173] en x 8.000 4

5 Sentiwordnet 1.0 2006 [41] en x 115.000 3

6 (Ding et al.) 2008 [39] en x ? 2

7 (Zhang and Ye) 2008 [182] en x 7.426 2

8 (Brooke et al.) 2009 [15] en,sp

x 5.047,4.660

11

9 Sentiwordnet 3.0 2010 [5] en x 120.000 3

10 Web GP 2010 [165] en x 178.000 3

11 SenticNet 2010 [21] en x x 5.700 -1 +1

12 SenticNet 2 2012 [22] en x x 14.200 -1 +1

13 SenticNet 3 2014 [25] en x x 13.700 -1 +1

14 Polarity Lexiconfor German

2010 [33] de x ? 3

15 SentiWS 2010 [116] de x 3.468 -1 +1

16 GermanPolarityClues

2010 [166] de x 10.000 3

Abkrzungen:

REF ReferenzSPR Sprachewrbu wrterbuchbasierter Ansatzkorpus korpusbasierter AnsatzANZ Anzahl der beinhalteten Wrter und PhrasenMW Meinungswert: Anzahl der verwendeten Klassen (wie positiv, negativ oder neutral) bzw. Bereich

einer kontinuierlichen Skaleaff affective labelsen englischde deutschjp japanischsp spanisch

Tabelle 1: bersicht ber verfgbare lexikalische Ressourcen


Bis auf die Ressourcen 10 bis 13 enthalten alle anderen nur einzelne Wrter (Uni-gramme). Die Verwendung in Kombination mit Negationen und Verstrkungs- oderAbschwchungspartikeln muss durch den verwendeten Algorithmus bei der Analy-se der Meinungen behandelt werden. Dabei treten verschiedene Schwierigkeiten auf(siehe Kapitel 3.1.8.3).

Zur Erstellung der Ressource 10 wurden vier Milliarden Webdokumente verwendet.Ausgehend von einem Seed wurde ein Graph aufgebaut. Dabei wurden keine lexi-kalischen Ressourcen wie WordNet sowie keine sprachabhngige Verfahren wie dieErkennung der Wortart verwendet. Als Ergebnis ist die generierte Ressource nicht aufeinzelne Wortklassen limitiert. Ebenso sind umgangssprachliche Ausdrcke, falschge-schriebene Wrter sowie Phrasen aus mehr als einem Wort enthalten.

2.2.3 Concept-level Sentiment Analysis

Das noch junge Forschungsgebiet Concept-level Sentiment Analysis beschftigt sich imBereich des Opinion Mining mit Verfahren auf Konzeptebene. Die Analyse auf Kon-zeptebene soll semantische und affektive Informationen, welche mit Meinungen na-trlicher Sprache verbunden sind, ableiten und somit eine vergleichende, feinkrnigesowie merkmalsbasierte Meinungsanalyse ermglichen [19, 23].

[18] gibt einen berblick ber den Bereich Concept-level Sentiment Analysis. Dabeiwird gezeigt, dass Syntaktik, Semantik und Pragmatik bei der Definition und demErstellen von Algorithmen und Ressourcen bercksichtigt werden mssen. [20] be-schreibt die jngsten Entwicklungen auf dem Gebiet der Sprachverarbeitung. In [24]wird die Entwicklung des Opinion Mining mit einem besonderen Fokus auf bestehen-de Anstze diskutiert. Es werden fnf verschiedene Anstze und Umsetzungen frverschiedene Domnen und Datenquellen prsentiert [38, 50, 127, 177, 179]. AktuelleAnstze einer Analyse auf Konzeptebene nutzen hauptschlich bestehende affektiveWissensbasen [7, 13, 25, 41, 64, 109, 146, 158].

Algorithmen zur automatischen Analyse von Meinungen aus Texten bentigen le-xikalische Ressourcen wie Polarittswrterbcher (siehe Kapitel 2.2.2). Bisherige Res-sourcen beinhalten jedoch berwiegend nur einzelne Wrter und stellen keinen Bezugzwischen meinungstragenden Wrtern und deren mglichen Verwendungen in unter-schiedlichen Kontexten her. Affektive Wissensbasen beinhalten ergnzend Informatio-nen zum Kontext. Dies ermglicht u.a. eine genauere Bewertung in unterschiedlichenKontexten wie auch in domnenabhngigen Texten.

2.3 Twitter-Daten

Der Einfluss sozialer Netzwerke auf die Gesellschaft ist in den letzten Jahren starkgestiegen. Twitter gilt momentan als populrster Microblogging-Dienst. Nach eige-

2.3 twitter-daten 23

nen Angaben hat Twitter weltweit 320 Millionen aktive Nutzer im Monat [164] (Stand26.02.2016). Tglich werden bis zu 500 Millionen Nachrichten, sogenannte Tweets, ver-schickt [143] (Stand Oktober 2013).

Politiker nutzen Twitter als Kommunikationskanal. Der US-Prsident Barak Obamabesitzt 73 Millionen Follower in Twitter [139]. Die Bundestagsabgeordnete Sarah Wa-genknecht besitzt mit 95.000 Followern die meisten als deutsche Politikerin [138].

Ein Tweet besteht aus maximal 140 Zeichen. Durch diese Limitierung ergeben sicheinige Besonderheiten. Hufig werden Abkrzungen oder andere sprachliche Mittel ge-nutzt, um mglichst viele Informationen in einem Tweet wiedergeben zu knnen. Einespezielle Form ist die Verwendung des Hash-Zeichens (#). Hiermit werden soge-nannte Hashtags definiert, welche hufig aus Abkrzungen oder Akronymen gebildetwerden (z.B. #btw13 fr Bundestagswahl 2013 oder #groko fr Groe Koalition).

Die Nutzer verwenden diese Hashtags, um spezielle Themen, Personen oder Ereig-nisse in ihren Tweets hervorzuheben. Hashtags werden sowohl innerhalb einer Nach-richt (In #BNDNSA-Affre wchst der Druck auf die Bundesregierung), als auch amEnde verwendet (Schilder sagen mehr als Worte. #BND #BNDNSA-Affre). Bei derVerwendung innerhalb einer Nachricht werden wichtige oder das Thema reprsentie-rende Worte durch ein Hash-Zeichen hervorgehoben. Fr die Aussage an sich bildetdas Wort jedoch einen normalen Satzbestandteil. Wird hingegen eine Aufzhlung vonHashtags am Ende einer Nachricht verwendet, sind diese Wrter nicht Bestandteil derMitteilung. Vielmehr wird die Aussage einem Thema zugeordnet.

In deutschen Tweets hat sich insbesondere im Vorfeld und whrend Wahlen eineSpezialform von Hashtags etabliert. Die ursprngliche Idee stammt aus dem nichtmehr existierenden Projekt Wahlgetwitter von Bastian Unterberg und Sascha Lobo von2009. Im Vorfeld der Bundestagswahl 2013 wurde die Idee im Projekt Twitterbarometer[88] fortgefhrt. In Twitter wurde dazu aufgerufen, die eigene Meinung zu Parteien,Politikern oder Themen, welche in Hashtags dargestellt werden, um eine Bewertung(+ = positiv, - = negativ) zu erweitern. Eine positive Meinung zur Partei ABCwurde somit durch den Hashtag #ABC+ dargestellt, eine negative durch #ABC-.Das Projekt Wahlgetwitter wertete diese speziellen Hashtags aus. Als Ergebnis hattenviele diese Sentiment Hashtags verwendet. Auch in den in dieser Arbeit untersuchtenTweets zur Bundestagswahl 2013 wurden Sentiment Hashtags genutzt. In etwa 4,3%(171.000 Tweets) der untersuchten Tweets vor und whrend der Bundestagswahl 2013ist mindestens ein Sentiment Hashtag enthalten.

Neben der eigentlichen Nachricht beinhaltet jeder Tweet weitere Informationen, wel-che in verschiedenen Forschungsarbeiten untersucht wurden. Hierbei handelt es sichhauptschlich um benutzerbezogene Daten, wie den Namen oder Wohnort. Zu ei-nem Tweet kann der geographische Standort (Geolocation) durch GPS-Koordinatenbereitgestellt werden. Anhand dieser Daten wurden mehrfach Untersuchungen bzgl.der geographischen Verbreitung von Tweets durchgefhrt [54, 69]. In den 4 Millio-


nen Tweets vor und whrend der Bundestagswahl 2013 enthalten etwa 1,5% (60.000Tweets) einen Standort anhand einer GPS-Koordinate. Hingegen sind in 95% (3,8 Mil-lionen Tweets) eine Ortsinformation aus dem Benutzerkonto verfgbar. Diese Ortsan-gabe beinhaltet keine verlssliche Information. Viele Benutzer geben hier ungenaue An-gaben (z.B. Deutschland oder Bayern) sowie Fantasiebezeichnungen (z.B. Milch-strae oder irgendwo) an, welche fr eine Analyse der geografischen Verteilungnicht geeignet sind.

2.4 Themenerkennung (Topic Detection) in Twitter

2.4.1 Allgemein

Zur Erkennung von Themen in Textdokumenten werden verschiedene Topic Modelleeingesetzt. Klassische Topic Modelle wie Probabilistic Latent Semantic Analysis (pLSA)[57] oder Latent Dirichlet Allocation (LDA) [11] bentigen typischerweise eine groeAnzahl an Daten bzw. Dokumenten, um zuverlssig Themen erkennen zu knnen. Invielen Bereichen sind diese jedoch nicht verfgbar und eine Themenerkennung mussauf Basis einer geringen Anzahl an Dokumenten erfolgen.

Um beispielsweise Produkteigenschaften oder Aspekte in Kundenrezensionen zufinden, welche im Bereich der Meinungsanalyse bentigt werden, kann fr einzelneProdukte nur auf eine begrenzte Anzahl an Kundenrezensionen zurckgegriffen wer-den [63]. Teilweise liegen deutlich weniger als 100 Kundenrezensionen pro Produktvor.

In weiteren Bereichen der Themenextraktion von Big Data wurden verschiedeneAnstze entwickelt und untersucht [28, 29, 45].

2.4.2 Verfahren zur Themenerkennung in Twitter

Frhere Arbeiten untersuchten, inwiefern Standardmodelle der Themenerkennung wieLDA oder Author Topic Model fr die Analyse von Twitter-Daten verwendet werdenknnen [58]. In [93] wurde ein eigener Algorithmus QueueBurst fr die Erkennung vonThemen und Trends entwickelt.

Anhand von Termfrequenz, normalisierte Termfrequenz fr Uni-, Bi-, Trigrammesowie TF-IDF fr Unigramme wurden Trendthemen im zeitlichen Verlauf in Twitteranalysiert [8]. Es konnte gezeigt werden, wie relevante Informationen aus einem sichndernden Korpus mit einer unkonventionellen Struktur identifiziert und extrahiertwerden knnen. Als mgliche Verbesserung wurde ein Vergleich nicht nur mit Twitterselbst sondern mit anderen Quellen (z.B. Google Trends) vorgeschlagen.

Fr die Analyse im Bereich der Themenerkennung von Tweets wurden hufig diein den Tweets enthaltenen Hashtags verwendet. [35] versuchte, neue Events auf Basis

2.5 analyse von twitter-daten im bereich von politik und wahlen 25

der Hashtags zu entdecken. In [36] hingegen wurde die Entwicklung von Hashtags inTwitter mit einem sprachbasierten Ansatz analysiert. In [126] wurden Idiome, politi-sche Hashtags und Ansteckungseffekte in Twitter und deren unterschiedliche Mecha-nismen der Informationsverbreitung ber Themen untersucht.

In verschiedenen anderen Studien und Implementierungen wurden Untersuchun-gen bezglich der Modellierung von Themen [58], der Themenerkennung [93], derexplorativen Suche und Zusammenfassung der Themen [100], der Erkennung des erst-maligen Auftretens eines Themas (First Story Detection) [106] oder der Mustererken-nung fr relevante Themen in Twitter [30] durchgefhrt.

Tweets besitzen besondere Merkmale, welche den Einsatz klassischer Topic Model-le nur begrenzt ermglichen (siehe Kapitel 2.3). Tweets entsprechen aufgrund ihrerlimitierten Anzahl von Zeichen nicht einem Textdokument. Klassische Topic Modellebasieren jedoch auf einer mittleren bis groeen Anzahl von Textdaten.

Das Lernen von Topic Modellen (z.B. mit Hilfe des LDA) aus vorhandenen Datenund deren Anwendung auf neue Daten ist fr Twitter zudem weniger gut geeignet, dasich Themen in Twitter zeitlich sehr schnell ndern. Neue Themen werden aufgegriffen,aber spter teilweise nicht wieder verwendet.

In Tweets werden hufig Ironie und Sarkasmus verwendet. Einzelne Themen werdenkontrovers diskutiert. Je unterschiedlicher die Meinungen zu einem Thema sind, umso interessanter kann dies sein und auf ein wichtiges Thema hinweisen.

Durch die Verwendung von Hashtags werden Themen bereits hervorgehoben. DieseInformation kann gesondert betrachtet werden und eignet sich fr die Identifizierungvon Kandidaten neuer Themen.

2.5 Analyse von Twitter-Daten im Bereich von Politik und Wahlen

Soziale Netzwerke haben in den letzten Jahren im Bereich Politik an Bedeutung gewon-nen. Whrend politischer Diskussionen in den Medien (z.B. im Fernsehen) werden ver-mehrt Zuschauermeinungen in Form von Tweets oder anderen sozialen Netzwerkeneingebunden. Auch die Parteien und Politiker nutzen soziale Netzwerke als Kommu-nikationsplattform. Nach einer Untersuchung aus dem Jahr 2013 [47] nutzen 95% derParlamentarier soziale Netzwerke. Twitter wird von den Parteien sehr unterschiedlichstark genutzt. Mit knapp 40% nutzt die CDU-Fraktion Twitter nur halb so viel wie dieGrnen-Fraktion mit 87%.

Die Nutzung von Tweets zur Erkennung einer representativen Meinung ist jedochumstritten. Verschiedene Verffentlichungen beschftigten sich mit dem Verhalten derTwitter-Nutzer im Zusammenhang mit Wahlen. Dabei wurde u.a. untersucht, inwie-fern Wahlergebnisse mit Hilfe von Twitter vorhergesagt werden knnen [68, 135, 159].Anhand der im Projekt PoliTwi analysierten Tweets ist jedoch keine Vorhersage vonWahlergebnissen allein mit Hilfe von Tweets mglich. Die Twitter-Nutzer stellen nur


einen geringen Anteil der Whler dar und sind nicht reprsentativ bezglich Alter,Geschlecht oder soziale Zugehrigkeit. Auch wird in Twitter vielfach Ironie und Sar-kasmus zur Meinungsuerung verwendet, welche aktuell nur in einem begrenztenMae korrekt analysiert werden kann. [51] zeigte Schwachpunkte auf, weshalb Wahl-ergebnisse derzeit nicht vorhergesagt werden knnen.

3E R A R B E I T E T E T H E O R I E N U N D M E T H O D E N

In Kapitel 3 werden die im Rahmen dieser Arbeit neu erstellten Theorien und Me-thoden dargestellt. Diese umfassen die Sentiment Phrase List (SePL) (siehe Kapitel 3.1),die Meinungsanalyse mit Hilfe dieser Liste (siehe Kapitel 3.2), die Themenerkennung inTwitter (siehe Kapitel 3.3) sowie deren Verbesserung durch die Anwendung der Mei-nungsanalyse (siehe Kapitel 3.4) und die Erweiterung lexikalischer Ressourcen anhandeiner Kontextanalyse der Sentiment Hashtags (siehe Kapitel 3.5).

Mit der SePL wurde ein neuartiges Vorgehen entwickelt, mit welchem eine lexikali-sche Ressource automatisiert erstellt werden kann. Die Ressource enthlt neben einzel-nen Wrtern auch Phrasen aus mehreren Wrtern. Dies erleichtert insbesondere dieAnwendung der Ressource in der Meinungsanalyse. Die Methoden sowie eine SePLfr die deutsche Sprache wurden verffentlicht [121, 123].

Ausgehend von der SePL wurde ein Algorithmus implementiert, mit welchem ei-ne lexikonbasierte Meinungsanalyse auf Basis von Phrasen mglich ist. Eine Anwen-dung im Bereich der Versicherungswirtschaft und die Evaluation der durchgefhrtenAnalyse wurden in [122, 176] verffentlicht. Weiterhin wurde auf Basis von domnen-spezifischen Versionen der SePL und einem Maschinenlernverfahren ein Vergleich zuanderen lexikalischen Ressourcen durchgefhrt und in [115] verffentlicht.

Das Projekt PoliTwi untersucht politische Tweets in Twitter, um neu aufkommendeThemen identifizieren zu knnen. Die Themenerkennung wurde mit der lexikonbasier-ten Meinungsanalyse kombiniert, um so die Themenerkennung auf Basis kontroverserDiskussionen zu verbessern. Anhand der analysierten Themen und deren Kontext wur-de gezeigt, wie lexikalische Ressourcen mit Hilfe der Sentiment Hashtags automatisierterweitert werden knnen. Die Ergebnisse von PoliTwi, der Themenerkennung sowieder Erweiterung lexikalischer Ressourcen wurden in [124] verffentlicht.

3.1 Erstellung lexikalischer Ressourcen - Sentiment Phrase List (SePL)

Als Teil dieser Arbeit wurde ein generisches Vorgehen entwickelt, mit welchem ei-ne Liste meinungstragender Phrasen inklusive Negationen und Verstrkungs- sowieAbschwchungspartikeln erstellt werden kann. Als Datenquelle wurden Rezensionender Online-Plattform Amazon verwendet. Es knnen jedoch auch andere Datenquel-len genutzt werden, die neben einer textuellen ebenfalls eine numerische oder ordinaleBewertung bereitstellen. In Tabelle 47 im Anhang A.1.2 sind Beispiele aus der SePL frdie deutsche Sprache aufgefhrt.

27

28 erarbeitete theorien und methoden

3.1.1 Zielsetzung und Idee

Ziel ist die automatische Generierung einer Liste mit meinungstragenden Phrasen. Frjeden Eintrag in dieser Liste soll dessen Meinungswert auf einer kontinuierlichen Skalavon 1 (am negativsten) und +1 (am positivsten) enthalten sein. Der Algorithmusbasiert auf Rezensionen zu Produkten von Amazon. Eine Rezension enthlt folgendeInformationen:

Anzahl der Sterne: zusammenfassende numerische Bewertung

Titel: zusammenfassende textuelle Bewertung

Text: ausfhrlicher Bewertungstext

Datum: Datum der Erstellung

Autor: Verfasser der Rezension

Produktbezeichnung: Produkt, auf welches sich die Rezension bezieht

Kommentare: Kommentare anderer Benutzer zur Rezension

Hilfreichmerkmal: Merkmal, von wie vielen anderen Benutzer die Rezension alshilfreich oder nicht hilfreich angesehen wird

Info, hilfreichste positive oder negative Rezension

Abbildung 6 zeigt eine typische Rezension.

Abbildung 6: Rezension von der deutschen Amazon Webseite

Die Berechnung der Meinungswerte basiert auf der Sternebewertung sowie demTitel einer Rezension. Es kann vermutet werden, dass beides eine Zusammenfassungdes Bewertungstextes darstellt und die Sternebewertung stark mit der durch meinungs-tragende Phrasen im Titel formulierten uerung korreliert. Zur berprfung dieserVermutung wurde ein Test durchgefhrt. Abbildung 7 zeigt den Testablauf.

3.1 erstellung lexikalischer ressourcen - sentiment phrase list (sepl) 29

Annotations-

daten 2

manuelles Annotieren

Annotations-

daten 1

500 Rezensionen:- Titel- Sternebewertung- Produktname- Kategorie

Cohens Kappa:

64%

Phrasen aus SePL-Generierung

Annotator 2

themenerkennung in twitter unter berücksichtigung von ... · vom fachbereich 12 der johann...

Documents