Meet him

   

I am a very happyyy person.... 

   

I am a very happyyy person....

   

Remove repetition of letters

   

I am a very happyyy person.... 8­) 

   

I am a very happyyy person.... 8­) 

   

Convert smileys

   

@raju is a very happyyy person.... :) 

   

@raju is a very happyyy person.... :) 

   

@sachin is a very happyyy person.... :) 

   

@sachin is a very happyyy person.... :) 

   

@raju @sachin is a very happyyy person.... :) 

   

Getting huge data

Collecting useful data

Pre Processing

   

This is f**king sHittt.I hate you  :) 

   

This is f**king sHittt.I hate you  :) 

   

This is s**r .Are you are watching star plus :D 

   

This is s**r .Are you are watching star plus :D 

   

 Don't worry about everything

   

Regex                                    ­ Test before you run

   

Get Large Data

Filter to Useful Data

Clean

   

Get Large Data

Filter to Useful Data

Clean Data Munging

20%

   

   

Ask questions

   

 +ve (or) ­ve ?

   

???

   

   

Magic Box

Inputdata

   

Magic Box

Inputdata

   

Data modeling 60%

   

   

Computer is dumb machine

   

HeHe what's that??

1 0 machine

   

We need to tag words

   

Assign numbers to text

   

   

Worry about adjectives first

   

Awesome 4

     Ugly        ­3

      Why         0

Scores.txt

Data

Sentiment

   

Less accurate why?

   

Most words are ignored

   

What's the solution?

   

   

TF­IDF

   

Normal Tf­Idf = Tf * Idf

Slightly modified

Tf = score           Idf=update count

   

Awesome 4

     Ugly        ­3

      good        2

Scores.txt

Data

Sentiment

Fun 2.014  5

 Soft 2.92      

           

20

Dynamic.txt

   

How do we know, if it's correct?

   

   

Testing accuracy

   

Mixed sentences

   

I hate facebook, but I love twitter

   

I hate facebook, but I love twitter

   

I hate rahul #politics, but I love modi :) 

   

I hate rahul #politics, but I love modi :) 

   

   

Closest possible one is pos

   

   

I hate facebook, but I love twitter

   

I hate facebook, but I love twitter

arg1 arg2 arg3 arg4Key Word

   

Main word+

Args

Tagger+

PatternPolarity

   

Problems with this model

   

   

Training data 

Processing speed 

   

I hate facebook, but I love twitter

Twitter

I love 

output

   

I hate facebook, but I love twitter

facebook

I hate 

output

   

Problems with this model?

   

Sarup is a tech Enthusiast.He has a great taste in music. He is not only a designer 

but also startup minded.

Sarup

is a tech Enthusiast

   

Co reference Resolution 

   

Problems with using stanford nlp 

   

   

We are designing our own co reference model

   

Problems?

   

   

Thank you