modern approaches to natural language processing
TRANSCRIPT
Modern Approaches to Natural Language Understanding
Jiří Materna, Head of Research, Seznam.cz
DataPivo, Brno, June 3, 2015
www.seznam.cz @JiriMaterna
www.seznam.cz
Co-occurrence Analysis – LSA(I), LDA, HDP, …
@JiriMaterna
www.seznam.cz
Presidential Speeches
@JiriMaterna
www.seznam.cz
Deep Learning
@JiriMaterna
www.seznam.cz
Autoencoders
@JiriMaterna
www.seznam.cz
Deep Networks
@JiriMaterna
www.seznam.cz
Word2Vec
@JiriMaterna
Mikolov et al., 2013
www.seznam.cz
Linguistic Regularities
@JiriMaterna
Mikolov et al., 2013
www.seznam.cz
DeViSE: A Deep Visual-Semantic Embedding Model
@JiriMaterna
Frome et al., 2013
www.seznam.cz
Image recognition
@JiriMaterna
Vinyals et al., 2015
www.seznam.cz
Recurrent Neural Networks
@JiriMaterna
www.seznam.cz
Long Short-Term Memory
@JiriMaterna
Hochreiter and Schmidhuber, 1997
www.seznam.cz
Generating Shakespeare
@JiriMaterna
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
www.seznam.cz
Generating Math in LaTeX
@JiriMaterna
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
www.seznam.cz
Generating Linux Source Code
@JiriMaterna
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
www.seznam.cz
Neural Turing Machines
@JiriMaterna
Graves et al., 2014
www.seznam.cz
Learning a Sorting Algorithm
@JiriMaterna
Graves et al., 2014
www.seznam.cz
Rely on data
@JiriMaterna
www.seznam.cz
We are hiring researchers
@JiriMaterna
Brno Business park
www.seznam.cz
Jiří Materna
Twitter: @JiriMaterna
www.mlguru.cz
Thank you for your attention.
@JiriMaterna