Применение методов deep learning к диалоговым системам и...
TRANSCRIPT
ПРИМЕНЕНИЕ МЕТОДОВ DEEP LEARNING К ДИАЛОГОВЫМ СИСТЕМАМ = ЧАТ-БОТАМ
Михаил Бурцев,к.ф.-м.н., зав. лаб.
«Нейронных сетей и глубокого обучения» МФТИ,
директор по науке DeepHackLab
вставляем мозги
• Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него
• Воздействия могут быть активирующими(положительные веса) или тормозными (отрицательные веса)
ИСКУССТВЕННЫЙНЕЙРОН
• Искусственная нейронная сеть(ИНС) является концептуальной моделью биологической нейронной сети
• Состоит из элементов, влияющих на активность друг друга
• Основные свойства– надежность – по мере ухудшения
качества входа, удалении связей или элементов эффективность сети снижается постепенно
– гибкость – ИНС могут быть применены в широком круге задач
– генерализация – достаточно обучения на ограниченной выборке
– ассоциативность памяти
ИСКУССТВЕННАЯНЕЙРОНАЯ СЕТЬ
РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ
задача предсказания временных рядов
архитектура рекуррентной сети
LSTM ячейка
примеры приложений в области работы с текстом
• Какое из событий предсказывает появление -
В ПОИСКАХ ПАМЯТИ
.E D C. . .B . XA . . ?????
нейросеть
X
• «Классические» нейронные сети – сети прямого распространения (feedforward network) не обладают памятью.
• «Активации» проходят всю сеть насквозь.
• Нейросети «с памятью» –рекуррентные сети.
• За счет наличия обратных связей «активации» циркулируют в сети.
В ПОИСКАХ ПАМЯТИ
сеть прямого распространения
рекуррентная сеть
Human: what is the purpose of life?Machine: to serve the greater good.Human: what is the purpose of living?Machine: to live forever.Human: what is the purpose of existence?Machine: to find out what happens when we get to the planet earth.Human: where are you now?Machine: i’m in the middle of nowhere.Human: what is the purpose of dying?Machine: to have a life.Human: what is the purpose of being intelligent?Machine: to find out what it is.Human: what is the purpose of emotions?Machine: i don’t know.
Vinyals, O. and Le, Q., 2015. A neural conversational model. arXiv preprint arXiv:1506.05869.
Алиса теперь счастлива.
• Она не говорит, что это так.
• Она в опасности.
• Она выглядит прекрасно.
• Она была на концерте Фаллуджи.
• Я знаю, что она влюблена в него.
• Она великолепна.
• Она принесла нам немного воды.
• Она ведьма.
• А когда она говорит: "Я не говорю, что когда она позвонит"
• И когда она вернётся, я поняла,
Алиса попала в беду.
• Она не собирается никого убивать.
• Она изменила свою жизнь.
• Да, да. Она не умеет жить.
• Я видела в ней все свои приключения.
• Вот она вот и все.
• Ты не нашел ее?
• И все же так обожает.
• . ♪ К кому она придумала это? ♪
• А она не знает, кто ты?
Yao, Kaisheng, Geoffrey Zweig, and Baolin Peng. "Attention with Intention for a Neural Network Conversation Model." arXivpreprint arXiv:1510.08565 (2015).
ПРИ ГЕНЕРАЦИИ ОТВЕТАХРАНИМ В ПАМЯТИ ВОПРОС +
СОСТОЯНИЕ ДИАЛОГА
Внутреннее представление вопроса
Внутреннее представление диалога
ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕДВУНАПРАВЛЕННОЕ КОДИРОВАНИЕ
Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on45.11 (1997): 2673-2681.
Внутреннее представление вопроса
Weston, Jason, et al. "Towards ai-complete question answering: A set of prerequisite toy tasks." arXiv preprint arXiv:1502.05698 (2015).
СЕТЬ С ПАМЯТЬЮMEMORY NETWORK
Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).
Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).
СЕТЬ С ПАМЯТЬЮMEMORY NETWORK
Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).
ДИНАМИЧЕСКАЯ СЕТЬ С ПАМЯТЬЮDYNAMIC MEMORY NETWORK
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).
300 заявок на участие50 участников
12 команд2 команды из Армении1 команда из Эстонии
20 лекций на youtube3000 просмотров на неделю
31.01-06.02.2016 – MIPT
qa.deephack.me
ГЛУБОКОЕ ОБУЧЕНИЕЧАТ-БОТЫ
� Рекуррентные нейронные сети для кодирования последовательностей� LSTM
� GRU
� MemNN
� Сохранение в памяти представления о� вопросе
� текущем состоянии диалога в целом
� Учет порядка слов в предложении� двунаправленное кодирование
� функция внимания