ЧТО ТАКОЕ ГЛУБОКОЕ ОБУЧЕНИЕ?

ГЛУБОКИЙ ИНТЕРЕС К ГЛУБОКОМУ ОБУЧЕНИЮ

Компания Продукты

Google §  Google Brain §  Google DeepMind

ü  Распознавание речи в Google Now

ü  Классификация изображение в Google Photos и Google+

Facebook §  Facebook AI Research

ü  Поиск людей на фото в Facebook ü  Персональный помощник

M в Messenger

Baidu §  Baidu Institute of

Deep Learning

ü Поиск изображений в Baidu ü Мобильное медико-диагностическое приложение AskADoctor

Microsoft §  Deep Learning

Technology Center

ü Поиск изображений в Bing ü Онлайн перевод устной речи в Skype

IBM §  Watson §  Cortical Learning Center

ü  Часть продукта Watson (система искусственного интеллекта)

ü  Alchemy API

Apple ü  SIRI

МОЗГ САМЫЙ СЛОЖНЫЙ ИЗ ИЗВЕСТНЫХ

ОБЪЕКТОВ

•  Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него

•  Воздействия могут быть активирующими (положительные веса) или тормозными (отрицательные веса)

ИСКУССТВЕННЫЙ НЕЙРОН

–  генерализация – достаточно

выборке –  ассоциативность памяти •  Состоит из элементов, влияющих на активность друг друга

•  Основные свойства –  надежность – по мере ухудшения качества входа, удалении связей или элементов эффективность сети снижается постепенно

–  гибкость – ИНС могут быть применены в широком круге задач

–  генерализация – достаточно обучения на ограниченной выборке

–  ассоциативность памяти

ИСКУССТВЕННАЯ НЕЙРОНАЯ СЕТЬ

• Мозг человека – сеть из 80 миллиардов нейронов

• Искусственные нейронные сети (ИНС) – класс биологически инспирированных алгоритмов, обрабатывающих информацию сетью из примитивных вычислительных элементов.

•  Для получения необходимой функциональности нейросети автоматически обучаются на имеющихся данных, а не программируются в ручную.

•  Глубокое обучение – эффективная технология построения многослойных нейросетевых архитектур, и их приложения в широком классе задач.

ЧТО ТАКОЕ ГЛУБОКОЕ ОБУЧЕНИЕ?

СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ

КЛАССИФИКАЦИЯ И СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЙ

РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ

РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ

Распознавание речи

94% точность распознавания даже на интонационно зависимых языках (китайский) [1]

Обработка естественного языка

97.56% точность определения частей речи [2] 86.8% точность определения оттенка предложения [3]

Вопросно-ответные системы

93.3% точность ответов на отраслевых бенчмарках [4]

Машинный перевод

36.15% близость к профессиональному человеческому переводу [5]

Ведение диалога

предсказание следующего слова в 2 раза точнее существующих решений [6]

1. Andrew Y. Ng et al. (2014), Deep Speech: Scaling up end-to-end speech recognition, http://arxiv.org/abs/1412.5567 2. Kumar A. et al. (2015), Ask Me Anything: Dynamic Memory Networks for Natural Language Processing, http://arxiv.org/abs/1506.07285 3. Blunsom P.,,Grefenstette E., Kalchbrenner N. (2014), A Convolutional Neural Network for Modelling Sentences, The 52nd Annual Meeting of the Association for Computational Linguistics 4. J. Weston, A. Bordes, T. Mikolov et al. (2015), Towards ai-complete question answering: A set of prerequisite toy tasks, http://arxiv.org/abs/1502.05698 5. Bengio Y., Cho K., Bahdanau D. (2015), Neural Machine Translation by Jointly Learning to Align and Translate, International Conference on Learning Representations 2015 6. Vinyals O., Le Q. (2015), A Neural Conversational Model, http://arxiv.org/abs/1506.05869

ОПИСАНИЕ ИЗОБРАЖЕНИЙ И ВИДЕО

Было 3 года назад (NLP) Сегодня (Deep Learning)

300 заявок на участие 50 участников

12 команд

2 команды из Армении 1 команда из Эстонии

20 лекций на youtube

3000 просмотров на неделю

НЕЙРОУПРАВЛЕНИЕ

•  В начале 2015 года журнал Nature выходит с обложкой по глубокому обучению. В номере опубликована статья в которой показано, что глубокое обучение с подкреплением позволяет обучиться играть в компьютерные игры не зная правил заранее лучше человека.

•  Google покупает за $600М стартап авторов статьи Deep Mind.

•  Данный результат открывает качественно новые области для применения глубокого обучения в задачах управления, искусственного интеллекта и робототехники.

НЕЙРОУПРАВЛЕНИЕ

НЕЙРОУПРАВЛЕНИЕ

НЕЙРОУПРАВЛЕНИЕ

Статистическая обработка данных

–  высокие трудозатраты на разработку специализированной системы обработки данных

–  сложность адаптации к меняющейся структуре данных

–  низкая эффективность обработки и хранения данных

Глубокое обучение нейронных сетей

ü  низкие трудозатраты за счет универсальности алгоритмов

ü  легкость адаптации при изменении структуры данных

ü  ценная информация ü  больше данных – выше качество

данные

информация ИНФОРМАЦИЯ данны

е

ПРЕИМУЩЕСТВА ГЛУБОКОГО ОБУЧЕНИЯ

распознавание устной речи

анализ изображений

анализ видео

анализ и предсказание поведения

обработка текстов

машинный перевод

ВОЗМОЖНОСТИ ГЛУБОКОГО ОБУЧЕНИЯ

ОБЛАСТИ ПРИМЕНЕНИЯ ГЛУБОКОГО ОБУЧЕНИЯ

Производство

ü  Робототехнические решения ü Системы управления производством

ü  Управление ресурсами ü Поиск аномалий/брака ü Предсказание оптимального времени и состава ТО

Нефть и газ

ü Поиск природных ресурсов ü Составление рекомендаций по снижению потерь при добыче

Финансовые услуги

ü  Роботы для торговли на бирже

ü Оптимизация инвестиционных портфелей

ü  Выявление мошенничеств ü Повышение продаж и снижение оттока клиентов

Сельское хозяйство

ü Мониторинг состояния почвы, растений, количества испаряемой воды по снимкам

ü Составление рекомендаций по проведению работ

Безопасность

ü Обнаружение аномалий и угроз

ü  Защита киберфизических систем

Ритейл ü Предсказание поведения покупателей

ü Оптимизация логистики

Медиа

ü  Анализ и генерация контента ü  Защита интеллектуальной собственности для видео и изображений

Образование

ü  Автоматическое составление индивидуальных образовательных траекторий

ü  Генерация новых заданий

Юридические услуги

ü Поиск релевантных дел ü  Анализ контрактов и составление резюме

Медицина

ü Обработка МРТ, рентгеновских снимков

ü Составление диагнозов на основе данных диагностики

Транспорт

ü  Логистика ü Навигация

от BIG DATA к DEEP LEARNING

глубокое обучение делает большие данные

осмысленными побеждается

СЛОЖНОСТЬ СЛОЖНОСТЬЮ

Neural Networks and Deep Learning Lab