Погружение в deep learning
TRANSCRIPT
Погружение в Deep Learning
образовательные траектории в области глубокого нейросетевого обучения
deephacklab.com | [email protected]
Почему интересен Deep Learning?
Это наукоемкое и интересное направление, которое позволяет создавать невероятные
инновационные системы и решать классические задачи по-новому
Это направление, в котором можно долго развиваться: создавать компании, системы,
заниматься исследованиями
Абитуриенты/Студенты Профессионалы Интересующиеся
Аудитория
Стратегия изученияЗнания и навыки должны быть связаны с
решаемыми задачами или долгосрочными целями
Программист/Data Scientist
Менеджер/Бизнесмен
Исследователь
deephacklab.com | [email protected]
Почему интересен Deep Learning?
deephacklab.com | [email protected]
deephacklab.com | [email protected]
Официальное образованиеВ России (в Москве)
За рубежом
Прикладные программы от профильных компаний:Yandex – Школа Анализа Данных, https://yandexdataschool.ru/aboutMail.ru – Техносфера, https://sphere.mail.ru/pages/index/
Магистерские программыНИУ ВШЭ – Науки о данных - http://www.hse.ru/ma/datasci/МФТИ - Анализ данных («Яндекс») - https://mipt.ru/education/chairs/da/education/masters/
Аспирантура (PhD) – единственная программа, которая прямо говорит о Deep LearningComputer Vision Group at Skolkovo Institute of Science and Technology (Skoltech) -http://sites.skoltech.ru/compvision/
University of Oxford University of TorontoUniversity of Cambridge Université de MontréalStanford University New York UniversityCarnegie Mellon University UC Berkeley
Все ведущие эксперты в DL работают за рубежом. Правильный выбор программы должен идти отинтересующей вас профильной области исследований и выбора руководителя, который работает в даннойобласти (бренд университета вторичен)
deephacklab.com | [email protected]
Потенциально необходимые части
ТеорияМашинное обучение
https://www.coursera.org/learn/machine-learningНейронные сети
https://www.coursera.org/course/neuralnetsDeep Learning courses
http://eclass.cc/courselists/117_deep_learningМашинное обучение от ШАД Яндекса
https://yandexdataschool.ru/edu-process/courses/machine-learning
Видео от Техносферыhttps://sphere.mail.ru/materials/video/
ЖелезоРуководство по сборке компьютера
для DLhttps://timdettmers.wordpress.com/2015/03/09/deep-learning-hardware-guide/
СофтMicrosoft Azure ML (.NET)
http://azure.microsoft.com/ru-ru/services/machine-learning/R
http://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-
data/learning-path-r-data-science/Python
http://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-
data/learning-path-data-science-python/Deep Learning Libraries by Language
http://www.teglor.com/b/deep-learning-libraries-language-cm569/
Machine and Deep Learning with Pythonhttps://github.com/szwed/awesome-machine-learning-
pythonLinux and BASH
https://www.edx.org/course/introduction-linux-linuxfoundationx-lfs101x-2
http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html
ПрактикаКонкурсы Kaggle
https://www.kaggle.com/Как начать участвовать в Kaggle?
http://www.analyticsvidhya.com/blog/2015/06/start-journey-kaggle/
Прочие соревнованияhttps://herox.com/CognitiveComputi
nghttp://www.kdnuggets.com/competit
ions/http://opendatacontest.ru/
Интересное Вам направлениеРаспознавание образов
Распознавание звукаОбучение с подкреплением и робототехника
Обработка текста (Q&A, NLP и т.п.)и др. или область Вашей деятельности
http://arxiv.org/
Academic writingКак написать отличную исследовательскую статью
http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/writing-a-paper-slides.pdf
Writing in the Scienceshttps://www.coursera.org/course/sciwrite
ЯзыкЗнание английского языка и
профессиональной терминологии на уровне, как минимум, достаточном
для чтения и восприятия информации с видео/в разговоре
deephacklab.com | [email protected]
Источники информации
Подписки новостейDeep Learning News
http://news.startup.ml/Machine Learning Newsletter
http://www.mln.io/MIT Technology Review
(соответствующая тематика)http://www.technologyreview.co
m/Kurzweil AI
http://www.kurzweilai.net/
Социальные сетиМеждународное сообщество
https://plus.google.com/u/0/communities/112866381580457264725
Русскоязычное сообществаhttps://vk.com/deeplearninghttps://vk.com/datascience
https://vk.com/datamininglabsFacebook
https://www.facebook.com/andrew.ng.96https://www.facebook.com/yann.lecun
Twitterhttps://twitter.com/mlnio
https://twitter.com/AndrewYNghttps://twitter.com/ylecun
https://twitter.com/rsalakhuhttps://twitter.com/karpathy
https://twitter.com/stanfordnlphttps://twitter.com/googleresearch
Блогиhttp://ailev.livejournal.com/
http://igorsubbotin.blogspot.ru/
https://timdettmers.wordpress.com/http://colah.github.io/
http://karpathy.github.io/
Книги, статьи, тьюториалыNeural Networks and Deep Learning
http://neuralnetworksanddeeplearning.com/Deep Learning
http://www.iro.umontreal.ca/~bengioy/dlbook/Free Data Science Books
http://www.learndatasci.com/free-books/?mailchimp_signup=1
McKinsey Quarterly - An executive’s guide to machine learning
http://www.mckinsey.com/Insights/High_Tech_Telecoms_Internet/An_executives_guide_to_machine_learning
Panel Discussion at DL Workshop @ICML 2015https://sites.google.com/site/deepernn/home/blog/briefs
ummaryofthepaneldiscussionatdlworkshopicml2015
Tutorial from Ruslan Salakhutdinovhttp://videolectures.net/kdd2014_salakhutdinov_deep_le
arning/Deep Learning Tutorial
http://deeplearning.net/tutorial/Лучшие релевантные видео с YouTube по ML, NN, DL
http://www.analyticsvidhya.com/blog/2015/07/top-youtube-videos-machine-learning-neural-network-deep-
learning/
Обзорные спискиReading lists for new MILA students
https://docs.google.com/document/d/1IXF3h0RU5zz4ukmTrVKVotPQypChscNG
f5k6E25HGvA/edit?usp=sharingLearning Deep Learning
http://rt.dgyblog.com/ref/ref-learning-deep-learning.html
Deep Learning Resourceshttp://www.jeremydjacksonphd.com/?p
=28Neural networks papers
https://github.com/robertsdionne/neural-network-papers#distributed-
computingОсновной тематический сайт
http://deeplearning.net/
deephacklab.com | [email protected]
Образовательная траектория абитуриента/студента
Уровень Действия
Базовый
1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей4. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях
одного из простых конкурсов Kaggle5. Выбрать интересующее вас направление в Deep Learning
Продвинутый
1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения3. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на
нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов5. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,
Deep Learning6. Приобрести необходимое железо для Deep Learning/найти подходящие для студентов, открытые, доступные
программы доступа к облачным вычислительным мощностям
Эксперт
1. Поступить на профильную магистратуру/прикладную программу, закончить её2. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science3. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе4. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению
deephacklab.com | [email protected]
Образовательная траектория профессионала - исследователя
Уровень Действия
Базовый
1. Достичь уровня английского языка не ниже Advanced2. Выбрать интересующее вас направление в Deep Learning3. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на
нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов5. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio, Ruslan
Salakhutdinov, Volodymyr Mnih, David Silver, Alex Graves6. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки7. Познакомиться с профессионалами/учеными из профильной области/принимать участие во встречах,
конференциях по Data Science, Deep Learning8. Приобрести необходимое железо для Deep Learning/найти подходящие для исследователей, открытые,
доступные программы доступа к облачным вычислительным мощностям
Продвинутый
1. Освоить навыки академического письма на английском языке2. Поступить на профильную магистратуру/аспирантуру (PhD)/прикладную программу, закончить её3. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению4. Присоединиться к существующим профильным лабораториям/научным группам по Deep Learning/Анализу
данных5. Написать и опубликовать 1-2 тематические статьи
Эксперт
1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM, Microsoft и т.п.)
2. Устроиться в качестве постдока к одному из ведущих зарубежных исследователей в области Deep Learning3. Выступить с докладом на одной из международных конференций по машинному обучению/Deep Learning4. Регулярно посещать международные конференции по Deep Learning
deephacklab.com | [email protected]
Образовательная траектория профессионала –программиста/Data Scientist-а
Уровень Действия
Базовый
1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей4. Выбрать интересующее вас направление в Deep Learning5. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на
нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов6. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio7. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки8. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,
Deep Learning9. Приобрести необходимое железо для Deep Learning/найти открытые, доступные программы доступа к
облачным вычислительным мощностям
Продвинутый
1. Поступить на профильную прикладную программу, закончить её2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения3. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science4. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе
Эксперт1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM,
Microsoft и т.п.)2. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению
deephacklab.com | [email protected]
Образовательная траектория профессионала –менеджера/бизнесмена
Уровень Действия
Базовый
1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей3. Понять как можно было бы использовать технологии Deep Learning на текущем месте работы, в бизнесе
Полезно, но опционально1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях
одного из простых конкурсов Kaggle
Продвинутый
1. Реализовать 1-2 проекта по анализу данных в своей организации с использованием технологий Deep Learning2. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки3. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,
Deep Learning4. Мониторить прикладные решения на основании технологий искусственного интеллекта в собственной бизнес
области5. Узнать траекторию развития технологий на 5-10 летнем горизонте в собственной бизнес области/области
искусственного интеллекта (например, ознакомившись с результатами аналитических агенств, таких как Gartner, или с результатами тематических форсайтов)
Эксперт
1. Основать стартап, чтобы использовать технологии Deep Learning на регулярной основе2. Организовать/спонсировать мероприятие по Deep Learning, чтобы познакомиться со всеми ведущими
учеными/профессионалами в этой области в стране3. Вступить в членство одного из сообществ в рамках направления Нейронет Национальной Технологической
Инициативы РФ4. Регулярно посещать международные конференции по Deep Learning
deephacklab.com | [email protected]
Образовательная траектория интересующегося
Уровень Действия
Базовый1. Достичь уровня английского языка не ниже Intermediate по reading, listening2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей
Продвинутый1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки2. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,
Deep Learning
Эксперт1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях
одного из простых конкурсов Kaggle
deephacklab.com | [email protected]
Мысли про будущее
Искусственный интеллект
Machine Intelligence Research Institute
https://intelligence.org/
Future of Life Institutehttp://futureoflife.org/
Безопасность ИИ
Часть 1: Путь к сверхинтеллекту - http://hi-news.ru/research-development/iskusstvennyj-intellekt-chast-pervaya-put-k-sverxintellektu.htmlЧасть 2: Вымирание или бессмертие - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-vtoraya-vymiranie-ili-bessmertie.htmlЧасть 3: Почему он может стать нашим последним изобретением - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-tretya-pochemu-on-mozhet-stat-nashim-poslednim-izobreteniem.html
По оценкам различных экспертов в ближайшие 10-20 лет 80-90% существующих работ будут выполняться
роботами/программамиThe wonderful and terrifying implications of computers that can learn
http://www.ted.com/talks/jeremy_howard_the_wonderful_and_terrifying_implications_of_computers_that_can_learnWho Will Own the Robots?
http://www.technologyreview.com/featuredstory/538401/who-will-own-the-robots/
Последствия для рынка труда
Список проектов, получивших финансирование от Илона Маска
http://futureoflife.org/AI/2015awardees