深度学习笔记

[TOC]

第一天：

4 小时的深度学习盛宴

主持人：Andrew Ng吴恩达

https://www.youtube.com/watch?v=eyovmAtoUx0

http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719393&idx=2&sn=22daaa88f7737c21587ba1e8bb217af7&chksm=871b00dfb06c89c92a1cac99880d347d9169368eea2a239df5ed26f58ddb9d5a4fe07af02aee&scene=21#wechat_redirect

第一位演讲者：Hugo Larochelle（Twitter 研究科学家，舍布鲁克大学助理教授）

他的演讲主题是《前馈神经网络简介（Introduction to Feedforward Neural Networks）》

第二位演讲者：Andrej Karpathy（谷歌 DeepMind 研究科学家，不久之前刚在斯坦福大学完成了自己的博士学位）

他的演讲主题是《用于计算机视觉的深度学习（Deep Learning for Computer Vision）》

第三位演讲者：Richard Socher（MetaMind 创始人兼 CEO/CTO，2016 年 Salesforce 收购了 MetaMind 后，他成为了 Salesforce 的首席科学家）

他的演讲主题是《用于自然语言处理的深度学习（Deep Learning for NLP）》。

简介：我将讲解深度学习用于自然语言处理时的基础知识：词向量、循环神经网络、受语言学影响的任务和模型。最后，我将讲解一下将这些模型像乐高一样放到一起，产生被称为动态记忆网络的强大深度架构。

第四位演讲者：Sherry Moore（谷歌工程师，根据其 LinkedIn 介绍，她擅长「现代处理器架构、企业服务器架构、固件开发和操作系统开发；具有非常好的硬件和软件调试技能」。）

她的演讲主题是《TensorFlow Tutorial》。

第五位演讲者：Ruslan Salakhutdinov（卡内基梅隆大学计算机科学学院机器学习系副教授，主要研究领域是统计机器学习。）

他的演讲主题是深度无监督学习的基础（Foundations of Deep Unsupervised Learning）。

在此教程中，我将讨论许多流行的无监督学习的数学基础，包括稀疏编码、自动编码器、受限玻尔兹曼机（RBM）、深度玻尔兹曼机和变分自编码器。我将进一步证明在视觉物体识别、信息检索和自然语言处理应用中，这些模型能够从高维数据中提取有用的层级表征。最后，如果时间允许，我将简要讨论下能对图像生成自然语言描述的模型，以及使用注意力机制从描述中生成图像的模型。

第六位演讲者：吴恩达（百度首席科学家；Coursera 联合主席兼联合创始人；斯坦福大学客座教授）

他的演讲主题是《Visionary Lecture》，吴恩达的演讲没有 PPT，直接板书。

第二天：

https://www.youtube.com/watch?v=9dXiAecyJrY

http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719442&idx=1&sn=ff9f8412f08dbb8e52cb1fdb748e5a4e&chksm=871b00acb06c89ba46582fe5c481a5bc93a69cca5e1eb9f0d86d03db99cb9db3b1c8fdaabde4&scene=1&srcid=092660FGFS96T6aIXG9i1pI0#rd

第一位演讲者：John Schulman（OpenAI 研究科学家）

演讲主题：策略梯度和 Q-学习：上升到力量、对抗和统一（Policy Gradients and Q-Learning: Rise to Power, Rivalry, and Reunification）

第二位演讲者：Patrice Lamblin

演讲主题：Theano 教学（Theano Tutorial）

第三位演讲者：Adam Coates（百度硅谷人工智能实验室（Silicon Valley AI Lab）主任）

演讲主题：用于语音的深度学习（Deep Learning for Speech）

第四位演讲者：Alex Wiltschko（Twitter 的 Advanced Technology 部门的研究工程师，Whetlab 联合创始人）

演讲主题：Torch 教学（Torch Tutorial）

第五位演讲者：Quoc Le（谷歌研究科学家，博士导师是吴恩达教授）

演讲主题：用于自然语言处理和语音的序列到序列学习（Sequence to Sequence Learning for NLP and Speech）

第六位演讲者：Yoshua Bengio

演讲主题：深度学习的基础和挑战（Foundations and Challenges of Deep Learning）