注：封面画师：新雨林-触站
说明
- 本页面无手机端适配，强制缩放阅读。
- 使用纯html格式，保存教学用ppt，添加了部分个人笔记。
- 目录工作正常，可以跳转。
深度学习概述
深度学习概述
引入
深度学习巨大影响
人工智能划时代事件
什么是深度学习
深度神经网络
深度学习与机器学习的关系
深度学习的定义
深度学习的特点
深度学习的应用
深度学习的优点
深度学习的缺点
深度学习与机器学习对比
课程内容与特点
为什么要学习深度学习
深度学习发展史
深度学习的特点
深度学习的应用
课程内容
课程特点
学习资源推荐
深度学习发展简史
深度网络演化过程
引入
知
识
讲
解
人工智能划时代事件
• 2016年3月，Google公司研发的AlphaGo以
4:1击败世界围棋顶级选手李世石。次年，
AlphaGo2.0对战世界最年轻的围棋四冠王柯洁，
以3:0击败对方。背后支撑AlphaGo具备如此强
大能力的，就是“深度学习”（Deep
Learning）。
• 一时间，“深度学习”这个本专属于计算机学
科的术语，成为包括学术界、工业界、风险投
资界等众多领域的热词。
知
识
讲
解
深度学习巨大影响
• 除了博弈，深度学习在计算机视觉（computer vision）、语音识别、自
动驾驶等领域，表现与人类一样好，甚至有些地方超过了人类。
2013年
，
深度学习就被麻省理工学院的《MIT科技评论》
评为世界10大突破性技术
之一。
• 深度学习不仅是一种算法升级，还是一种全新的思维方式，它的颠覆性在
于，将人类过去痴迷的算法问题，演变成数据和计算问题，
以前“算法为
核心竞争力”正在转换为“数据为核心竞争力”
。
深度学习的定义
知
识
讲
解
什么是深度学习
• 简单来说，
深度学习就是一种包括多个隐含层（越多即为越深）的
多层感知机。它通过组合低层特征，形成更为抽象的高层表示，用
以描述被识别对象的高级属性类别或特征。
能自生成数据的中间表
示（虽然这个表示并不能被人类理解），是深度学习区别于其它机
器学习算法的独门绝技。
• 所以，深度学习可以总结成：
通过加深网络，提取数据深层次特征
知
识
讲
解
深度神经网络
• 深度神经网络（及其变种）是深度学习中心模型
知
识
讲
解
深度学习与机器学习的关系
• 人工智能学科体系
知
识
讲
解
深度学习与机器学习的关系（续）
• 人工智能、机器学习、深度学习三者的关系，可以认为深度学习是
机器学习的“高级阶段”
人
工
智
能
机
器
学
习
深
度
学
习
深度学习的特点
知
识
讲
解
深度学习的特点
• 优点
Ø 性能更优异
Ø 不需要特征工程
Ø 在大数据样本下有更好的性能
Ø 能解决某些传统机器学习无法解决的问题
• 缺点
Ø 小数据样本下性能不如机器学习
Ø 模型复杂
Ø 过程不可解释
知
识
讲
解
深度学习的优点
• 性能更优异
下图是历年ImageNet大规模视觉识别挑战（ILSVRC）的分类精度，其中蓝色是传统
机器学习方法，其它为深度学习方法。2015年比赛成绩，识别率超过了人类
知
识
讲
解
深度学习的优点（续1）
• 性能更优异
在语音识别领域，进入深度学习时代
后，识别率有了明显的提高
Ø
2015 Google：错误率8％
Ø
IBM Watson智能系统：错误率
6.9％
Ø
2016年9月 微软：错误率6.3％
近20年来语音识别错误率的下降趋势图
知
识
讲
解
深度学习的优点（续2）
• 优点2：不需要特征工程
传统机器学习需要人进行特征提取（特征工程），机器性能高度依赖
于特征工程的质量。在特征很复杂的情况下，人就显得无能为力。
而
深度学习不需要这样的特征工程，只需将数据直接传递给深度学习网
络，由机器完成特征提取。
知
识
讲
解
深度学习的优点（续3）
• 深度学习在大样本数据下有更好的性能和扩展性
数据量
性能
传统机器学习
小型神经网络
中型神经网络
大型神经网络
知
识
讲
解
深度学习的优点（续4）
• 深度学习能解决传统机器学习无法解决的问题（如深层次
特征提取）
知
识
讲
解
深度学习的缺点
• 深度学习在小数据上性能不如传统机器学习
• 深度学习网络结构复杂、构建成本高
• 相比传统机器学习，深度学习可解释性较差
知
识
讲
解
深度学习与传统机器学习对比
• 相同点
Ø
目的相同：都是利用机器自我学习能力，解决软件系统的难题
Ø
基本问题相同：回归问题、分类问题、聚类问题
Ø
基本流程相同：数据准备 --> 模型选择 --> 模型构建/训练 --> 模型评估 --> 预测
Ø
问题领域相同
ü
样本是否有标签：监督学习、非监督学习、半监督学习
ü
应用领域：推荐引擎、计算机视觉、自然语言处理、强化学习
Ø
评价标准相同
Ø
回归问题：均方误差；R2值
Ø
分类问题：交叉熵；查准率、召回率、F1综合系数
Ø
模型泛化能力：过拟合、欠拟合
知
识
讲
解
深度学习与传统机器学习对比（续）
比较项
传统机器学习
深度学习
特征提取
人提取特征（特征工程）
模型提取特征
性能（准确度/精度）
低
高
可解释性
强
弱
训练数据
小
大
模型结构
简单
复杂
• 不同点
知
识
讲
解
为什么要学习深度学习
• 深度学习具有更强的解决问题能力（例如图像识别准确率明显超过
机器学习，甚至超过了人类）
• 掌握深度学习具有更强的职业竞争力
• 深度学习在行业中应用更广泛
深度学习的应用
知
识
讲
解
深度学习的应用
• 照片上色
老照片上色
知
识
讲
解
• 换脸
人脸更换
深度学习的应用（续1）
知
识
讲
解
• 图像风格转换
生成毕加索、梵高、莫奈风格的蒙娜丽莎
深度学习的应用（续2）
知
识
讲
解
深度学习的应用（续3）
• 虚拟主播
采用语音图像合成技术虚拟的新闻主播
知
识
讲
解
深度学习的应用（续4）
• 声音模仿
机器模仿歌星声音
知
识
讲
解
深度学习的应用（续5）
图像分类
人脸识别
自动驾驶
机器博弈
自然语言处理
机器人
语音处理
图像迁移
课程内容与特点
知
识
讲
解
知
识
讲
解
课程特点
• 概念术语多，理论复杂，学习曲线陡峭，需要长期、反复学习、
理解、体会、实践
• 需要部分数学知识（记住结论、会使用API、理解公式、推导
过程）
• 案例复杂度高
• 与传统程序差异较大
知
识
讲
解
学习资源推荐
张玉宏 电子工业出版社
斋藤康毅 工信出版社
Ian Goodfellow、Yoshua
Bengio、Aaron Courville
工信出版社
知
识
讲
解
学习资源推荐（续）
• 吴恩达深度学习视频：
https://www.bilibili.com/video/av49445369?p=1
• 西瓜视频：搜索“浙江大学研究生机器学习课程”
深度学习发展史
知
识
讲
解
深度学习发展简史
• 从1940年起，首先提出了MP模型（McCulloch和Pitts提出的人工神经元
的简易数学模型）Hebb(海布)学习规则.这是神经网络的起源，也奠定了神
经网络的基础模型。
• 1960年，提出了感知机模型，感知机模型可以对简单的数据节点进行分类，
这个发现引起了第一波的AI浪潮，因为人们认为简单的感知机可以实现分
类功能，那通过组合可以实现更复杂的功能，但后面发现感知机无法模拟
异或运算，无法处理非线性的问题，第一波浪潮就这样沉入了低谷。
知
识
讲
解
深度学习发展简史（续1）
• 1980年Hopfiled网络，Boltzmann机和BP算法的提出，人们发现
可以增加网络的深度来实现非线性的功能，所以开始了第二次浪潮。
但是在80年代，计算机的计算能力十分有限，很难训练出一个有效
的模型来使用，所以导致了这种方式始终处于鸡肋的状态。再加上
同一时期浅层方法的成功，如SVM(1995)， 使得人们转为研究浅
层的方法。
• 1998年CNN被提出，也应用到了邮政局的邮政编码识别，但是因
为当时并不重视这种深度网络，导致并没有火起来。
知
识
讲
解
深度学习发展简史（续2）
• 2006年，Hinton提出了DBN（深度信念网络），解决了更深层次
的网络是可以通过一些策略更好的训练和实现，所以就引起了现在
深度学习的第三次浪潮。
知
识
讲
解
深度学习发展简史（续3）
• 相比而言，区别于传统的浅层学习，深度学习强调模型结构的深度，隐含
层远远不止一层。通常来说，层数更多的网络，通常具有更强的抽象能力
（即数据表征能力），也就能够产生更好的分类识别的结果。
• 2012年，杰弗里·辛顿（Geoffery Hinton）教授团队在ImageNet中首次
使用深度学习完胜其他团队，那时网络层深度只有个位数。2014年，谷歌
团队把网络做了22层，问鼎当时的ImageNet冠军。到了2015年，微软研
究院团队设计的基于深度学习的图像识别算法ResNet，把网络层做到了
152层。很快，在2016年，商汤科技更是叹为观止地把网络层做到了1207
层。
知
识
讲
解
深度学习发展简史（续4）
• ImageNet Top5错误率和网络深度
– 2012年冠军（
AlexNet
, top-5错误率16.4%，使用额外数据可达到15.3%，8
层神经网络）
– 2014年亚军（VGGNet，top-5错
误率7.3%，19层神经网络），
2014年冠军（InceptionNet，
top-5错误率6.7%，22层神经网
络）
– 2015年的冠军（ResNet，top-5
错误率3.57%，152层神经网络）
知
识
讲
解
深度网络进化过程
感知机
（神经元）
多层感知机
（神经网络）
深度神经网络
知
识
讲
解
小结
• 时至今日，深度学习网络越来越深，应用越来越广，解决的问题越
来越难，扮演的角色越来越重要。但万丈高楼平地起，让我们追根
溯源，探索如何深度学习究竟是如何由一个简单的“单细胞”演化
成复杂神经网络系统的。
