第1章 深度学习概述 1
1.1 深度学习的发展历程 1
1.1.1 深度学习的历史 1
1.1.2 深度学习领域的重要人物 5
1.2 深度学习的关键技术 7
1.2.1 深度学习的机理 7
1.2.2 深度学习的三要素 8
1.2.3 数据的特征 9
1.2.4 深度学习的主要模型 10
1.2.5 深度学习模型的训练过程 11
1.2.6 深度学习模型的学习方式 12
1.2.7 深度学习的常用框架 14
1.3 深度学习网络的发展脉络及应用领域 18
1.3.1 深度学习网络的发展脉络 18
1.3.2 深度学习的应用领域 19
课后习题 21
参考文献 22
第2章 人工神经网络基础 24
2.1 人工神经网络的生物学基础 24
2.1.1 神经元的基本模型 24
2.1.2 突触的结构 26
2.2 人工神经元模型 26
2.2.1 人工神经元的数学模型 26
2.2.2 常见的人工神经元模型 30
2.3 人工神经网络模型 34
2.3.1 神经网络的基本结构 34
2.3.2 神经网络的分类 36
2.4 神经网络的前向传播机制 39
2.5 神经网络的反向传播机制 40
2.6 基于反向传播算法的神经网络设计流程 43
2.7 人工神经网络的参数优化问题 45
2.7.1 神经网络层数的优化问题 45
2.7.2 归一化指数函数softmax 47
2.7.3 学习率 49
2.7.4 欠拟合和过拟合问题 50
课后习题 52
参考文献 53
第3章 卷积神经网络和循环神经网络 54
3.1 卷积神经网络 54
3.1.1 卷积神经网络的基本概念 54
3.1.2 卷积神经网络的结构 58
3.1.3 卷积神经网络的常用架构 65
3.2 循环神经网络 72
3.2.1 循环神经网络的基本概念 72
3.2.2 循环神经网络的应用——语言模型 77
3.2.3 循环神经网络的梯度问题及解决方法 80
3.2.4 循环神经网络的改进 84
课后习题 87
参考文献 89
第4章 生成对抗网络和深度强化学习 92
4.1 生成对抗网络 92
4.1.1 生成对抗网络概述 92
4.1.2 生成对抗网络的基本原理 94
4.1.3 几种改进的生成对抗网络模型 99
4.1.4 生成对抗网络的应用 103
4.2 强化学习 106
4.2.1 强化学习概述 106
4.2.2 强化学习的决策过程 108
4.2.3 Q-Learning算法 111
4.2.4 深度强化学习 112
课后习题 118
参考文献 119
第5章 计算机视觉 121
5.1 计算机视觉概述 121
5.1.1 计算机视觉的历史 122
5.1.2 计算机视觉的挑战与机遇 123
5.1.3 计算机视觉常见的数据集 125
5.1.4 计算机视觉处理的基本流程 130
5.2 图像预处理 131
5.2.1 图像去噪 131
5.2.2 图像归一化 133
5.2.3 图像分割技术 134
5.3 计算机视觉常用的网络结构 136
5.3.1 图像分类常用的深度学习网络结构 136
5.3.2 视频分类常用的深度学习网络结构 140
5.3.3 目标检测常用的深度学习网络结构 144
课后习题 152
参考文献 154
第6章 自然语言处理 156
6.1 自然语言处理概述 156
6.1.1 发展历史 157
6.1.2 自然语言处理的过程 158
6.1.3 基础技术 160
6.1.4 词嵌入算法 162
6.1.5 N-gram语言模型 166
6.1.6 注意力机制 167
6.2 自然语言处理的应用模型 171
6.2.1 文本分类 171
6.2.2 自动文本摘要 175
6.2.3 自动问答系统 178
6.2.4 触发字检测 181
课后习题 182
参考文献 183