第1章 绪论 1
本章思维导图 1
1.1 自然语言处理发展 2
1.1.1 什么是自然语言处理? 2
1.1.2 自然语言处理的发展历史 2
1.2 自然语言处理的难点 5
1.3 自然语言处理的发展阶段和流派 5
1.3.1 理性主义方法阶段和基于规则的专家系统 5
1.3.2 经验主义方法阶段和基于统计的学习方法 6
1.4 自然语言处理的应用 7
1.4.1 文本方面 7
1.4.2 语音方面 9
1.5 利用深度学习进行自然语言处理 10
1.5.1 NLP中的深度学习 10
1.5.2 NLP中深度学习的局限性 11
1.6 全书内容安排 12
本章参考文献 12
第2章 自然语言处理基础 14
本章思维导图 14
2.1 语料库与语言知识库 15
2.1.1 语料库 15
2.1.2 语言知识库 17
2.2 文本预处理 18
2.2.1 数据清洗 18
2.2.2 分词处理 19
2.2.3 特征过滤 21
2.3 文本向量化表示 23
2.3.1 独热表示 23
2.3.2 词袋表示 24
2.3.3 词频-逆文档频率 24
2.3.4 Word2Vec模型 25
2.4 自然语言处理开源工具库 29
2.4.1 自然语言处理工具包 29
2.4.2 斯坦福核心自然语言处理 30
2.4.3 自然语言处理工具包 30
2.4.4 复旦自然语言处理 30
2.4.5 汉语语言处理包 30
本章小结 31
思考题 31
本章参考文献 32
第3章 神经网络和深度学习 33
本章思维导图 33
3.1 前馈神经网络 34
3.1.1 基本前馈神经网络 35
3.1.2 卷积神经网络 35
3.1.3 注意力网络 37
3.2 基本循环神经网络 39
3.2.1 循环神经网络的提出背景 39
3.2.2 基本循环神经网络结构 40
3.2.3 循环神经网络的训练 41
3.2.4 基本循环神经网络存在的问题 42
3.3 循环神经网络的扩展结构 42
3.3.1 双向循环神经网络 42
3.3.2 深度循环神经网络 43
3.3.3 长短时记忆网络 44
3.3.4 门控循环单元 47
3.3.5 循环神经网络的应用 48
3.4 深度学习概览 48
3.4.1 激活函数 48
3.4.2 监督学习和数据集 50
3.4.3 损失函数 51
3.4.4 梯度下降和反向传播算法 51
3.4.5 正则化 53
本章小结 53
思考题 54
本章参考文献 54
第4章 语言模型 55
本章思维导图 55
4.1 语言模型任务定义 56
4.2 从统计语言模型到神经网络语言模型 56
4.2.1 统计语言模型 56
4.2.2 神经网络语言模型 57
4.3 语言模型的评价指标 59
4.4 预训练语言模型 60
4.4.1 什么是预训练语言模型 60
4.4.2 ELMo模型 61
4.4.3 BERT模型 63
4.5 语言模型的前沿技术与发展趋势 67
本章小结 69
思考题 69
本章参考文献 69
第5章 分类任务 71
本章思维导图 71
5.1 评价指标 72
5.2 文本分类 75
5.2.1 文本分类介绍 75
5.2.2 基于传统机器学习的文本分类 75
5.2.3 基于深度学习的文本分类 77
5.3 情感分析 83
5.3.1 情感分析介绍 83
5.3.2 基于传统机器学习的情感分析 84
5.3.3 基于深度学习的情感分析 84
5.4 意图识别 88
本章小结 88
思考题 89
本章参考文献 89
第6章 信息抽取 91
本章思维导图 91
6.1 信息抽取的任务定义 91
6.2 命名实体识别 93
6.2.1 信息抽取子任务一 93
6.2.2 命名实体识别技术方法的演化过程 94
6.2.3 本节知识点总结 96
6.3 实体链指 97
6.3.1 信息抽取子任务二 97
6.3.2 本节知识点总结 100
6.4 关系抽取 100
6.4.1 信息抽取子任务三 100
6.4.2 关系抽取技术方法的演化过程 101
6.4.3 本节知识点总结 105
6.5 事件抽取 105
6.5.1 信息抽取子任务四 105
6.5.2 事件抽取技术方法的演化过程 106
6.5.3 本节知识点总结 108
6.6 信息抽取前沿技术与发展趋势 109
6.6.1 信息抽取前沿技术 109
6.6.2 信息抽取发展趋势 109
6.6.3 本节知识点总结 111
本章小结 111
思考题 112
本章参考文献 112
第7章 知识图谱 114
本章思维导图 114
7.1 知识图谱 115
7.2 知识图谱的定义 116
7.3 知识图谱的发展历程 117
7.4 知识图谱的类型和应用场景 119
7.4.1 知识图谱的类型 119
7.4.2 知识图谱的典型应用场景 121
7.5 知识图谱的生命周期和关键性技术 123
7.5.1 知识表示 123
7.5.2 知识抽取和知识挖掘 132
7.5.3 知识存储 135
7.5.4 知识融合 136
7.5.5 知识推理 137
7.6 知识图谱前沿技术、发展趋势与挑战 139
7.6.1 知识图谱前沿技术 139
7.6.2 知识图谱的发展趋势 140
7.6.3 知识图谱面临的挑战 141
本章小结 143
思考题 143
本章参考文献 144
第8章 机器翻译 146
本章思维导图 146
8.1 机器翻译任务定义 147
8.1.1 定义 147
8.1.2 平行语料 148
8.2 评估标准 148
8.2.1 遇到的困难 148
8.2.2 现有评估标准 149
8.3 发展历程 150
8.3.1 基于规则的机器翻译 150
8.3.2 基于实例的机器翻译 152
8.3.3 统计机器翻译 153
8.4 神经机器翻译研究现状 154
8.4.1 编码器-解码器模型 154
8.4.2 三大范式 155
8.4.3 信息控制 158
8.4.4 对神经机器翻译的再思考 161
8.5 前沿技术与发展趋势 161
8.5.1 前沿技术 161
8.5.2 发展趋势 162
本章小结 164
思考题 164
本章参考文献 164
第9章 摘要生成 167
本章思维导图 167
9.1 抽取式文本摘要 168
9.1.1 抽取式文本摘要的基本介绍 168
9.1.2 基于传统机器学习的抽取式文本摘要生成方法 170
9.1.3 基于深度学习的抽取式文本摘要生成方法 174
9.2 生成式文本摘要 175
9.2.1 生成式文本摘要的基本介绍 175
9.2.2 基于语义的生成式文本摘要方法 177
9.2.3 基于抽取内容的生成式文本摘要方法 179
9.3 前沿技术、发展趋势与挑战 180
本章小结 181
思考题 182
本章参考文献 182
第10章 语言分析 185
本章思维导图 185
10.1 依存句法分析 187
10.1.1 概况 187
10.1.2 任务定义 191
10.1.3 评价方法 191
10.2 成分句法分析 192
10.2.1 概况 192
10.2.2 任务定义 196
10.2.3 评价标准 197
10.3 语义分析 198
10.3.1 抽象语义表示 198
10.3.2 普适概念认知标注 202
10.4 前沿技术、发展趋势与挑战 203
10.4.1 依存句法分析 203
10.4.2 成分句法分析 206
10.4.3 语义分析 209
本章小结 211
思考题 211
本章参考文献 213
第11章 其他研究热点与发展趋势展望 216
本章思维导图 216
11.1 超大规模预训练网络 217
11.1.1 自然语言处理中的预训练技术发展史 217
11.1.2 超大规模预训练网络介绍——BERT 219
11.1.3 主流超大规模预训练网络介绍——GPT-2 220
11.2 模型压缩方法 222
11.2.1 模型剪枝 222
11.2.2 模型量化 223
11.2.3 模型蒸馏 223
11.3 其他热门的研究点 225
11.3.1 热门研究点介绍——问答系统 226
11.3.2 热门研究点介绍——机器阅读理解 227
11.4 多模态任务的举例与现状 229
11.4.1 多模态学习的概念 229
11.4.2 图像-文本多模态任务举例及研究现状 230
本章小结 232
思考题 232
本章参考文献 232