Hadoop数据仓库实战PDF电子书下载

查看更多关于的内容

第1章Hive入门 1

任务1了解Hive基础 2

1.1.1认识Hive 2

1.1.2 Hive架构设计 5

1.1.3 Hive工作流程 6

1.1.4 Hive适用场景 7

任务2掌握Hive数据存储模型 8

1.2.1 Hive存储格式 8

1.2.2 Hive数据单元 10

1.2.3 Hive存储模型 10

任务3安装配置Hive环境 11

1.3.1 Hive的发展历程 12

1.3.2搭建Hive CDH环境 13

1.3.3 Hive初体验 15

1.3.4 Hive开发环境 18

1.3.5技能实训 21

本章小结 21

本章作业 21

第2章Hive数据库及表操作 23

任务1熟悉Hive数据类型 24

2.1.1基本数据类型 24

2.1.2复杂数据类型 26

任务2使用Hive管理雇员信息 28

2.2.1 Hive DDL操作 29

2.2.2 Hive DML操作 33

2.2.3 Hive Shell 38

2.2.4技能实训 40

任务3使用Hive Java API操作雇员表 41

2.3.1开发环境搭建 41

2.3.2 JDBC操作Hive数据库 42

2.3.3技能实训 47

本章小结 47

本章作业 48

第3章Hive元数据 49

任务1访问雇员数据的元数据信息 50

3.1.1 Hive元数据的概念及存储方式 50

3.1.2雇员数据元数据信息查询 53

3.1.3技能实训 60

任务2使用Hive Java API读取雇员表元数据 60

3.2.1 hive-metastore组件 60

3.2.2使用HiveMetaStoreClient访问元数据 62

3.2.3技能实训 68

任务3使用HCatalog管理雇员数据的元数据 69

3.3.1 HCatalog介绍 69

3.3.2 HCatalog应用 70

本章小结 75

本章作业 75

第4章Hive高级操作 77

任务1关联查询零售商店订单明细 78

4.1.1 SELECT语句 78

4.1.2关联查询 83

4.1.3联合查询 87

4.1.4技能实训 87

任务2使用分组排序实现商品销售排行 88

4.2.1排序 88

4.2.2分组聚合 91

4.2.3技能实训 94

任务3使用窗口函数实现零售数据统计 94

4.3.1窗口函数 94

4.3.2窗口的定义 99

4.3.3技能实训 102

本章小结 102

本章作业 102

第5章Hive函数与Streaming 103

任务1应用内置函数 104

5.1.1函数概述 104

5.1.2内置函数详解 105

5.1.3技能实训 112

任务2使用Java编写Hive自定义函数 112

5.2.1自定义函数概述 113

5.2.2 UDF 114

5.2.3 UDAF 117

5.2.4 UDTF 120

5.2.5技能实训 121

任务3使用Streaming实现数据处理 121

5.3.1 Streaming概念 122

5.3.2 Streaming应用 122

5.3.3技能实训 125

本章小结 125

本章作业 125

第6章Hive视图与索引 127

任务1创建并管理零售商店的顾客表和订单表视图 128

6.1.1视图的基本概念及使用场景 128

6.1.2视图的基本操作 130

6.1.3 Materialized Views和Lateral View 135

6.1.4技能实训 138

任务2建立零售商店顾客表索引 139

6.2.1 Hive索引的基本概念及使用场景 139

6.2.2为零售商店顾客表建立索引 141

6.2.3与索引相关的元数据表 144

6.2.4技能实训 145

本章小结 146

本章作业 146

第7章Hive调优 147

任务1熟悉Hive性能调优策略 148

7.1.1 Hive性能调优使用工具 148

7.1.2优化Map Task和Reduce Task个数 150

7.1.3 Hive Job优化 151

7.1.4 Hive Query优化 153

7.1.5设置压缩 155

7.1.6技能实训 157

任务2解决Hive数据倾斜问题 157

7.2.1数据倾斜问题 158

7.2.2数据倾斜问题解决方案 158

任务3 Hive集成Tez 161

7.3.1 Tez简介 161

7.3.2 Tez安装配置 162

7.3.3 Hive与Tez集成 164

7.3.4技能实训 166

本章小结 166

本章作业 166

第8章Hive与HBase集成 169

任务1理解Hive与HBase集成的场景及原理 170

8.1.1 Hive与HBase集成的应用场景 170

8.1.2 Hive与HBase集成原理 171

任务2实现Hive与HBase集成 174

8.2.1 Hive与HBase集成配置 174

8.2.2 Hive与HBase集成功能测试 175

8.2.3将零售商店顾客购买统计信息存入HBase表 182

8.2.4技能实训 183

任务3使用Phoenix操作HBase数据库 184

8.3.1 Phoenix简介 184

8.3.2搭建Phoenix CDH环境 186

8.3.3技能实训 189

本章小结 190

本章作业 190

第9章 数据迁移框架Sqoop 191

任务1使用Sqoop完成Hadoop与MySQL间的数据迁移 192

9.1.1 Sqoop简介 192

9.1.2导入MySQL数据到HDFS 196

9.1.3导入MySQL数据到Hive 205

9.1.4导入MySQL数据到HBase 206

9.1.5导出HDFS数据到MySQL 207

9.1.6技能实训 211

任务2使用Sqoop Job完成Hive与MySQL间的数据迁移 211

9.2.1 Sqoop Job 212

9.2.2技能实训 213

本章小结 213

本章作业 213

第10章 项目实训：电子商务消费行为分析 215

10.1项目准备 216

10.2难点分析 219

10.3项目实现思路 220

本章小结 242

本章作业 242

查看更多关于的内容