Spark大数据实时分析实战PDF电子书下载

查看更多关于的内容

项目一 初识Spark技术 1

任务1.1 数据处理系统 1

1.1.1 数据存储技术 1

1.1.2 数据分析技术 2

1.1.3 批数据和实时数据 3

1.1.4 数据价值挖掘 4

任务1.2 实时数据处理 5

1.2.1 实时数据的价值 5

1.2.2 实时数据处理技术 5

1.2.3 Spark实时数据处理 6

项目二 Spark集群的构建与安装 7

任务2.1 Spark集群搭建 8

2.1.1 平台选择 8

2.1.2 软件选择 8

2.1.3 Spark集群构建流程 9

任务2.2 Spark集群规划 9

2.2.1 Spark集群节点划分 9

2.2.2 软件要求 10

2.2.3 网络拓扑结构规划 10

任务2.3 Spark安装准备 11

2.3.1 JDK安装 11

2.3.2 节点间的配置 12

2.3.3 Spark安装包下载 21

任务2.4 Spark集群搭建 22

2.4.1 配置Master节点 22

2.4.2 配置Worker节点 25

2.4.3 分发安装包 27

2.4.4 启动集群 27

任务2.5 验证Spark 27

2.5.1 验证Spark进程 27

2.5.2 验证WEBUI界面 28

2.5.3 验证集群功能 28

任务2.6 Spark客户端搭建 36

2.6.1 客户端介绍 36

2.6.2 客户端搭建及使用 36

项目三 Spark基于Yarn搭建 45

任务3.1 基于Yarn构建介绍 45

3.1.1 基于Yarn搭建环境配置 45

3.1.2 Hadoop集群 46

3.1.3 启动Hadoop集群 93

3.1.4 验证Hadoop集群节点 94

任务3.2 基于Yarn搭建 96

3.2.1 节点划分配置 96

3.2.2 配置Spark on Yarn 96

3.2.3 验证Spark on Yarn 98

项目四 日志服务器搭建 108

任务4.1 日志服务器配置 108

4.1.1 HDFS配置 115

4.1.2 Spark配置 115

4.1.3 启动日志服务器 117

4.1.4 查看日志 118

任务4.2 验证日志服务器 134

4.2.1 Spark-Shell介绍 135

4.2.2 查看运行日志 136

4.2.3 启动日志服务器 136

4.2.4 查看日志 136

项目五 Kafka集群的构建与安装 138

任务5.1 集群搭建 138

5.1.1 运行平台支持 139

5.1.2 软件环境 139

5.1.3 集群构建流程 139

任务5.2 集群规划 140

5.2.1 集群节点划分 140

5.2.2 软件选择 141

5.2.3 网络结构规划 141

任务5.3 安装准备 142

5.3.1 节点免密 143

5.3.2 安装ZooKeeper协调系统 154

任务5.4 Kafka集群搭建 157

5.4.1 节点配置 158

5.4.2 集群脚本配置 164

5.4.3 分发安装包 164

5.4.4 集群启动 165

项目六 Kafka集群测试 168

任务6.1 分布式消息系统 168

6.1.1 Kafka介绍 168

6.1.2 Kafka架构 169

6.1.3 Kafka的特点 171

6.1.4 Kafka应用场景 171

任务6.2 测试Kafka 173

6.2.1 查看集群中的Topic 173

6.2.2 创建Topic 210

6.2.3 向Topic生产消息 211

6.2.4 从Topic消费消息 212

6.2.5 offset查看 213

6.2.6 删除Topic信息 215

任务6.3 测试Kafka Leader 249

6.3.1 Leader均衡机制 249

6.3.2 测试Leader均衡机制 250

查看更多关于的内容