大数据搜索与挖掘及可视化管理方案PDF电子书下载

查看更多关于的内容

第1章 概述 1

1.1 Elasticsearch概述 3

1.1.1 Elasticsearch的安装与简单配置 4

1.1.2 Elasticsearch API的使用方式 7

1.2 Logstash 7

1.3 Kibana 8

1.4 Beats 8

1.5 X-Pack 9

1.6 其他 9

1.7 扩展知识与阅读 9

1.8 本章小结 10

第2章 文档索引及管理 11

2.1 文档索引概述 11

2.2 head：Elasticsearch用于数据管理的工具之一 13

2.3 建立索引 15

2.4 通过映像配置索引 20

2.4.1 在索引中使用映像 20

2.4.2 管理/配置映像 21

2.4.3 获取映像信息 22

2.4.4 删除映像 23

2.5 管理索引文件 24

2.5.1 打开、关闭、检测、删除索引文件 24

2.5.2 清空索引缓存 25

2.5.3 刷新索引文件 25

2.5.4 优化索引文件 26

2.5.5 flush操作 26

2.6 设置中文分析器 26

2.7 对文档的其他操作 29

2.7.1 获取指定文档的信息 29

2.7.2 删除指定文档的信息 31

2.7.3 更新指定文档的信息 31

2.7.4 基于POST方式批量获取文档信息 34

2.8 实例 36

2.9 扩展知识与阅读 40

2.10 本章小结 41

第3章 信息检索与聚合 42

3.1 实验数据集描述 43

3.2 基本检索 44

3.2.1 检索方式 44

3.2.2 query查询 45

3.2.3 from/size查询 46

3.2.4 检索结果排序 46

3.2.5 高亮搜索词 49

3.2.6 查询模板 50

3.3 检索进阶 51

3.3.1 全文检索 51

3.3.2 词项检索 55

3.3.3 复合查询 58

3.3.4 跨度查询 61

3.3.5 特殊查询 64

3.3.6 脚本 65

3.4 聚合 68

3.4.1 metric聚合 69

3.4.2 bucket聚合 74

3.4.3 pipeline聚合 83

3.4.4 matrix聚合 87

3.5 实例 88

3.6 扩展知识与阅读 94

3.7 本章小结 95

第4章 Elasticsearch API及其应用 96

4.1 Elasticsearch节点实例化 96

4.1.1 在Java中初始化Elasticsearch 96

4.1.2 在Python中初始化Elasticsearch 100

4.2 索引数据 101

4.2.1 准备JSON数据 101

4.2.2 为JSON数据生成索引 103

4.3 对索引文件的操作 106

4.3.1 获取索引中的文档数据 106

4.3.2 删除索引文件中的文档数据 108

4.3.3 更新索引文件中的文档数据 109

4.3.4 对索引文件中的文档进行批量操作 110

4.4 信息检索 112

4.4.1 概述 113

4.4.2 multiSearch 114

4.4.3 查询模板 115

4.4.4 Query DSL概述 117

4.4.5 matchAllQuery 117

4.4.6 全文检索 118

4.4.7 词项检索 121

4.4.8 复合查询 125

4.4.9 跨度查询 127

4.4.10 特殊查询 130

4.5 聚合 132

4.5.1 Metric聚合 132

4.5.2 bucket聚合 136

4.6 对检索结果的进一步处理 140

4.6.1 控制每页的显示数量及排序依据 140

4.6.2 基于scroll分页显示检索结果 140

4.7 Java High Level RESTful Client和Elasticsearch DSL 142

4.7.1 Java High Level RESTful Client 142

4.7.2 Elasticsearch DSL 146

4.8 实例 148

4.8.1 在Elasticsearch中建立索引 148

4.8.2 连接Elasticsearch 149

4.8.3 信息采集与索引构建 150

4.8.4 搜索模块 152

4.8.5 推荐模块 153

4.8.6 聚合模块 154

4.9 扩展知识与阅读 155

4.10 本章小结 156

第5章 Elasticsearch配置与集群管理 157

5.1 Elasticsearch的部分基本配置 157

5.2 索引文件和查询优化 160

5.3 监控集群状态 161

5.4 控制索引文件分片与副本分配 163

5.5 集群管理 165

5.6 扩展知识与阅读 166

5.7 本章小结 167

第6章 基于Logstash的日志处理 168

6.1 概述 169

6.2 input：处理输入的日志数据 171

6.2.1 处理基于file方式输入的日志信息 172

6.2.2 处理基于generator产生的日志信息 173

6.2.3 基于Filebeat处理log4j的日志信息 174

6.2.4 处理基于redis的日志信息 176

6.2.5 处理基于TCP传输的日志数据 179

6.2.6 处理基于UDP传输的日志数据 183

6.3 codec：格式化日志数据 185

6.3.1 json格式 185

6.3.2 rubydebug格式 187

6.3.3 plain格式 187

6.4 基于filter的日志处理与转换 188

6.4.1 json filter 189

6.4.2 grok filter 190

6.4.3 kv filter 192

6.5 output：输出日志数据 195

6.5.1 将处理后的日志输出到Elasticsearch中 195

6.5.2 将处理后的日志输出到文件中 197

6.5.3 将处理后的日志输出到csv文件中 198

6.5.4 将处理后的日志输出到redis中 199

6.5.5 将处理后的日志通过UDP输出 201

6.5.6 将处理后的日志通过TCP输出 202

6.5.7 将日志信息发送至Email 206

6.6 扩展知识与阅读 208

6.7 本章小结 209

第7章 基于Kibana的数据分析及可视化 210

7.1 Kibana概述 211

7.2 安装Kibana 211

7.3 使用Management组件管理配置 212

7.3.1 创建索引模式 213

7.3.2 高级设置 214

7.3.3 管理已保存的检索、可视化和仪表板 218

7.4 使用Discover组件执行查询 219

7.4.1 设置时间选择器 219

7.4.2 在索引模式中执行搜索 220

7.4.3 字段过滤 221

7.4.4 查看文档数据 222

7.5 使用Visualize组件创建统计图表 224

7.6 使用Dashboard组件创建动态仪表板 226

7.6.1 创建新的动态仪表板 227

7.6.2 打开已保存的动态仪表板 228

7.6.3 分享动态仪表板 228

7.7 使用Timelion组件创建时间线 229

7.8 使用Dev Tools执行命令行 231

7.8.1 在Console中执行命令 231

7.8.2 Console快捷键 233

7.8.3 Console设置 234

7.9 网站性能监控可视化应用实例 234

7.9.1 概述 234

7.9.2 使用Visualize实现可视化 234

7.9.3 使用Dashboard整合可视化结果 238

7.10 扩展知识与阅读 239

7.11 本章小结 240

第8章 基于X-Pack的系统运行监控 241

8.1 X-Pack概述 241

8.2 安装X-Pack 242

8.3 Security插件与安全性 243

8.3.1 身份验证机制与用户管理 243

8.3.2 匿名访问 246

8.3.3 基于域的用户认证 247

8.3.4 基于角色的访问权限配置 248

8.3.5 IP地址过滤 251

8.3.6 带有身份认证的TransportClient 253

8.3.7 带有身份认证的RESTful命令 256

8.4 使用Monitoring监控系统运行状态 256

8.4.1 系统运行状态监控 256

8.4.2 配置Monitoring 260

8.4.3 搭建独立的Monitoring集群 262

8.5 Alerting插件与异常事件警报 263

8.5.1 通过RESTful方式设置监视器 264

8.5.2 通过Java程序设置监视器 267

8.5.3 使用Watcher UI管理监视器 269

8.6 Reporting与报告生成 270

8.6.1 在程序中生成报告 270

8.6.2 通过监视器自动生成报告 271

8.7 使用Graph探索数据关联 273

8.8 使用Machine Learning发现数据趋势异常 275

8.9 使用Search Profiler分析搜索查询 277

8.10 使用Grok Debugger调试grok表达式 279

8.11 扩展知识与阅读 280

8.12 本章小结 280

第9章 基于Beats的数据解析传输 281

9.1 基于packetbeat的网络数据包传输 282

9.1.1 概述 282

9.1.2 安装 282

9.1.3 配置 283

9.1.4 加载索引模板 285

9.1.5 启动和关闭 286

9.1.6 使用Kibana进行可视化展示 287

9.2 基于Filebeat的日志传输 288

9.2.1 概述 288

9.2.2 安装和配置 288

9.2.3 启动和关闭 291

9.2.4 使用Kibana进行展示 291

9.3 基于metricbeat的系统指标数据传输 292

9.3.1 概述 292

9.3.2 安装和配置 293

9.3.3 启动和关闭 294

9.3.4 使用Kibana进行展示 295

9.4 基于winlogbeat的Windows事件日志数据传输 296

9.4.1 概述 296

9.4.2 安装 297

9.4.3 配置 298

9.4.4 启动和关闭 301

9.4.5 使用Kibana进行展示 302

9.5 基于auditbeat的用户和进程活动审计 304

9.5.1 概述 304

9.5.2 安装和配置 304

9.5.3 启动和关闭 305

9.5.4 使用Kibana进行展示 306

9.6 基于heartbeat的服务状态检测 308

9.6.1 概述 308

9.6.2 安装和配置 308

9.6.3 启动和关闭 311

9.6.4 使用Kibana进行展示 311

9.7 扩展知识与阅读 313

9.8 本章小结 313

第10章 信息检索与分析实例（一） 314

10.1 基于Elasticsearch的行业信息存储 314

10.1.1 环境准备 314

10.1.2 数据准备 315

10.2 基于Spring Boot的信息检索及Web端设计 317

10.2.1 创建和配置工程 317

10.2.2 Web页面设计 319

10.3 基于Logstash的日志处理 327

10.3.1 配置Spring Boot输出日志 327

10.3.2 在Logstash中进行相关配置 329

10.4 基于Kibana的日志分析结果可视化 330

10.4.1 访问量走势分析 331

10.4.2 查询参数比率分析 333

10.4.3 故障案例可视化 334

10.4.4 将图表集成到仪表板中 335

10.5 扩展知识与阅读 336

10.6 本章小结 337

第11章 信息检索与分析实例（二） 338

11.1 面向动态网站的信息采集 339

11.1.1 软件准备 339

11.1.2 浏览器驱动程序 339

11.1.3 创建索引和映像 340

11.1.4 导入依赖 341

11.1.5 数据采集 342

11.2 基于Spring MVC的信息检索及Web程序设计 348

11.2.1 创建和配置Spring MVC项目 348

11.2.2 前端页面设计 351

11.2.3 后端控制器类 356

11.3 基于Logstash的日志处理 360

11.4 基于Beats的数据传输 361

11.5 基于Kibana的数据可视化 362

11.5.1 可视化索引文件中的信息 363

11.5.2 对Logstash、Beats的可视化展示 364

11.6 基于X-Pack的系统监控 366

11.7 扩展知识与阅读 369

11.8 本章小结 369

参考文献 370

查看更多关于的内容