第1 章　 初识大数据  1

　 1. 1　 大数据概论  2

　 1. 2　 Hadoop 概述  6

　 1. 3　 大数据的应用  11

第2 章　 Hadoop 集群搭建  14

　 2. 1　 集群规划  15

　 2. 2　 虚拟化环境准备  16

　 2. 3　 Hadoop 集群搭建与配置  30

　 2. 4　 Hive 搭建与配置 43

第3 章　 HDFS  64

　 3. 1　 什么是 HDFS  65

　 3. 2　 HDFS 操作  68

　 3. 3　 HDFS 的写原理  74

　 3. 4　 HDFS 的读原理  75

　 3. 5　 HDFS 读写流程中的数据一致性  75

　 3. 6　 HDFS 的高可用性  76

第4 章　 MapReduce 框架详解  79

　 4. 1　 MapReduce 基础  80

　 4. 2　 词频统计案例  84

　 4. 3　 词频统计案例优化之 Combiner  89

　 4. 4　 词频统计案例优化之 Partitioner  90

　 4. 5　 MapTask 详解  92

　 4. 6　 ReduceTask 详解 93

　 4. 7　 MapReduce 性能优化  93

　 4. 8　 数据倾斜问题  97

第5 章　 YARN  100

　 5. 1　 YARN 的概述  101

　 5. 2　 YARN 的架构组成  101

　 5. 3　 YARN 的工作流程  103

　 5. 4　 YARN 的生命周期  104

　 5. 5　 YARN 的资源调度器  106

第6 章　 ZooKeeper  113

　 6. 1　 ZooKeeper 的概述  114

　 6. 2　 ZooKeeper 的设计目标  114

　 6. 3　 ZooKeeper 的选举机制  120

　 6. 4　 ZAB 协议  122

　 6. 5　 ZooKeeper 的常用操作  123

第7 章　 Hive 入门 129

　 7. 1　 Hive 是什么  130

　 7. 2　 数据定义语言  133

　 7. 3　 Hive 的内部表与外部表  143

　 7. 4　 Hive 的分区表  146

　 7. 5　 数据操控语言  150

　 7. 6　 数据查询语言  156

　 7. 7　 自定义函数  188

　 7. 8　 Hive 性能优化及 Hive3 新特性  194

第8 章　 数据仓库入门 198

　 8. 1　 建模理论概述  199

　 8. 2　 维度建模详解  201

　 8. 3　 数据模型原则  205

　 8. 4　 数据仓库开发规范  208

第9 章　 综合项目: 电商业务流程分析  212

　 9. 1　 电商业务流程  213

　 9. 2　 电商常识  215

　 9. 3　 业务表关系梳理  216

　 9. 4　 数据仓库架构  221

第10 章　 综合项目: 电商业务数据仓库搭建  225

　 10. 1　 数据同步  226

　 10. 2　 DIM 层数据处理  230

　 10. 3　 DWD 层数据处理  234

　 10. 4　 DWS 层数据处理 241

　 10. 5　 ADS 层数据处理 246

　 10. 6　 数据导出: 从 Hive ADS 层到 MySQL  250

　 10. 7　 数据展示  253

参考文献  261