【干货】大数据入门指南：Hadoop、Hive、Spark、 Storm等

大纲： 前 言

• 大数据学习路线
• 大数据技术栈思维导图
• 大数据常用软件安装指南

一、Hadoop

• 分布式文件存储系统 —— HDFS
• 分布式计算框架 —— MapReduce
• 集群资源管理器 —— YARN
• Hadoop 单机伪集群环境搭建
• Hadoop 集群环境搭建
• HDFS 常用 Shell 命令
• HDFS Java API 的使用
• 基于 Zookeeper 搭建 Hadoop 高可用集群

二、Hive

• Hive 简介及核心概念
• Linux 环境下 Hive 的安装部署
• Hive CLI 和 Beeline 命令行的基本使用
• Hive 常用 DDL 操作
• Hive 分区表和分桶表
• Hive 视图和索引
• Hive常用 DML 操作
• Hive 数据查询详解

三、Spark

• Spark Core :
• Spark 简介
• Spark 开发环境搭建
• 弹性式数据集 RDD
• RDD 常用算子详解
• Spark 运行模式与作业提交
• Spark 累加器与广播变量
• 基于 Zookeeper 搭建 Spark 高可用集群
• Spark SQL :
• DateFrame 和 DataSet
• Structured API 的基本使用
• Spark SQL 外部数据源
• Spark SQL 常用聚合函数
• Spark SQL JOIN 操作
• Spark Streaming ：
• Spark Streaming 简介
• Spark Streaming 基本操作
• Spark Streaming 整合 Flume
• Spark Streaming 整合 Kafka

四、Storm

• Storm 和流处理简介
• Storm 核心概念详解
• Storm 单机环境搭建
• Storm 集群环境搭建
• Storm 编程模型详解
• Storm 项目三种打包方式对比分析
• Storm 集成 Redis 详解
• Storm 集成 HDFS/HBase
• Storm 集成 Kafka

五、Flink

• Flink 核心概念综述
• Flink 开发环境搭建
• Flink Data Source
• Flink Data Transformation
• Flink Data Sink
• Flink 窗口模型
• Flink 状态管理与检查点机制
• Flink Standalone 集群部署

六、HBase

• Hbase 简介
• HBase 系统架构及数据结构
• HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
• HBase 集群环境搭建
• HBase 常用 Shell 命令
• HBase Java API
• Hbase 过滤器详解
• HBase 协处理器详解
• HBase 容灾与备份
• HBase的 SQL 中间层 —— Phoenix
• Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

• Kafka 简介
• 基于 Zookeeper 搭建 Kafka 高可用集群
• Kafka 生产者详解
• Kafka 消费者详解
• 深入理解 Kafka 副本机制

八、Zookeeper

• Zookeeper 简介及核心概念
• Zookeeper 单机环境和集群环境搭建
• Zookeeper 常用 Shell 命令
• Zookeeper Java 客户端 —— Apache Curator
• Zookeeper ACL 权限控制

九、Flume

• Flume 简介及基本使用
• Linux 环境下 Flume 的安装部署
• Flume 整合 Kafka

十、Sqoop

• Sqoop 简介与安装
• Sqoop 的基本使用

十一、Azkaban

• Azkaban 简介
• Azkaban3.x 编译及部署
• Azkaban Flow 1.0 的使用
• Azkaban Flow 2.0 的使用

十二、Scala

• Scala 简介及开发环境配置
• 基本数据类型和运算符
• 流程控制语句
• 数组 —— Array
• 集合类型综述
• 常用集合类型之 —— List & Set
• 常用集合类型之 —— Map & Tuple
• 类和对象
• 继承和特质
• 函数 & 闭包 & 柯里化
• 模式匹配
• 类型参数
• 隐式转换和隐式参数

十三、公共内容

• 大数据应用常用打包方式