大数据hadoop学习教程
本文于2059天之前发表,文中内容可能已经过时。
云计算
大数据
一、Hadoop
- 分布式文件存储系统——HDFS
- 分布式计算框架——MapReduce
- 集群资源管理器——YARN
- Hadoop单机伪集群环境搭建
- Hadoop集群环境搭建
- Hadoop基于Zookeeper高可用集群环境搭建
- HDFS常用Shell命令
- HDFS Java API的使用
二、Hive
- Hive简介及核心概念
- Linux环境下Hive的安装部署
- Hive CLI和Beeline命令行的基本使用
- Hive 常用DDL操作
- Hive 分区表和分桶表
- Hive 视图和索引
- Hive常用DML操作
- Hive 数据查询详解
- Hive的数据导入导出
- Hive综合案例实战
- Hive的开发
- Hive的安全
- Hive优化
三、Spark
Spark Core :
Spark SQL :
Spark Streaming :
四、Storm
- Storm和流处理简介
- Storm核心概念详解
- Storm单机环境搭建
- Storm集群环境搭建
- Storm编程模型详解
- Storm项目三种打包方式对比分析
- Storm集成Redis详解
- Storm集成HDFS/HBase
- Storm集成Kafka
五、Flink
- Flink基础概念
- Flink开发环境搭建、集群环境搭建和应用部署
- Flink完整配置
- DataStream API编程
- DataStream API使用
- 批处理示例(java和Scala)
- Flink客户端操作的五种模式
- Flink命令行界面
- Scala REPL
- Time & Window
- Flink状态管理和容错机制介绍
- Flink Table API编程
- Flink SQL编程
TODO
六、HBase
- Hbase 简介
- HBase系统架构及数据结构
- HBase基本环境搭建
- HBase集群环境搭建
- HBase常用Shell命令
- HBase Java API
- HBASE的Python开发
- Hbase 过滤器详解
- HBase 协处理器详解
- HBase 容灾与备份
- HBase的SQL中间层——Phoenix
- Spring/Spring Boot 整合 Mybatis + Phoenix
- HBase监控语诊断
- HBASE的数据迁移
- HBASE基于Bulk load的数据迁移
- HBASE使用管理工具
七、Kafka
八、Zookeeper
- Zookeeper 简介及核心概念
- Zookeeper单机环境和集群环境搭建
- Zookeeper常用Shell命令
- Zookeeper Java 客户端——Apache Curator
- Zookeeper ACL权限控制
九、Flume
十、Sqoop
十一、Azkaban
十二、Scala
- Scala简介及开发环境配置
- 基本数据类型和运算符
- 流程控制语句
- 数组——Array
- 集合类型综述
- 常用集合类型之——List & Set
- 常用集合类型之——Map & Tuple
- 类和对象
- 继承和特质
- 函数 & 闭包 & 柯里化
- 模式匹配
- 类型参数
- 隐式转换和隐式参数