大数据技术

Articles

• 前言
  • 1. 大数据学习路线
  • 2. 大数据技术栈思维导图
  • 3. 基础软件安装
    • 1) Linux 环境下 JDK 安装
    • 2) Linux 环境下 Python 安装
    • 3) 虚拟机静态 IP 及多 IP 配置
  • 4. 大数据常用软件安装
  • 5. 大数据框架扫盲
• 一、Hadoop
  • 1. 分布式文件存储系统 —— HDFS
  • 2. 分布式计算框架 —— MapReduce
  • 3. 集群资源管理器 —— YARN
  • 4. Hadoop 单机伪集群环境搭建
  • 5. Hadoop 集群环境搭建
  • 6. HDFS 常用 Shell 命令
  • 7. HDFS Java API 的使用
  • 8. 基于 Zookeeper 搭建 Hadoop 高可用集群
• 二、Hive
  • 1. Hive 简介及核心概念
  • 2. Linux 环境下 Hive 的安装部署
  • 3. Hive CLI 和 Beeline 命令行的基本使用
  • 4. Hive 常用 DDL 操作
  • 5. Hive 分区表和分桶表
  • 6. Hive 视图和索引
  • 7. Hive 常用 DML 操作
  • 8. Hive 数据查询详解
• 三、Spark
  • Spark Core
    • 1. Spark 简介
    • 2. Spark 开发环境搭建
    • 3. 弹性式数据集 RDD
    • 4. RDD 常用算子详解
    • 5. Spark 运行模式与作业提交
    • 6. Spark 累加器与广播变量
    • 7. 基于 Zookeeper 搭建 Spark 高可用集群
  • Spark SQL
    • 1. DateFrame 和 DataSet
    • 2. Structured API 的基本使用
    • 3. Spark SQL 外部数据源
    • 4. Spark SQL 常用聚合函数
    • 5. Spark SQL JOIN 操作
  • Spark Streaming
    • 1. Spark Streaming 简介
    • 2. Spark Streaming 基本操作
    • 3. Spark Streaming 整合 Flume
    • 4. Spark Streaming 整合 Kafka
• 四、Storm
  • 1. Storm 和流处理简介
  • 2. Storm 核心概念详解
  • 3. Storm 单机环境搭建
  • 4. Storm 集群环境搭建
  • 5. Storm 编程模型详解
  • 6. Storm 项目三种打包方式对比分析
  • 7. Storm 集成 Redis 详解
  • 8. Storm 集成 HDFS/HBase
  • 9. Storm 集成 Kafka
• 五、Flink
  • 1. Flink 核心概念综述
  • 2. Flink 开发环境搭建
  • 3. Flink Data Source
  • 4. Flink Data Transformation
  • 5. Flink Data Sink
  • 6. Flink 窗口模型
  • 7. Flink 状态管理与检查点机制
  • 8. Flink Standalone 集群部署
• 六、HBase
  • 1. Hbase 简介
  • 2. HBase 系统架构及数据结构
  • 3. HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
  • 4. HBase 集群环境搭建
  • 5. HBase 常用 Shell 命令
  • 6. HBase Java API
  • 7. HBase 过滤器详解
  • 8. HBase 协处理器详解
  • 9. HBase 容灾与备份
  • 10. HBase的 SQL 中间层 —— Phoenix
  • 11. Spring/Spring Boot 整合 Mybatis + Phoenix
• 七、Kafka
  • 1. Kafka 简介
  • 2. 基于 Zookeeper 搭建 Kafka 高可用集群
  • 3. Kafka 生产者详解
  • 4. Kafka 消费者详解
  • 5. 深入理解 Kafka 副本机制
• 八、ZooKeeper
  • 1. Zookeeper 简介及核心概念
  • 2. Zookeeper 单机环境和集群环境搭建
  • 3. Zookeeper 常用 Shell 命令
  • 4. Zookeeper Java 客户端 —— Apache Curator
  • 5. Zookeeper ACL 权限控制
• 九、Flume
  • 1. Flume 简介及基本使用
  • 2. Linux 环境下 Flume 的安装部署
  • 3. Flume 整合 Kafka
• 十、Sqoop
  • 1. Sqoop 简介与安装
  • 2. Sqoop 的基本使用
• 十一、Azkaban
  • 1. Azkaban 简介
  • 2. Azkaban3.x 编译及部署
  • 3. Azkaban Flow 1.0 的使用
  • 4. Azkaban Flow 2.0 的使用
• 十二、Scala
  • 1. Scala 简介及开发环境配置
  • 2. 基本数据类型和运算符
  • 3. 流程控制语句
  • 4. 数组 —— Array
  • 5. 集合类型综述
  • 6. 常用集合类型之 —— List & Set
  • 7. 常用集合类型之 —— Map & Tuple
  • 8. 类和对象
  • 9. 继承和特质
  • 10. 函数 & 闭包 & 柯里化
  • 11. 模式匹配
  • 12. 类型参数
  • 13. 隐式转换和隐式参数
• 十三、公共内容
  • 1. 大数据应用常用打包方式
• 十四、Presto
  • 1. Presto 简介
  • 2. Presto 概念详解
  • 3. Presto 基本架构
  • 4. Presto 查询执行流程
  • 5. 集成 Pulsar Connector
• 十五、ClickHouse
  • 1. ClickHouse 介绍
  • 2. Win10 系统下使用 Docker 搭建 ClickHouse 开发环境
  • 3. ClickHouse 基本语法
  • 4. ClickHouse 数据类型
  • 5. ClickHouse 常用函数
  • 6. ClickHouse 系列表引擎
• 十六、数据湖
  • 1. 什么是数据湖
• 后记
  • 资料分享与开发工具推荐