Skip to content
  • 主页

不可思议

  • 大数据技术
    • 前言
      • 1. 大数据学习路线
      • 2. 大数据技术栈思维导图
      • 3. 基础软件安装
        • 1) Linux 环境下 JDK 安装
        • 2) Linux 环境下 Python 安装
        • 3) 虚拟机静态 IP 及多 IP 配置
      • 4. 大数据常用软件安装
      • 5. 大数据框架扫盲
    • 一、Hadoop
      • 1. 分布式文件存储系统 —— HDFS
      • 2. 分布式计算框架 —— MapReduce
      • 3. 集群资源管理器 —— YARN
      • 4. Hadoop 单机伪集群环境搭建
      • 5. Hadoop 集群环境搭建
      • 6. HDFS 常用 Shell 命令
      • 7. HDFS Java API 的使用
      • 8. 基于 Zookeeper 搭建 Hadoop 高可用集群
    • 二、Hive
      • 1. Hive 简介及核心概念
      • 2. Linux 环境下 Hive 的安装部署
      • 3. Hive CLI 和 Beeline 命令行的基本使用
      • 4. Hive 常用 DDL 操作
      • 5. Hive 分区表和分桶表
      • 6. Hive 视图和索引
      • 7. Hive 常用 DML 操作
      • 8. Hive 数据查询详解
    • 三、Spark
      • Spark Core
        • 1. Spark 简介
        • 2. Spark 开发环境搭建
        • 3. 弹性式数据集 RDD
        • 4. RDD 常用算子详解
        • 5. Spark 运行模式与作业提交
        • 6. Spark 累加器与广播变量
        • 7. 基于 Zookeeper 搭建 Spark 高可用集群
      • Spark SQL
        • 1. DateFrame 和 DataSet
        • 2. Structured API 的基本使用
        • 3. Spark SQL 外部数据源
        • 4. Spark SQL 常用聚合函数
        • 5. Spark SQL JOIN 操作
      • Spark Streaming
        • 1. Spark Streaming 简介
        • 2. Spark Streaming 基本操作
        • 3. Spark Streaming 整合 Flume
        • 4. Spark Streaming 整合 Kafka
    • 四、Storm
      • 1. Storm 和流处理简介
      • 2. Storm 核心概念详解
      • 3. Storm 单机环境搭建
      • 4. Storm 集群环境搭建
      • 5. Storm 编程模型详解
      • 6. Storm 项目三种打包方式对比分析
      • 7. Storm 集成 Redis 详解
      • 8. Storm 集成 HDFS/HBase
      • 9. Storm 集成 Kafka
    • 五、Flink
      • 1. Flink 核心概念综述
      • 2. Flink 开发环境搭建
      • 3. Flink Data Source
      • 4. Flink Data Transformation
      • 5. Flink Data Sink
      • 6. Flink 窗口模型
      • 7. Flink 状态管理与检查点机制
      • 8. Flink Standalone 集群部署
    • 六、HBase
      • 1. Hbase 简介
      • 2. HBase 系统架构及数据结构
      • 3. HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
      • 4. HBase 集群环境搭建
      • 5. HBase 常用 Shell 命令
      • 6. HBase Java API
      • 7. HBase 过滤器详解
      • 8. HBase 协处理器详解
      • 9. HBase 容灾与备份
      • 10. HBase的 SQL 中间层 —— Phoenix
      • 11. Spring/Spring Boot 整合 Mybatis + Phoenix
    • 七、Kafka
      • 1. Kafka 简介
      • 2. 基于 Zookeeper 搭建 Kafka 高可用集群
      • 3. Kafka 生产者详解
      • 4. Kafka 消费者详解
      • 5. 深入理解 Kafka 副本机制
    • 八、ZooKeeper
      • 1. Zookeeper 简介及核心概念
      • 2. Zookeeper 单机环境和集群环境搭建
      • 3. Zookeeper 常用 Shell 命令
      • 4. Zookeeper Java 客户端 —— Apache Curator
      • 5. Zookeeper ACL 权限控制
    • 九、Flume
      • 1. Flume 简介及基本使用
      • 2. Linux 环境下 Flume 的安装部署
      • 3. Flume 整合 Kafka
    • 十、Sqoop
      • 1. Sqoop 简介与安装
      • 2. Sqoop 的基本使用
    • 十一、Azkaban
      • 1. Azkaban 简介
      • 2. Azkaban3.x 编译及部署
      • 3. Azkaban Flow 1.0 的使用
      • 4. Azkaban Flow 2.0 的使用
    • 十二、Scala
      • 1. Scala 简介及开发环境配置
      • 2. 基本数据类型和运算符
      • 3. 流程控制语句
      • 4. 数组 —— Array
      • 5. 集合类型综述
      • 6. 常用集合类型之 —— List & Set
      • 7. 常用集合类型之 —— Map & Tuple
      • 8. 类和对象
      • 9. 继承和特质
      • 10. 函数 & 闭包 & 柯里化
      • 11. 模式匹配
      • 12. 类型参数
      • 13. 隐式转换和隐式参数
    • 十三、公共内容
      • 1. 大数据应用常用打包方式
    • 十四、Presto
      • 1. Presto 简介
      • 2. Presto 概念详解
      • 3. Presto 基本架构
      • 4. Presto 查询执行流程
      • 5. 集成 Pulsar Connector
    • 十五、ClickHouse
      • 1. ClickHouse 介绍
      • 2. Win10 系统下使用 Docker 搭建 ClickHouse 开发环境
      • 3. ClickHouse 基本语法
      • 4. ClickHouse 数据类型
      • 5. ClickHouse 常用函数
      • 6. ClickHouse 系列表引擎
    • 十六、数据湖
      • 1. 什么是数据湖
    • 后记
      • 资料分享与开发工具推荐
  • 常用导航
    • 常用文档
    • 常用工具
  • 其它文章
    • 随机排序的一种优化实现
    • SQLite UDF/UDAF 的实现
    • 测试驱动开发 TDD(Test Driven Development)
    • URL Decode 的实现原理
    • WebTorrent 下载磁力链接工具
    • Redis Big Key 问题
    • Scrapy 爬取在行数据

闽ICP备17026538号-3