课程简介
本次课程首先从大数据生态圈层面整体介绍目前企业内常见的大数据核心技术组件，然后会以Hadoop(大数据基础核心)组件进行切入，帮助学员快速理解大数据技术的基础原理。接着会从分布式计算引擎(离线Spark+实时Flink)进行深入分析，帮助学员了解掌握目前企业中最常用的两大核心计算引擎。最后会针对OLAP分析引擎(离线Hive+实时ClickHouse)进行深入分析，帮助学员快速构建离线数仓和实时数仓的整体概念，掌握基于SQL的离线和实时数据分析能力。
目标收益
了解大数据生态圈核心技术
掌握Hadoop的原理及使用
掌握分布式计算引擎(Spark+Flink)的原理及使用
掌握OLAP分析引擎的原理及使用(Hive+ClickHouse)
了解数据仓库(离线+实时)的架构设计
培训对象
有一定编程基础,想学习和了解大数据的学员
计算机相关专业,未来向大数据领域方向发展的学员
课程大纲
| 大数据生态圈核心技术总览 |
1 大数据产生背景 2 大数据的基本特征 3 大数据生态圈核心技术总览(包括数据采集、数据存储、数据计算、数据分析、数据检索框架等) 4 大数据的典型应用场景分析 5 大数据典型架构案例分析(大数据平台架构、离线数据仓库架构、实时数据仓库架构、批流一体化数仓架构等) 6 大数据基础平台选型分析(CDH\HDP\CDP) |
|
Hadoop原理、架构及核心编程 （HDFS+MapReduce+YARN） |
1 Hadoop整体概述 2 Apache Hadoop VS CDH VS HDP VS CDP 3 HDFS的核心原理及架构分析 4 HDFS的常见Shell命令的使用 5 MapReduce的原理及架构分析 6 基于MapReduce的离线计算案例 7 YARN的原理及架构分析 8 YARN中的三种资源调度器详解 |
| Spark原理、架构及核心编程 |
1 Spark核心原理及架构剖析 2 Spark的典型应用场景分析 2 基于Spark的离线计算案例 3 Spark核心Transformation算子分析及实战 4 Spark核心Action算子分析及实战 5 Spark SQL核心功能分析 |
| Flink原理、架构及核心编程 |
1 流处理 VS 批处理 2 Storm VS SparkStreaming VS Flink 3 Flink的核心原理及架构分析 4 基于Flink DataStream的实时计算案例 5 Flink SQL在实时计算中的应用 |
| Hive的核心功能及使用 |
Hive的核心原理及架构分析 2 Hive典型应用场景分析 3 Hive中的数据库和表(内部表、外部表、分区表、桶表)的原理及使用 4基于 Hive SQL的OLAP数据分析案例 5 基于Hive的离线数据仓库架构案例分析 |
| ClickHouse的核心功能及使用 |
1 ClickHouse的核心原理及架构分析 2 ClickHouse的典型应用场景分析 3 ClickHouse核心功能的使用 4 ClickHouse集成第三方系统 5 基于ClickHouse的实时数据仓库架构案例分析 |
|
大数据生态圈核心技术总览 1 大数据产生背景 2 大数据的基本特征 3 大数据生态圈核心技术总览(包括数据采集、数据存储、数据计算、数据分析、数据检索框架等) 4 大数据的典型应用场景分析 5 大数据典型架构案例分析(大数据平台架构、离线数据仓库架构、实时数据仓库架构、批流一体化数仓架构等) 6 大数据基础平台选型分析(CDH\HDP\CDP) |
|
Hadoop原理、架构及核心编程 （HDFS+MapReduce+YARN） 1 Hadoop整体概述 2 Apache Hadoop VS CDH VS HDP VS CDP 3 HDFS的核心原理及架构分析 4 HDFS的常见Shell命令的使用 5 MapReduce的原理及架构分析 6 基于MapReduce的离线计算案例 7 YARN的原理及架构分析 8 YARN中的三种资源调度器详解 |
|
Spark原理、架构及核心编程 1 Spark核心原理及架构剖析 2 Spark的典型应用场景分析 2 基于Spark的离线计算案例 3 Spark核心Transformation算子分析及实战 4 Spark核心Action算子分析及实战 5 Spark SQL核心功能分析 |
|
Flink原理、架构及核心编程 1 流处理 VS 批处理 2 Storm VS SparkStreaming VS Flink 3 Flink的核心原理及架构分析 4 基于Flink DataStream的实时计算案例 5 Flink SQL在实时计算中的应用 |
|
Hive的核心功能及使用 Hive的核心原理及架构分析 2 Hive典型应用场景分析 3 Hive中的数据库和表(内部表、外部表、分区表、桶表)的原理及使用 4基于 Hive SQL的OLAP数据分析案例 5 基于Hive的离线数据仓库架构案例分析 |
|
ClickHouse的核心功能及使用 1 ClickHouse的核心原理及架构分析 2 ClickHouse的典型应用场景分析 3 ClickHouse核心功能的使用 4 ClickHouse集成第三方系统 5 基于ClickHouse的实时数据仓库架构案例分析 |
近期公开课推荐