课程简介
本课程围绕湖仓一体展开，重点介绍企业湖仓一体数据架构的介绍，从数据架构的 演进，到数据湖的出现，再到湖仓一体架构的发展，深入解析湖仓一体的核心主流技术， 以及企业级湖仓一体架构建设方法，帮助学习者从各个方面对湖仓一体架构有更深入的 理解。
目标收益
培训对象
1. 大数据从业人员 2. 企业 IT 开发人员 3. 企业数据部门人员
课程大纲
| 数据架构的演进 |
1. 数据架构的发展史 1.1 早期的数据架构 1.2 数据仓库时代 1.3 数据湖的出现 1.3.1 非结构化数据存储 1.3.2 数据湖的基本原理 1.3.3 数据湖的应用场景 3.1.1 结构化数据 3.1.2 半结构数据 3.1.3 非结构化数据 3.1.4 异构数据存储 3.2 不同的终端用户 3.2.1 分析型架构下的数据存储 3.2.2 探索型架构下的数据存储 3.2.3 开放的数据存储格式 3.2.4 分析性数据架构 3.3 数据存储技术的发展 3.3.1 磁带存储 3.3.2 分布式存储技术 |
| 湖仓一体的主流核心 技术上 |
2. 湖仓一体架构的出现 2.1 什么是湖仓一体 2.1.1 湖仓一体架构介绍 2.1.2 湖仓一体架构的优势 2.1.3 湖仓一体架构的挑战 2.1.4 为什么会是湖仓一体 2.2 数据湖仓与数据仓库 2.2.1 数据仓库的优势与局限性 2.3 数据湖仓与数据湖 2.3.1 数据湖的优势与局限性 2.3.2 异构数据管理的挑战 3. 数据存储技术的发展 3.1 不同的数据存储类型 |
| 湖仓一体的主流核心 技术下 |
4. 数据处理技术的发展 4.1 单体式数据处理技术 4.2Map-Reduce 分布式计算模型 4.3 实时数据处理技术的兴起 4.4 批流一体化技术的发展 4.5 存算分离技术的演进 4.6 数据处理技术对数据架构的影响 5. 数据湖仓的核心能力 5.1 数据湖的核心能力 5.1.1ACID 事务能力 5.1.2 批流一体数据读写 5.2 数据湖技术的发展 5.3 数据湖主流技术 6. 数据湖技术之 Apache Iceberg 6.1Apache Iceberg 的发展历史 6.2Apache Iceberg 核心优势 6.3Apache Iceberg 的数据存储格式 6.4Apache Iceberg 元数据管理 7. 数据湖技术之 Apache Hudi 7.1Apache Hudi 的发展历史 7.2Apache Hudi 核心优势 7.3Apache Hudi 的数据存储格式 7.4Apache Hudi 元数据管理 8. 选择合适的数据湖技术 8.1 数据湖技术对比 8.2 数据湖技术的未来 8.3 如何选择正确的数据湖 |
| 企业级湖仓一体架构 |
9. 构建企业级湖仓一体架构 9.1 数据仓库的构建 9.2 数据湖的能力构建 9.3 湖仓一体融合实践 9.4 批流一体化建设 10. 数据分析与数据湖仓 10.1 数据分析技术 10.2 数据服务 10.3 数据可视化 11. 机器学习与数据湖仓 11.1 机器学习与数据湖 11.2AI 与 BI 的隔离 11.3 机器学习下的数据访问与管理 12. 湖仓一体化下的数据治理 12.1 数据仓库下的数据治理 12.2 数据湖下数据治理的挑战 12.3 湖仓一体下的数据治理体系 |
|
数据架构的演进 1. 数据架构的发展史 1.1 早期的数据架构 1.2 数据仓库时代 1.3 数据湖的出现 1.3.1 非结构化数据存储 1.3.2 数据湖的基本原理 1.3.3 数据湖的应用场景 3.1.1 结构化数据 3.1.2 半结构数据 3.1.3 非结构化数据 3.1.4 异构数据存储 3.2 不同的终端用户 3.2.1 分析型架构下的数据存储 3.2.2 探索型架构下的数据存储 3.2.3 开放的数据存储格式 3.2.4 分析性数据架构 3.3 数据存储技术的发展 3.3.1 磁带存储 3.3.2 分布式存储技术 |
|
湖仓一体的主流核心 技术上 2. 湖仓一体架构的出现 2.1 什么是湖仓一体 2.1.1 湖仓一体架构介绍 2.1.2 湖仓一体架构的优势 2.1.3 湖仓一体架构的挑战 2.1.4 为什么会是湖仓一体 2.2 数据湖仓与数据仓库 2.2.1 数据仓库的优势与局限性 2.3 数据湖仓与数据湖 2.3.1 数据湖的优势与局限性 2.3.2 异构数据管理的挑战 3. 数据存储技术的发展 3.1 不同的数据存储类型 |
|
湖仓一体的主流核心 技术下 4. 数据处理技术的发展 4.1 单体式数据处理技术 4.2Map-Reduce 分布式计算模型 4.3 实时数据处理技术的兴起 4.4 批流一体化技术的发展 4.5 存算分离技术的演进 4.6 数据处理技术对数据架构的影响 5. 数据湖仓的核心能力 5.1 数据湖的核心能力 5.1.1ACID 事务能力 5.1.2 批流一体数据读写 5.2 数据湖技术的发展 5.3 数据湖主流技术 6. 数据湖技术之 Apache Iceberg 6.1Apache Iceberg 的发展历史 6.2Apache Iceberg 核心优势 6.3Apache Iceberg 的数据存储格式 6.4Apache Iceberg 元数据管理 7. 数据湖技术之 Apache Hudi 7.1Apache Hudi 的发展历史 7.2Apache Hudi 核心优势 7.3Apache Hudi 的数据存储格式 7.4Apache Hudi 元数据管理 8. 选择合适的数据湖技术 8.1 数据湖技术对比 8.2 数据湖技术的未来 8.3 如何选择正确的数据湖 |
|
企业级湖仓一体架构 9. 构建企业级湖仓一体架构 9.1 数据仓库的构建 9.2 数据湖的能力构建 9.3 湖仓一体融合实践 9.4 批流一体化建设 10. 数据分析与数据湖仓 10.1 数据分析技术 10.2 数据服务 10.3 数据可视化 11. 机器学习与数据湖仓 11.1 机器学习与数据湖 11.2AI 与 BI 的隔离 11.3 机器学习下的数据访问与管理 12. 湖仓一体化下的数据治理 12.1 数据仓库下的数据治理 12.2 数据湖下数据治理的挑战 12.3 湖仓一体下的数据治理体系 |
近期公开课推荐