课程简介
大数据平台数据湖和数据治理
目标收益
通过此次课程培训，可使学习者获得如下收益：
1. 了解数据治理的体系架构
2. 理解数据架构设计与数据治理的基本知识；
2. 掌握数据建模方法，范式建模和维度建模
3. 理解数据标准化、数据质量和元数据等如何建设，和建设中注意的问题
4. 数据治理落地的难点和经验分享
5. XXX银行数据治理真实案例深度分享
培训对象
1、数据开发工程师
2、业务人员
3、架构师
4、项目经理
5、对数据治理赶兴趣的同学
课程大纲
| 数据治理范围 |
大数据平台数据建设中存在的问题 数据治理面临的挑战 数据的多元化 数据的复杂性 数据的完整性 数据生命周期管理 统一元数据管理 数据集成方法 数据安全 数据湖架构 基于大数据平台的数据建模 RMDBS数据的增量实时同步采集 |
| 数据质量管理 |
数据质量管理的范围 数据质量评估的维度 数据质量的维护管理 数据质量的改进管理 数据质量管理模型 数据质量管理的监控 案例演示 |
| 元数据管理 |
元数据概念 Hadoop平台元数据处理面临的问题 元数据注册机制 元数据的统一管理 元数据一致性管理 数据字典的概念 元数据的添加和需改管理 基于Hadoop平台元数据处理方案 |
| 数据生命周期管理 |
数据质量 数据标准 数据生命周期管理的重要性 数据生命周期的概念 开源Falcon解决那些问题 Falcon架构和原理 Falcon实战 Falcon+HDFS、Hive实战 Falcon+Oozie实战 |
| 数据湖 |
数据湖定义 数据湖里面数据存储格式 数据湖实现的步骤 HDFS、Hive等实现数据湖 数据湖分区(LCRD) LCRD详解 某大型银行基于Hadoop的数据湖实战解析 |
| 测试数据环境的搭建 |
测试数据的准备 测试数据的脱敏机制 数据脱敏的方法 数据关联的脱敏机制 测试环境搭建的要求 测试环境性能的评估原则 |
| 数据仓库的敏捷开发 |
敏捷开发的含义 敏捷数据仓库的定义 为什么需要敏捷数据仓库 敏捷数据仓库和传统数据仓库的区别 敏捷数据仓库实现的模型 在Hadoop上面实现敏捷数据仓库的思路 |
| 案例分析 |
Hadoop之上数据仓库案例解析 数据湖案例解析和演示 |
|
数据治理范围 大数据平台数据建设中存在的问题 数据治理面临的挑战 数据的多元化 数据的复杂性 数据的完整性 数据生命周期管理 统一元数据管理 数据集成方法 数据安全 数据湖架构 基于大数据平台的数据建模 RMDBS数据的增量实时同步采集 |
|
数据质量管理 数据质量管理的范围 数据质量评估的维度 数据质量的维护管理 数据质量的改进管理 数据质量管理模型 数据质量管理的监控 案例演示 |
|
元数据管理 元数据概念 Hadoop平台元数据处理面临的问题 元数据注册机制 元数据的统一管理 元数据一致性管理 数据字典的概念 元数据的添加和需改管理 基于Hadoop平台元数据处理方案 |
|
数据生命周期管理 数据质量 数据标准 数据生命周期管理的重要性 数据生命周期的概念 开源Falcon解决那些问题 Falcon架构和原理 Falcon实战 Falcon+HDFS、Hive实战 Falcon+Oozie实战 |
|
数据湖 数据湖定义 数据湖里面数据存储格式 数据湖实现的步骤 HDFS、Hive等实现数据湖 数据湖分区(LCRD) LCRD详解 某大型银行基于Hadoop的数据湖实战解析 |
|
测试数据环境的搭建 测试数据的准备 测试数据的脱敏机制 数据脱敏的方法 数据关联的脱敏机制 测试环境搭建的要求 测试环境性能的评估原则 |
|
数据仓库的敏捷开发 敏捷开发的含义 敏捷数据仓库的定义 为什么需要敏捷数据仓库 敏捷数据仓库和传统数据仓库的区别 敏捷数据仓库实现的模型 在Hadoop上面实现敏捷数据仓库的思路 |
|
案例分析 Hadoop之上数据仓库案例解析 数据湖案例解析和演示 |
近期公开课推荐