课程简介
金融企业流式数据架构设计与应用，包括但不限于；实时数据数据标准，数据质量，数据安全，数据模型，数据分布和数据生命周期管理等的设计方法论，以及在实际应用中，同批数据统一管理的实际运用。考虑到金融业营销、风控两个常规场景，讨论企业流式数据架构的设计和管理，包括技术选型、数据治理以及统一建模。
其他流式架构知识点：
1.多维模型的建立方法:
2.复杂数据模型的支持方法，
3.极速大数据OLAP分析方法
目标收益
1.学习和了解金融企业流式数据架构设计与应用，了解实时数据处理过程中的数据管理体系，数据处理技术，数据质量管控以及数据安全等；
2.掌握流计算常用技术与架构，包括不限于Apache Storm，Apache Flink，Spark Streaming等；
3.掌握流数据架构的特点以及建设方法论；
4.了解业界主流企业如何构建流数据架构体系，以及如何在现有大数据平台架构下，构建流数据处理平台，有效管理流数据；
培训对象
1.大数据从业人员
2.企业IT开发人员
3.企业数据部门人员
课程大纲
| 企业流式数据架构概览 |
1.企业数据架构发展史 2.数据架构演进 3.Lambda数据架构介绍 4.Kappa数据架构介绍 5.面向AI的数据架构体系 6.面向BI的数据架构架构 7.湖仓一体数据架构的出现 8.湖仓一体数据架构原理与实现 9.企业流式数据架构概览 10.流式数据架构行业案例 |
| 流计算技术介绍 |
1.流计算技术的发展与现状 2.流式计算架构对比 3.流计算框架之Apache Storm原理与实现 4.流计算框架之Spark Streaming原理与实现 5.流计算框架之Apache Flink原理与实现 6.其他流计算框架介绍 7.企业数据架构与流计算技术 |
|
企业流式数据架构核心能力 （上） |
1.大数据平台现状梳理 2.离线数据处理与实时数据处理 3.构建企业级流数据处理平台 4.企业数据存储体系（离线与实时） 5.数据湖与数据仓库 6.异构数据存储与管理 7.批流一体化数据处理 |
|
企业流式数据架构核心能力 （下） |
1.企业数据治理的挑战 2.构建面向流数据的元数据管理中心 3.流数据架构下的数据血缘管理 4.流数据架构下的数据可视化 5.流数据架构下的数据质量管理 6.流数据架构下的数据安全 7.流数据架构下的数据生命周期管理 |
| 流数据架构的应用领域 |
1.实时数据仓库建设 2.基于流数据构建多维模型 3.复杂数据模型的支持方法 4.流数据处理与OLAP分析 5.流数据处理与可视化大屏技术 6.流数据处理与机器学习 7.基于流计算架构构建实时特征中心 |
| 案例分享 |
1.大数据平台建设案例 2.流数据处理平台建设案例 3.客户画像系统 4.营销推荐系统 5.金融风控系统 |
|
企业流式数据架构概览 1.企业数据架构发展史 2.数据架构演进 3.Lambda数据架构介绍 4.Kappa数据架构介绍 5.面向AI的数据架构体系 6.面向BI的数据架构架构 7.湖仓一体数据架构的出现 8.湖仓一体数据架构原理与实现 9.企业流式数据架构概览 10.流式数据架构行业案例 |
|
流计算技术介绍 1.流计算技术的发展与现状 2.流式计算架构对比 3.流计算框架之Apache Storm原理与实现 4.流计算框架之Spark Streaming原理与实现 5.流计算框架之Apache Flink原理与实现 6.其他流计算框架介绍 7.企业数据架构与流计算技术 |
|
企业流式数据架构核心能力 （上） 1.大数据平台现状梳理 2.离线数据处理与实时数据处理 3.构建企业级流数据处理平台 4.企业数据存储体系（离线与实时） 5.数据湖与数据仓库 6.异构数据存储与管理 7.批流一体化数据处理 |
|
企业流式数据架构核心能力 （下） 1.企业数据治理的挑战 2.构建面向流数据的元数据管理中心 3.流数据架构下的数据血缘管理 4.流数据架构下的数据可视化 5.流数据架构下的数据质量管理 6.流数据架构下的数据安全 7.流数据架构下的数据生命周期管理 |
|
流数据架构的应用领域 1.实时数据仓库建设 2.基于流数据构建多维模型 3.复杂数据模型的支持方法 4.流数据处理与OLAP分析 5.流数据处理与可视化大屏技术 6.流数据处理与机器学习 7.基于流计算架构构建实时特征中心 |
|
案例分享 1.大数据平台建设案例 2.流数据处理平台建设案例 3.客户画像系统 4.营销推荐系统 5.金融风控系统 |
近期公开课推荐