课程简介
大数据平台架构及地理信息应用
目标收益
了解大数据平台的技术背景、基本知识、常识及术语。
学员通过学习本课程，能够熟悉大数据行业和分布式系统的技术核心知识点；
通过Hadoop、Hive、Spark、HBase知识的学习，能够掌握大数据应用的开发和运维能力，
并能够掌握海量数据处 理的编码和性能调优经验。
熟悉中国互联网公司（如阿里巴巴、腾讯）的大数据平台中各组件的技术应用和最佳实践。
了解大数据平台在互联网业务及地理信息系统的应用。
培训对象
拥有一定研发经验，希望行业前研经验和应用有所了解的学员。
所有对《大数据平台及地理信息应用》感兴趣的学员。
课程内容
从基础到深入，并结合真实案例和客户自己的问题，结合实践环节，全程干货。
课程大纲
| 大数据平台的发展历程 |
数据到大数据发展历程 1．集中式数据系统到大数据平台 2．阿里大数据平台的发展历程 |
| 大数据平台的基本原理 |
1、分布式系统基本原理 什么是分布式系统？ CAP定理 2、分布式大数据基本构成 计算系统 文件存储系统 结构化存储引擎 有向无环图系统 上层查询引擎 3、适用场景 离线计算平台及业务 实时计算平台及业务 |
| 大数据平台的架构类型 |
开源的架构及组成 1． Hadoop分布式文件系统HDFS，Hadoop Distributed File System组件及原理 (1) Namenode主结点Master结点 (2) Datanode从结点Slave结点 2． Hadoop分布式调度系统Yarn，Yet Another Resource Negotiator (1) Resource Manager 主结点Master结点 (2) Node Manager 从结点Slave结点 (3) Application Master 应用可扩展主结点 3． 计算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 调度引擎 (1) AirFlow (2) Oozie |
| 商业公司的架构及组成，以阿里飞天为例 |
飞天分布式文件系统盘古 1． 分布式文件系统Pangu Master主结点 2． 分布式文件系统从结点Chunk Server Slave从结点 飞天分布式计算平台伏羲 1． 伏羲Master 2． 伏羲Slave 基于飞天的生态系统 1． 天网、在云端、数据地图等 |
| 地理信息应用举例 |
1． 华为应用案例 华为地理信息云举例 2． Oracle应用案例 Spatial、云端战略等 3． 高德应用举例 数据结构、架构、离线应用、在线应用 4． 饿了么应用举例 数据结构、架构、离线应用、在线应用 5． 淘宝应用举例 数据结构、架构、离线应用、在线应用 |
|
大数据平台的发展历程 数据到大数据发展历程 1．集中式数据系统到大数据平台 2．阿里大数据平台的发展历程 |
|
大数据平台的基本原理 1、分布式系统基本原理 什么是分布式系统？ CAP定理 2、分布式大数据基本构成 计算系统 文件存储系统 结构化存储引擎 有向无环图系统 上层查询引擎 3、适用场景 离线计算平台及业务 实时计算平台及业务 |
|
大数据平台的架构类型 开源的架构及组成 1． Hadoop分布式文件系统HDFS，Hadoop Distributed File System组件及原理 (1) Namenode主结点Master结点 (2) Datanode从结点Slave结点 2． Hadoop分布式调度系统Yarn，Yet Another Resource Negotiator (1) Resource Manager 主结点Master结点 (2) Node Manager 从结点Slave结点 (3) Application Master 应用可扩展主结点 3． 计算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 调度引擎 (1) AirFlow (2) Oozie |
|
商业公司的架构及组成，以阿里飞天为例 飞天分布式文件系统盘古 1． 分布式文件系统Pangu Master主结点 2． 分布式文件系统从结点Chunk Server Slave从结点 飞天分布式计算平台伏羲 1． 伏羲Master 2． 伏羲Slave 基于飞天的生态系统 1． 天网、在云端、数据地图等 |
|
地理信息应用举例 1． 华为应用案例 华为地理信息云举例 2． Oracle应用案例 Spatial、云端战略等 3． 高德应用举例 数据结构、架构、离线应用、在线应用 4． 饿了么应用举例 数据结构、架构、离线应用、在线应用 5． 淘宝应用举例 数据结构、架构、离线应用、在线应用 |
近期公开课推荐