Jason
0 ? $score . '分' : '10.0分' ?>访问次数
6244
反馈数量
0
关于教练
多年Kafka/Hadoop/Spark研究、应用及调优经验。现从事大数据平台优化工作。 高性能Java应用架构与设计
敏捷团队建设与管理
数据库、数据仓库的设计与优化
分布式应用架构与开发
大数据系统（如Kafka、Hadoop和Spark）架构与开发
课程
-
大数据平台Spark的原理分析与实战演练
a) 鉴于一般Spark不会单独使用，而是与Hadoop一起使用，因此该课程首先简单阐述HDFS与Yarn的关键技术与高可用及水平扩展方案
b) 结合精典案例讲解一个Spark Job的整个生命周期，以及如何划分Stage，如何生成逻辑执行计划和物理执行计划
c) 从Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle详细分析Spark Shuffle机制的原理与演进
d) 结合Yarn分析Spark的内存模型以及如何进行相关调优
e) 介绍Spark Streaming使用方式，分析通用流式处理系统的关键问题以及Spark Streaming对相应问题的解决方案，如窗口，乱序，Checkpoint等，并分析Spark Streaming与Storm和Kafka Stream各自的优缺点和适用场景
f) 结合源码分析Spark SQL的原理，以及实现SQL引擎的一般方法，并介绍如何进行Spark SQL性能优化
g) 结合电影推荐系统这一案例，介绍如何使用Spark MLlib解决机器学习问题
h) 结合大量真实案例，分析如何解决数据倾斜问题从而提高应用性能
暂无课程排期架构师 -
分布式消息系统Kafka架构分析与应用
a) 结合实战分析大数据系统的基石——Zookeeper的实现原理以及典型使用场景，如分布式配置管理，领导选举，分布式锁
b) 分析分布式系统的消息路由策略以及如何解决数据倾斜问题
c) 从Kafka 0.8到0.10的数据复制与领导选举策略的演进，分析通用分布式系统中典型的复制与领导选举的关键技术及解决方案
d) 分析Kafka 0.8到0.10的Consumer Group Rebalance方案的演进——从分布式“自各为政”选举到集中式“统一决策”选举
e) 分析流式处理系统的新贵——Kafka Stream的原理及其与其它流式处理系统的区别
f) 介绍Kafka Producer/Consumer的用法
g) 介绍如何使用Kafka实现正好一次（Exactly Once）处理语义
h) 介绍Kafka Stream的使用注意事项
i) 介绍如何将Kafka与其它主流分布式系统，如Hadoop、Spark，集成
暂无课程排期架构师
相关教练
