测试经理
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

如何应对每天近万个分布式调度任务：易观DolphinScheduler可视化DAG工作流任务调度系统演进之路

易观 CTO

郭炜先生，易观CTO，中国软件行业协会智能应用服务分会副主任委员，TGO北京董事会会长，全球中小企业创业联合会副会长。郭炜先生毕业于北京大学，加入易观就任CTO之前，曾任联想研究院大数据总监，万达电商数据部总经理，并曾在中金、IBM、Teradata公司担任大数据方向重要岗位，对大数据前沿领域研究做出过卓越贡献。
郭炜先生在2018年提出大数据IOTA架构（Big Data IOTA）并提出企业“数据河”（Data River）的概念，带领团队打造了秒算数据计算引擎进行了架构验证。目前秒算引擎支持易观混合云大数据平台日处理数据量379亿条，6.8Pb存储，月活用户5.9亿计算。同时，易观基于秒算数据引擎打造的易观方舟Argo，是国内首个免费可私有化部署的用户行为分析工具并已经开源非核心组件，方舟商业版广泛使用于银行、电商、新零售领域等，是致力于“数据能力平民化”的典型数据分析产品。

郭炜先生，易观CTO，中国软件行业协会智能应用服务分会副主任委员，TGO北京董事会会长，全球中小企业创业联合会副会长。郭炜先生毕业于北京大学，加入易观就任CTO之前，曾任联想研究院大数据总监，万达电商数据部总经理，并曾在中金、IBM、Teradata公司担任大数据方向重要岗位，对大数据前沿领域研究做出过卓越贡献。 郭炜先生在2018年提出大数据IOTA架构（Big Data IOTA）并提出企业“数据河”（Data River）的概念，带领团队打造了秒算数据计算引擎进行了架构验证。目前秒算引擎支持易观混合云大数据平台日处理数据量379亿条，6.8Pb存储，月活用户5.9亿计算。同时，易观基于秒算数据引擎打造的易观方舟Argo，是国内首个免费可私有化部署的用户行为分析工具并已经开源非核心组件，方舟商业版广泛使用于银行、电商、新零售领域等，是致力于“数据能力平民化”的典型数据分析产品。

课程费用

6800.00 /人

课程时长

50分钟以下及更短时间

成为教练

课程简介

2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台。在使用现有数据调度工具过程中，遇到了以下问题：

（1） ETL复杂的依赖关系强，平台易用性、可维护性亟待优化；

（2） 二次开发成本较高；

（3） 基于实际业务需要，数据调度工具需要实现可实时监视ETL运行状态、支持多租户、多任务类型、支持HA和线性可扩展性等功能。

由于目前市面上的开源项目没有能够达到生产标准的选择，因此易观决定自行开发这个工具。易观技术团队在2017年底设计了DolphinScheduler的主要架构，2019年3月...

目标收益

（1） 平台搭建时间有效缩短27%

（2） 为开发团队节省35%的开发人员资源

（3） 目前GitHub上的Star数量超过1700个


培训对象

课程内容

2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台。在使用现有数据调度工具过程中，遇到了以下问题：

（1） ETL复杂的依赖关系强，平台易用性、可维护性亟待优化；

（2） 二次开发成本较高；

（3） 基于实际业务需要，数据调度工具需要实现可实时监视ETL运行状态、支持多租户、多任务类型、支持HA和线性可扩展性等功能。

由于目前市面上的开源项目没有能够达到生产标准的选择，因此易观决定自行开发这个工具。易观技术团队在2017年底设计了DolphinScheduler的主要架构，2019年3月初，小范围(10多家公司)开放了DS的种子用户试用后，正式对外开放源码。


课程费用

6800.00 /人

课程时长

50分钟以下及更短时间

预约体验票 我要分享

近期公开课推荐

近期公开课推荐

提交需求