课程简介
本课程有2位老师共同授课（X. Liu & Z. Tan）
大数据短短数年之间，就从概念的萌芽，到现在的蓬勃发展，再到最近被纳入十三五国家战略，仅仅花费了数年的时间。那大数据到底有何魔力？又能改变什么？在这个大数据时代，借力大数据技术，快速发现问题，解决问题，发掘需求，创造需求，是互联网+成功企业中的重要一环。如何让公司插上大数据的翅膀，借助大数据从用户反馈、产品改进、高层决策、精准营销、生态建设等方方面面来大幅提升企业的竞争力？本课程将从零开始一步一步引导你，如何搭建一个功能完善的大数据平台，如何做好数据分析工作，以及如何进一步挖掘出数据的价值。本课程的每一部分都注重理论的引导与实际经验的结合，深入浅出，涵盖技术的原理，历史起源、后续发展，并注重与实例的结合，具有很强的实用性。
目标收益
课程中的内容涵盖理论和经验，是作者们在大数据行业长年摸爬滚打出来的最佳实践的总结。经过这些课程培训，可以使学员能够对大数据体系有全面而又清晰的认识，了解从平台搭建、到数据分析再到数据价值的挖掘各个方面的实用知识，可以即刻在实际工作中学以致用，运用大数据理论、方法来提升部门或公司的业绩。
培训对象
1． 小型企业的技术负责人；
2. 大中型企业的数据部门相关人员、或是对数据感兴趣的其他部门的研发总监、部门经理、一线研发工程师等人员均可；
课程内容
X. Liu ——大数据架构师，数据平台群组经理
数据架构师，系统分析师，专注于数据平台和数据价值类工作已经8年有余，曾多次在全国范围内给业界分享大数据实践经验。目前在广发证券担任大数据架构师、大数据平台经理。曾任职于腾讯微信、腾讯数据平台、魅族数据团队、盛大数据中心等。项目方面，作为骨干员工参与过腾讯TDW分布式数据仓库建设和微信数据分析；作为tech lead，帮助广发、盛大和魅族等企业从零开始搭建了大数据平台，并利用该平台协助上述企业将数据价值落地。
Z. Tan 博士 —— CTO，算法专家
专注于机器学习与人工智能技术，09年在香港大学取得博士，曾任职香港ASTRI（香港应用科技研究院）、StatsMaster等单位。在StatsMaster任职Senior Researcher期间，作为Technical Leader带领团队开发了体育视频智能分析系统，申请了多项与模式识别、智能分析相关的专利。曾作为魅族算法团队负责人，帮助魅族从无到有建立了推荐系统、舆情分析系统、与广告竞价系统等多套数据算法。目前在一家初创VR企业担任CTO职位。
课程大纲
| 数据平台 |
1. 引言：大数据的基本概念、历史和发展 从传统数据仓库概念，如何演进到大数据的概念，以及大数据的4V等特性；传统数据仓库技术体系和大数据之间有什么区别？现在大数据带来了哪些改变，以及今后大数据会如何发展，如何改变我们的生活？ 2. 大数据平台整体组成 要想玩转大数据，平台至关重要。如何从零开始一步一步搭建一个大数据平台？它由哪些部分组成？每个部分的功能定义是什么、为什么这么设计？ 3. 大数据平台的核心“三大件”原理和架构 大数据平台最核心的三个组件当属数据计算和存储系统、数据任务调度系统、数据交换和传输系统了。这三个系统的工作原理和详细架构是怎样？在实践中会遇到哪些问题？如何提高他们的性能？ 4. 大数据平台组件的延伸以及拓展 要想真正发挥大数据平台的威力，除了大数据平台核心“三大件”以外，其他组件也必不可少，比如元数据管理系统、集成开发平台、报表组件、数据质量管理系统、权限系统、数据安全管理、统一监控和告警系统等等。这些系统该按照什么样的顺序搭建？如何决定这些系统的技术路线？如何打通这么多子系统，让大数据平台成为一个整体？ 5. 大数据实时处理系统的案例实践 随着数据业务的发展，传统T+1延迟的离线数据仓库已经不能满足业务的需求，数据系统的实时性问题越来越被人们所关注。不过，提高数据的实时性势必带来很多新的挑战，比如如何简化实时系统的复杂度、如何保证其可靠性、如何降低实时数据开发难度、如何平衡成本和性能等等。本小节将以一个实际的案例为基础，讲授如何打造一个高效、可靠的大数据实时处理系统。 |
| 数据分析与数据价值 |
1. 引言：大数据分析方法论以及几个案例 本章将通过几个数据分析的实际案例/故事，来讲述数据分析过程中可能会遇到的困难、怎样去解决这些困难、并由此总结出几种实用的数据分析解决方案。 2. 如何让数据价值在企业落地 很多企业都有大数据落地难的问题。明明投入了这么多，但很少发现有价值的产出。是什么原因造成了这样的困境？如何摆脱这样的困境，行之有效的实现数据价值的最大化？ 3. 数据价值的不同场景和不同维度，以及案例分析 数据价值在不同场景下有不同的表现，同时也有不同的维度去度量它。本小节将带来数个案例，分别讲述在不同场景、不同维度下如何让数据产生价值。让听课者能够场景化的体会数据价值的落地过程。 4. 大数据建模 如何从一个实际的业务问题出发，完成从领域模型到数据模型的转换：需要收集哪些数据，定义哪些关键指标，以及何组织和存储这些数据。 5. 如何打造数据团队 数据团队在发展过程中，不同时期的人员构成比例是怎样的；和一般的团队相比，数据团队有哪些特点；如何树立团队的影响力、以及和其他团队/部门的沟通技巧等。 6. 数据思维 数据思维是什么？如何让大家都会用数据、懂数据？如何去培养全员的数据思维？有了数据思维有什么好处？ |
| 数据挖掘 |
1. 引言：数据挖掘中的务实与务虚 通过数据挖掘的获得的价值有很多，表现在很多方面，总体归结为实与虚两类。本小节将讲诉什么是务实？什么是务虚？并以几个案例展开阐述在公司不同的发展阶段，该如何实现务实业务与务虚业务的最佳结合。 2. 无监督机器学习及案例 无监督机器学习技术常常用于数据的探索、降维，本小节着重描述数据挖掘中常常用到的哪些无监督学习方法及技术。将结合多个案例，介绍几种无监督学习技术的原理、工具以及应用实例。 3. 有监督机器学习及案例 有监督机器学习技术在数据挖掘中占有重要的地位，它通过学习历史数据来建立各种预测模型。本小节重点阐述数据挖掘中常常用到的有监督学习方法、技术及工具。将结合多个案例，介绍多种有监督学习技术的原理、工具以及案例。 4. 个性化推荐系统：不同业务场景下的个性化推荐解决方案 在各大互联网公司中，个性化推荐往往是使用最广泛的数据挖掘应用。本文讲从详细阐述个性化推荐系统的历史发展、原理、常用技术，并结合几种不同业务场景，详细介绍如何搭建适合不同业务场景下个性化推荐系统。 5. 深度学习及案例 深度学习是近十年人工智能领域中取得的一个重大突破。它的出现极大的增强了对数据的理解力。本小节将结合案例简要介绍深度学习的发展历史、原理、难点、常用工具以及相关应用。 6. 综合案例：从海量互联网数据中挖掘有用的舆情信息 本文将以一个完整的舆情分析系统为案例，系统性的阐述了如何将以上学习到的无监督学习技术、有监督学习技术以及深度学习技术结合起来，建立一个实用的、功能完备的数据挖掘系统。 |
|
数据平台 1. 引言：大数据的基本概念、历史和发展 从传统数据仓库概念，如何演进到大数据的概念，以及大数据的4V等特性；传统数据仓库技术体系和大数据之间有什么区别？现在大数据带来了哪些改变，以及今后大数据会如何发展，如何改变我们的生活？ 2. 大数据平台整体组成 要想玩转大数据，平台至关重要。如何从零开始一步一步搭建一个大数据平台？它由哪些部分组成？每个部分的功能定义是什么、为什么这么设计？ 3. 大数据平台的核心“三大件”原理和架构 大数据平台最核心的三个组件当属数据计算和存储系统、数据任务调度系统、数据交换和传输系统了。这三个系统的工作原理和详细架构是怎样？在实践中会遇到哪些问题？如何提高他们的性能？ 4. 大数据平台组件的延伸以及拓展 要想真正发挥大数据平台的威力，除了大数据平台核心“三大件”以外，其他组件也必不可少，比如元数据管理系统、集成开发平台、报表组件、数据质量管理系统、权限系统、数据安全管理、统一监控和告警系统等等。这些系统该按照什么样的顺序搭建？如何决定这些系统的技术路线？如何打通这么多子系统，让大数据平台成为一个整体？ 5. 大数据实时处理系统的案例实践 随着数据业务的发展，传统T+1延迟的离线数据仓库已经不能满足业务的需求，数据系统的实时性问题越来越被人们所关注。不过，提高数据的实时性势必带来很多新的挑战，比如如何简化实时系统的复杂度、如何保证其可靠性、如何降低实时数据开发难度、如何平衡成本和性能等等。本小节将以一个实际的案例为基础，讲授如何打造一个高效、可靠的大数据实时处理系统。 |
|
数据分析与数据价值 1. 引言：大数据分析方法论以及几个案例 本章将通过几个数据分析的实际案例/故事，来讲述数据分析过程中可能会遇到的困难、怎样去解决这些困难、并由此总结出几种实用的数据分析解决方案。 2. 如何让数据价值在企业落地 很多企业都有大数据落地难的问题。明明投入了这么多，但很少发现有价值的产出。是什么原因造成了这样的困境？如何摆脱这样的困境，行之有效的实现数据价值的最大化？ 3. 数据价值的不同场景和不同维度，以及案例分析 数据价值在不同场景下有不同的表现，同时也有不同的维度去度量它。本小节将带来数个案例，分别讲述在不同场景、不同维度下如何让数据产生价值。让听课者能够场景化的体会数据价值的落地过程。 4. 大数据建模 如何从一个实际的业务问题出发，完成从领域模型到数据模型的转换：需要收集哪些数据，定义哪些关键指标，以及何组织和存储这些数据。 5. 如何打造数据团队 数据团队在发展过程中，不同时期的人员构成比例是怎样的；和一般的团队相比，数据团队有哪些特点；如何树立团队的影响力、以及和其他团队/部门的沟通技巧等。 6. 数据思维 数据思维是什么？如何让大家都会用数据、懂数据？如何去培养全员的数据思维？有了数据思维有什么好处？ |
|
数据挖掘 1. 引言：数据挖掘中的务实与务虚 通过数据挖掘的获得的价值有很多，表现在很多方面，总体归结为实与虚两类。本小节将讲诉什么是务实？什么是务虚？并以几个案例展开阐述在公司不同的发展阶段，该如何实现务实业务与务虚业务的最佳结合。 2. 无监督机器学习及案例 无监督机器学习技术常常用于数据的探索、降维，本小节着重描述数据挖掘中常常用到的哪些无监督学习方法及技术。将结合多个案例，介绍几种无监督学习技术的原理、工具以及应用实例。 3. 有监督机器学习及案例 有监督机器学习技术在数据挖掘中占有重要的地位，它通过学习历史数据来建立各种预测模型。本小节重点阐述数据挖掘中常常用到的有监督学习方法、技术及工具。将结合多个案例，介绍多种有监督学习技术的原理、工具以及案例。 4. 个性化推荐系统：不同业务场景下的个性化推荐解决方案 在各大互联网公司中，个性化推荐往往是使用最广泛的数据挖掘应用。本文讲从详细阐述个性化推荐系统的历史发展、原理、常用技术，并结合几种不同业务场景，详细介绍如何搭建适合不同业务场景下个性化推荐系统。 5. 深度学习及案例 深度学习是近十年人工智能领域中取得的一个重大突破。它的出现极大的增强了对数据的理解力。本小节将结合案例简要介绍深度学习的发展历史、原理、难点、常用工具以及相关应用。 6. 综合案例：从海量互联网数据中挖掘有用的舆情信息 本文将以一个完整的舆情分析系统为案例，系统性的阐述了如何将以上学习到的无监督学习技术、有监督学习技术以及深度学习技术结合起来，建立一个实用的、功能完备的数据挖掘系统。 |
近期公开课推荐