工程师
其他
需求分析
数据分析
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

数据分析和数据挖掘项目实战

刘飞

某知名咨询公司 云平台系统架构师

毕业于⼤连理⼯⼤学
简介:
精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。
有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数
据中台项⽬架构实施经验,
⽬前任职国内知名咨询公司,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术
栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施
最近主要项⽬介绍:
某移动⼤数据平台架构设计和设施 (Hadoop、Spark)
四⼤⾏之⼀的数据湖咨询和实施
某⼤型商业银⾏数据中台咨询
某银⾏基于开源⼤数据技术栈数据中台的咨询和实施
某航空公司数据平台流批⼀体解决⽅案和实施
特长:
在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据
中台等⽅⾯有丰富经 验。

毕业于⼤连理⼯⼤学 简介: 精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。 有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数 据中台项⽬架构实施经验, ⽬前任职国内知名咨询公司,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术 栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施 最近主要项⽬介绍: 某移动⼤数据平台架构设计和设施 (Hadoop、Spark) 四⼤⾏之⼀的数据湖咨询和实施 某⼤型商业银⾏数据中台咨询 某银⾏基于开源⼤数据技术栈数据中台的咨询和实施 某航空公司数据平台流批⼀体解决⽅案和实施 特长: 在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据 中台等⽅⾯有丰富经 验。

课程费用

5800.00 /人

课程时长

5天

成为教练

课程简介

聚焦真实业务场景下的数据分析与挖掘全流程能力构建。课程为期5天,采用“理论精讲+工具实操+项目驱动”的立体化教学模式。前1-2天,讲师系统讲解核心技术、常用算法应用场景与特征工程构建方法,结合案例剖析数据概况分析与需求拆解思路;后3-5天,学员从5个真实行业项目中任选其一,在讲师全程指导下完整走通需求分析、数据处理、模型建设、模型优化与成果汇报的实战闭环。课程依托Jupyter等主流工具,强调“做中学”,帮助学员将方法论转化为可交付成果,具备独立承担数据分析与挖掘项目的能力。

目标收益

培训对象

课程大纲

Day1 数据分析和挖掘常用的工具 Jupyter工具介绍和使用
Numpy基本使用
Pandas基本使用
—数据加载与处理
—Pandas分组与合并
—Pandas时间序列
Matplotlib基本使用
Scikit-Learn基本
PySpark工具介绍
Day2 常用数据挖掘算法介绍和实战 常用算法的应用场景介绍
聚类算法
—K-Means介绍
回归算法介绍和实战
—线性回归
—逻辑回归
决策树算法介绍和实战
随机森林算法介绍和实战
神经网络算法介绍和实操
贝叶斯算法介绍和实操
Day2 数据特征工程构建 数据特征工程构建方法论
字典特征抽取
文本特征抽取CountVectorizer
中文文本特征抽取
文本特征抽取TfidfVevtorizer
数据预处理-归一化
数据预处理-标准化
主成分分析
Day3-Day5
学员分组选择实战项目实操
实战项目一:数据分析营销项目
一、数据概况分析
• 数据概况
• 数据清洗
二、单变量分析
• 观察样本0、1的平衡性
• 观察均值大小
• 可视化
三、相关性分析和可视化
四、逻辑回归模型的建立和评估
• 模型建立
• 模型评估
• 模型优化
五、业务价值
Day3-Day5
学员分组选择实战项目实操
项目实战二:用户消费行为数据分析项目
项目介绍和需求分析
数据介绍和数据导入
数据预处理
用户个体消费数据分析
用户消费行为数据分析
用户分层RFM模型
新用户、活跃用户、回流用户和用户流失分析
用户购买周期分析
用户生命周期分析
用户复购率分析
用户回购分析
用户营销和推荐分析
项目总结和报告撰写
Day3-Day5
学员分组选择实战项目实操
项目实战三:用户流失模型项目
项目介绍和需求分析
数据介绍和数据导入
流失模型构建
数据清洗和转换
空值和异常值处理
数据归一化
特征提取
特征的降维和升维
文本的数据化
决策树和随机森林介绍
模型特征工程构建
基于PySpark的用户流失模型开发
模型测试
Day3-Day5
学员分组选择实战项目实操
项目实战四:信用评估与信贷审批项目
业务场景分析
数据质量检查
数据特征工程构建
模型实战(逻辑模型、决策树模型、随机森林模型)
模型测试和优化
Day3-Day5
学员分组选择实战项目实操
项目实战五:信用卡消费数据分析和挖掘项目
消费能:月均消费额、月均消费标准差、单笔最大金额
活跃度‌:月均交易笔数、活跃天数
消费偏好‌:按商户类型(餐饮、购物、文旅等)计算消费金额占比
行为特征‌:夜间交易比例、周末消费比例、平均单笔金额
客户分群‌:识别高价值、潜力、低活跃、高风险客户,做差异化经营
营销优化‌:提升响应率、激活睡眠户、精准推荐产品
‌消费洞察‌:理解消费偏好、趋势,辅助产品和权益设计
Day1 数据分析和挖掘常用的工具
Jupyter工具介绍和使用
Numpy基本使用
Pandas基本使用
—数据加载与处理
—Pandas分组与合并
—Pandas时间序列
Matplotlib基本使用
Scikit-Learn基本
PySpark工具介绍
Day2 常用数据挖掘算法介绍和实战
常用算法的应用场景介绍
聚类算法
—K-Means介绍
回归算法介绍和实战
—线性回归
—逻辑回归
决策树算法介绍和实战
随机森林算法介绍和实战
神经网络算法介绍和实操
贝叶斯算法介绍和实操
Day2 数据特征工程构建
数据特征工程构建方法论
字典特征抽取
文本特征抽取CountVectorizer
中文文本特征抽取
文本特征抽取TfidfVevtorizer
数据预处理-归一化
数据预处理-标准化
主成分分析
Day3-Day5
学员分组选择实战项目实操
实战项目一:数据分析营销项目
一、数据概况分析
• 数据概况
• 数据清洗
二、单变量分析
• 观察样本0、1的平衡性
• 观察均值大小
• 可视化
三、相关性分析和可视化
四、逻辑回归模型的建立和评估
• 模型建立
• 模型评估
• 模型优化
五、业务价值
Day3-Day5
学员分组选择实战项目实操
项目实战二:用户消费行为数据分析项目
项目介绍和需求分析
数据介绍和数据导入
数据预处理
用户个体消费数据分析
用户消费行为数据分析
用户分层RFM模型
新用户、活跃用户、回流用户和用户流失分析
用户购买周期分析
用户生命周期分析
用户复购率分析
用户回购分析
用户营销和推荐分析
项目总结和报告撰写
Day3-Day5
学员分组选择实战项目实操
项目实战三:用户流失模型项目
项目介绍和需求分析
数据介绍和数据导入
流失模型构建
数据清洗和转换
空值和异常值处理
数据归一化
特征提取
特征的降维和升维
文本的数据化
决策树和随机森林介绍
模型特征工程构建
基于PySpark的用户流失模型开发
模型测试
Day3-Day5
学员分组选择实战项目实操
项目实战四:信用评估与信贷审批项目
业务场景分析
数据质量检查
数据特征工程构建
模型实战(逻辑模型、决策树模型、随机森林模型)
模型测试和优化
Day3-Day5
学员分组选择实战项目实操
项目实战五:信用卡消费数据分析和挖掘项目
消费能:月均消费额、月均消费标准差、单笔最大金额
活跃度‌:月均交易笔数、活跃天数
消费偏好‌:按商户类型(餐饮、购物、文旅等)计算消费金额占比
行为特征‌:夜间交易比例、周末消费比例、平均单笔金额
客户分群‌:识别高价值、潜力、低活跃、高风险客户,做差异化经营
营销优化‌:提升响应率、激活睡眠户、精准推荐产品
‌消费洞察‌:理解消费偏好、趋势,辅助产品和权益设计
提交需求