Python数据建模(时序篇)
Python数据建模(时序篇)详细内容
Python数据建模(时序篇)
Python数据建模(时序模型篇)【课程目标】
本课程为中级课程《大数据建模》的第二篇:时序篇
本课程主要讲解如何利用Python进行时间序列的数据建模,帮助学员构建系统全面的预测建模思维,提升学员的数据建模综合能力。
本系列课程从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,对数据预测建模的过程进行了全面的介绍(从模型选择,到属性选择,再到训练模型,评估模型以及优化模型),通过大量的操作演练,帮助学员掌握数据建模的思路、方法、技巧,以提升学员的数据建模的能力,支撑运营决策的目的。
通过本课程的学习,达到如下目的:
掌握数据建模的标准流程。
掌握时序预测建模的基本思想,理解因素分解的思路。
掌握常用的趋势拟合模型。
掌握常用的季节预测模型,能够进行季节周期性的时序建模。
深刻理念平稳序列的概念,以及平稳性检验。
掌握平稳序列的模型识别,以及模型定阶。
掌握时序预测模型的评估,以及优化。
掌握高级时序模型的训练与建模。
【授课时间】
2天时间
(要根据学员的实际情况调整重点内容及时间)
【授课对象】
业务支撑部、运营分析部、数据分析部、IT系统部、大数据系统开发部等相关技术人员。
【学员要求】
每个学员自备一台便携机(必须)。
便携机中事先安装好Python 3.9版本及以上。
安装好Numpy,Pandas,statsmodels,sklearn,scipy,keras等扩展库。
注:讲师现场提供分析的代码和数据源。
【授课方式】
建模流程+ 案例演练 + 开发实践 + 可视化呈现
采用互动式教学,围绕业务问题,展开数据分析过程,全过程演练操作,让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。
【课程大纲】
预测建模基础
数据建模六步法
选择模型:基于业务选择恰当的数据模型
属性筛选:选择对目标变量有显著影响的属性来建模
训练模型:采用合适的算法,寻找到最合适的模型参数
评估模型:进行评估模型的质量,判断模型是否可用
优化模型:如果评估结果不理想,则需要对模型进行优化
应用模型:如果评估结果满足要求,则可应用模型于业务场景
数据挖掘常用的模型
数值预测模型:回归预测、时序预测等
分类预测模型:逻辑回归、决策树、神经网络、支持向量机等
市场细分:聚类、RFM、PCA等
产品推荐:关联分析、协同过滤等
产品优化:回归、随机效用等
产品定价:定价策略/最优定价等
属性筛选/特征选择/变量降维
基于变量本身特征
基于相关性判断
因子合并(PCA等)
IV值筛选(评分卡使用)
基于信息增益判断(决策树使用)
训练模型及实现算法
模型原理
算法实现
评估模型
评估指标
评估方法
残差评估
模型优化
优化模型:选择新模型/修改模型
优化数据:新增显著自变量
优化公式:采用新的计算公式
模型应用
模型解读
模型保存/加载
模型应用/预测
好模型是优化出来的
时序模型评估
评估指标
判定系数:R2和R 2平均误差:MAE
根均方差:RMSE
平均误差率:MAPE
信息准则指标
赤池信息准则(Akaike Information Criterion,AIC)
贝叶斯信息准则(Bayesian Information Criterion,BIC)
HQIC(Hannan-Quinn Information Criterion,HQIC)
评估方法
滚动交叉验证法(cross validation)
其它评估
残差评估:白噪声评估
趋势预测模型
问题:无法找到影响因素,无法回归建模,怎么办?随着业务受季节性因素影响,未来的销量如何预测?
时间序列简介
时序预测的原理及应用场景
常见时序预测模型
趋势类预测模型
季节类预测模型
平稳时序预测模型
其它高级模型
移动平均
应用场景及原理
理解滑动窗口
移动平均种类
一次移动平均
二次移动平均
加权移动平均
移动平均比率法
移动平均关键问题
最佳期数N的选择原则
最优权重系数的选取原则
演练:销售额预测模型及评估
演练:快销产品季节销量预测及评估
指数平滑
应用场景及原理
最优平滑系数的选取原则
指数平滑种类
一次指数平滑
二次指数平滑(Brown线性)
三次指数平滑
演练:煤炭产量预测
Holt趋势模型(亦称二次指数平滑)
Holt线性模型
Holt指数模型
阻尼线性趋势
阻尼指数趋势
季节预测模型
因素分解思想
时间序列的四个构成要素
长期趋势Trend
季节变动Seasonality
循环变动Circle
不规则变动Irregular
案例:时间序列的季节分解
Holt-Winters季节模型
三个组成部分
三个平滑因子
HW加法模型
适用场景
计算公式
超参优化
模型解读
HW乘法模型
HW指数模型
案例:航空飞行里程预测模型
案例:汽车销量预测模型
案例:沃尔玛收益预测模型
基于回归的季节模型
相加模型
相乘模型
模型训练及优化
模型解读
平稳序列模型
平稳序列预测模型简介
序列平稳性概念
恒定的均值
恒定的标准差
与位置无关的协方差
序列平稳性检验
折线图法
ACF/PACF图
ADF检测法
特殊平稳序列:白噪声
案例:序列平稳性检验
案例:白噪声检验
平稳序列常用拟合模型
AR(p)自回归模型
MA(q)移动平均模型
ARMA(p,q)自回归移动平均模型
模型识别
ACF图
PACF图
模型定阶
图形定阶(ACF/PACF)
最小信息准则定阶
非平稳序列处理
平滑法
变量变换
差分运算:k步差分与d阶差分
ARIMA(p,d,q)建模流程
案例:上海证券交易所收盘价建模
SARIMA(p,d,q)(P,D,Q,S)模型
图形确定阶数
遍历确定阶数
时序模型总结
模型质量评估篇
回归模型的评估指标
三个基本概念:SSR/SST/SSE
两个判定系数:R^2,调整R^2
三个误差指标:MAE/MAPE/RMSE
平均绝对误差MAE
均方差MSE/RMSE
平均误差率MAPE
模型的评估方法
原始评估法
留出法(Hold-Out)
交叉验证法(k-fold cross validation)
自助采样法(Bootstrapping)
时间序列的滚动交叉验证
高级时序模型
Prophet模型介绍
趋势拟合
季节性预测
节假日和特殊事件的影响
离群值分析
案例:销售额时序预测模型
LSTM模型简介
数据集构造
形状构造
滚动预测
实战:广告点击量时序建模
结束:课程总结与问题答疑。
傅一航老师的其它课程
数据分析方法及生产运营实际应用 06.20
数据分析方法及生产运营实际应用【课程目标】本课程主要介绍数据分析在生产运营过程中的应用,适用于制造行业/保险行业的数据分析人员等。本课程的主要目的是,帮助学员了解大数据的本质,培养学员的数据意识和数据思维,掌握常用的统计分析方法和工具,以及生产、运营过程中的应用,并以概率的方式来进行决策,提升学员的数据分析及应用能力。本课程具体内容包括:数据决策逻辑,数据决
讲师:傅一航详情
数据建模及模型优化大赛辅导实战 06.20
大数据建模大赛辅导实战【课程目标】本课程主要面向专业人士的大数据建模竞赛辅导需求(假定学员已经完成Python建模及优化--回归篇/分类篇的学习)。通过本课程的学习,达到如下目的:熟悉大赛常用集成模型掌握模型优化常用措施,掌握超参优化策略掌握特征工程处理,以及对模型质量的影响掌握建模工程管道类(Pipeline,ColumnTransformer)的使用【授
讲师:傅一航详情
大数据时代下的精准营销(1天) 06.20
大数据时代的精准营销【课程目标】本课程从实际的市场营销问题出发,了解大数据在市场营销领域的价值以及应用。并对大数据分析与挖掘技术进行了介绍,通过从大量的市场营销数据中分析潜在的客户特征,挖掘客户行为特点,实现精准营销,帮助市场营销团队深入理解业务运作,支持业务策略制定以及营销决策。通过本课程的学习,达到如下目的:了解大数据营销内容,掌握大数据在营销中的应用。
讲师:傅一航详情
大数据时代下的精准营销(1天-金融行业) 06.20
大数据时代的精准营销【课程目标】本课程从实际的市场营销问题出发,了解大数据在市场营销领域的价值以及应用。并对大数据分析与挖掘技术进行了介绍,通过从大量的市场营销数据中分析潜在的客户特征,挖掘客户行为特点,实现精准营销,帮助市场营销团队深入理解业务运作,支持业务策略制定以及营销决策。通过本课程的学习,达到如下目的:了解大数据营销内容,掌握大数据在营销中的应用。
讲师:傅一航详情
大数据思维与商业模式创新,赋能企业增长 06.20
大数据决策思维与商业模式创新,赋能企业增长【课程目标】本课程主要帮助大家理解大数据的基本概念,着重探索大数据的本质,理解大数据的核心价值,以及掌握实现大数据价值的三个关键环节,大数据解决业务问题的六个步骤,然后聚焦大数据的七大核心思维,最后,再用案例说明了大数据在各行业的应用场景。大数据思维,让决策更科学!让管理更高效!让营销更精准!通过本课程的学习,达到如
讲师:傅一航详情
大数据思维与数字化转型(2天) 06.20
大数据思维与应用创新【课程目标】本课程主要帮助大家理解大数据的基本概念,着重探索大数据的本质,理解大数据的核心价值,以及掌握实现大数据价值的三个关键环节,大数据解决业务问题的六个步骤,然后聚焦大数据的七大核心思维,最后,再用案例说明了大数据在各行业的应用场景。大数据思维,让决策更科学!让管理更高效!让营销更精准!通过本课程的学习,达到如下目的:了解大数据基本
讲师:傅一航详情
大数据思维与应用创新(1天) 06.20
大数据思维与应用创新【课程目标】本课程主要帮助大家理解大数据的基本概念,着重探索大数据的本质,理解大数据的核心价值,以及掌握实现大数据价值的三个关键环节,大数据解决业务问题的六个步骤,然后聚焦大数据的七大核心思维,最后,再用案例说明了大数据在各行业的应用场景。大数据思维,让决策更科学!让管理更高效!让营销更精准!通过本课程的学习,达到如下目的:了解大数据基本
讲师:傅一航详情
大数据思维与应用创新(1天-金融) 06.20
大数据思维与应用创新【课程目标】本课程主要帮助大家理解大数据的基本概念,着重探索大数据的本质,理解大数据的核心价值,以及掌握实现大数据价值的三个关键环节,大数据解决业务问题的六个步骤,然后聚焦大数据的七大核心思维,最后,再用案例说明了大数据在各行业的应用场景。大数据思维,让决策更科学!让管理更高效!让营销更精准!通过本课程的学习,达到如下目的:了解大数据基本
讲师:傅一航详情
大数据挖掘工具:SPSSStatistics入门与提高【课程目标】本课程为数据分析和挖掘的工具篇,本课程面向数据分析部等专门负责数据分析与挖掘的人士,专注大数据挖掘工具SPSSStatistics的培训。IBMSPSS工具是面向非专业人士的高级的分析工具(挖掘工具),它提供大量的分析方法和分析模型,能够解决更复杂的业务问题,比如影响因素分析、客户行为预测/精
讲师:傅一航详情
金融行业风险预测模型实战培训(2-3天) 06.20
金融行业风险预测模型实战【课程目标】本课程专注于金融行业的风控模型,面向数据分析部等专门负责数据分析与建模的人士。本课程的主要目的是,培养学员的大数据意识和大数据思维,掌握常用的数据分析方法和数据分析模型,并能够用于对客户行为作分析和预测,提升学员的数据分析综合能力。通过本课程的学习,达到如下目的:掌握数据分析和数据建模的基本过程和步骤掌握客户行为分析中常用
讲师:傅一航详情
- [潘文富] 经销商终端建设的基本推进
- [潘文富] 中小企业招聘广告的内容完
- [潘文富] 优化考核方式,减少员工抵
- [潘文富] 厂家心目中的理想化经销商
- [潘文富] 经销商的产品驱动与管理驱
- [王晓楠] 辅警转正方式,定向招录成为
- [王晓楠] 西安老师招聘要求,西安各区
- [王晓楠] 西安中小学教师薪资福利待遇
- [王晓楠] 什么是备案制教师?备案制教
- [王晓楠] 2024年陕西省及西安市最
- 1社会保障基础知识(ppt) 21159
- 2安全生产事故案例分析(ppt) 20234
- 3行政专员岗位职责 19045
- 4品管部岗位职责与任职要求 16223
- 5员工守则 15461
- 6软件验收报告 15395
- 7问卷调查表(范例) 15113
- 8工资发放明细表 14554
- 9文件签收单 14195