大数据分析与数据挖掘能力提升实战

【课程大纲】**部分：解构大数据1、 大数据时代已经来临

2、 大数据的三层理解

Ø 理论层：以数据为基础

Ø 技术层：以平台为手段

Ø 应用层：以应用为导向

3、 大数据的4V特征

4、 大数据的核心价值

Ø 发现业务运行规律

Ø 预测事物未来

5、 大数据在各行业是如何应用的

Ø 医疗卫生

Ø 政治军事

Ø 行政执法

Ø 金融银行

Ø ……

6、 数据分析的核心理念

Ø 数据变化意味着业务变化

Ø 数据间关系意味着因素间的关系

7、 大数据战略

Ø 大数据成为企业的核心资产

Ø 大数据成为业务创新的核心引擎

Ø 从数据化运营到运营数据

8、 大数据的思维变革

Ø 定量思维

Ø 相关思维

Ø 实验思维

Ø ……

9、 大数据的商业模式分析

10、 大数据的人才培养

第二部分：数据分析篇问题：数据分析是神马?数据分析基本过程？

1、 数据分析面临的常见问题

2、 认识数据分析

Ø 什么是数据分析

Ø 数据分析的三大作用

Ø 数据分析的三大类别

案例：喜欢赚“差价”的营业员

3、 数据分析的六步曲

Ø 明确目的

Ø 收集数据

Ø 处理数据（预处理）

Ø 分析数据

Ø 呈现数据（可视化）

Ø 撰写报告

案例：终端精准营销项目过程讨论

4、 数据分析师需要什么样的能力

Ø 懂业务、懂管理、懂分析、懂工具、懂呈现

5、 大数据应用系统的四层结构

Ø 数据基础层、数据模型层、业务模型层、业务应用层

6、 数据分析方法的层次

Ø 基本分析法（对比/分组/结构/趋势/…）

Ø 综合分析法（交叉/综合评价/杜邦/漏斗/…）

Ø 高级分析法（相关/方差/验证/回归/时序/…）

Ø 数据挖掘法（聚类/分类/关联/RFM模型/…）

7、 基本分析方法及其适用场景

Ø 对比分析（查看数据差距）

演练：按性别、省份、产品进行分类统计

Ø 分组分析（查看数据分布）

演练：银行信用卡月消费分析（银行）

演练：呼叫中心接听电话效率分析（呼叫中心）

演练：客服中心科学排班人数需求分析（客服中心）

演练：客户年龄分布分析

案例：排班后面隐藏的猫腻

Ø 结构分析（评估事物构成）

案例：用户市场占比结构分析

案例：物流费用占比结构分析（物流）

Ø 趋势分析（发现变化规律）

案例：破解零售店销售规律

8、 综合分析方法及其适用场景

Ø 交叉分析（两维分析）

演练：用户性别 地域分布分析

Ø 综合评价法（多维指标归一）

演练：人才选拔评价分析（HR）

案例：南京丈母娘选女婿分析表格

Ø 杜邦分析法（关键因素分析-财务数据分析）

案例：电信市场占有率分析

演练：服务水平提升分析（呼叫中心）

案例：销售额的影响因素分析（零售店/电商）

Ø 漏斗分析法（关键流程环节分析-流失率与转化率分析）

演练：终端销售流程分析（电信营业厅）

案例：业务办理流程优化分析（银行营业厅）

案例：物流配送效率分析（物流）

Ø 矩阵分析法（产品策略分析-象限图分析法）

案例：工作安排评估

案例：HR人员考核与管理

案例：波士顿产品策略分析

9、 **合适的分析方法才是硬道理。

10、 数据分析思路（如何细化业务问题）

案例：利用5W2H来分析产品销售情况

第三部分：概率与数理统计篇1、 数据统计指标

Ø 集中程度：平均数/中位数/众数

Ø 离散程度：全距/四分位距/标准差/四分位

Ø 分布形态：偏度/峰度

Ø 正确理解各指标的含义

案例：如何用Excel计算统计指标

案例：如何用Excel画直方图

2、 概率论基本知识

Ø 随机事件与概率

Ø 古典概率与条件概率

Ø 全概率公式与贝叶斯公司

Ø 概率分布函数

Ø 数学期望与方差

Ø 大数定律与中心极限定理

3、 参数检验分析

Ø 假设检验概述

Ø 假设检验步骤

Ø 样本T检验（单样本、两独立样本、两配对样本）及适用场景

案例：电信运营商ARPU值评估分析（单样本）

案例：营销活动前后分析（两配对样本）

案例：吸烟与胆固醇升高的分析（两独立样本）

4、 非参数检验分析

Ø 非参数检验概述

Ø 样本检验（单样本、两独立样本、两相关样本）

案例：产品合格率检验（单样本-二项分布）

案例：训练新方法有效性检验（两配对样本-符号/秩检验）

案例：促销方式效果检验(多相关样本-Friedman检验)

案例：客户满意度差异检验(多相关样本-Cochran Q检验)

第四部分：高级数据分析本篇包含三大内容：影响因素分析，数值预测模型。

1、 相关分析（衡量变量间的的相关性）

问题：营销费用会影响销售额吗？影响程度大吗？

Ø 什么是相关关系

Ø 相关系数：衡量相关程度的指标

Ø 相关分析的步骤与计算公式

Ø 相关分析应用场景

演练：体重与腰围的关系

演练：营销费用与销售额的关系

2、 方差分析

问题：哪些才是影响销量的关键因素？

Ø 方差分析解决什么问题

Ø 方差分析种类：单因素/双因素可重复/双因素无重复

Ø 方差分析的应用场景

Ø 如何解决方差分析结果

演练：产品摆放位置与销量有关吗？（单因素方差分析）

案例：2015年大学生工资与父母职业的关系

3、 回归分析（预测）

问题：如何预测未来的销售量（定量分析）？

Ø 回归分析的基本原理和应用场景

Ø 回归分析的种类（一元/多元、线性/曲线）

Ø 回归分析的几种常用方法

Ø 回归分析的五个步骤与结果解读

Ø 回归预测结果评估（如何评估预测质量，如何选择**回归模型）

演练：散点图找推广费用与销售额的关系（一元线性回归）

演练：推广费用、办公费用与销售额的关系（多元线性回归）

演练：**选择的预测销售额的回归模型（一元曲线回归）

Ø 回归分析（带分类变量）

案例：汽车销量的季度预测

演练：工龄、性别与终端销量的关系

讨论：终端销售预测分析（营业厅）

4、 时序分析（预测）

问题：随着时间变化，未来的销量变化趋势如何？

Ø 时序分析的应用场景（基于时间的变化规律）

Ø 移动平均的预测原理

Ø 指数平滑的预测原理

案例：销售额的时序预测及评估

演练：产品销量预测及评估第五部分：建立预测模型与模型优化（Excel工具）本篇包含内容：数值预测建模、模型优化，季节性预测模型、S曲线预测模型。

1、 常见预测模型类别

Ø 数值预测

Ø 分类预测

2、 回归分析建模

Ø 寻找**回归拟合线来判断和预测

Ø 模型优化七步法（因素、异常值、相互作用、非线性关系…）

案例：汽车销量预测分析

案例：工龄、性别与销量的回归分析

3、 季节性预测模型

Ø 季节性预测模型的参数

Ø 常用季节性预测模型（相加模型、相乘模型）

案例：美国航空旅客里程的季节性趋势分析

案例：产品销售季节性趋势预测分析

4、 新产品销量预测与S曲线

Ø 如何评估销量增长的拐点

Ø 常用模型（珀尔曲线、龚铂兹曲线）

案例：预测IPad产品的销售增长拐点，以及销量上限

5、 规划求解与自定义模型

案例：大数据下的产品定价方法

案例：如何对客流量进行建模及模型优化

第五部分：数据挖掘篇（SPSS工具使用）1、 数据挖掘概述

2、 数据挖掘的标准流程

Ø 商业理解

Ø 数据准备

Ø 数据理解

Ø 模型建立

Ø 模型评估

Ø 模型应用

案例：通信客户流失分析及预警模型

3、 聚类分析（市场细分与客户细分）

问题：如何实现客户细分，开发符合细分市场的新产品？

Ø 聚类分析及其作用

Ø 聚类分析的种类

Ø 层次聚类：发现多个类别

Ø R型聚类与Q型聚类的区别

演练：中国省市经济发展情况分析（Q型聚类）

演练：裁判评分的标准衡量（R型聚类）

Ø K均值聚类

演练：宝洁公司如何选择新产品试销区域？

演练：如何评选优秀员工？

4、 分类分析

案例：美国零售商（Target）如何预测少女怀孕

问题：如何提取客户流失者、拖欠货款者的特征？如何预测其流失的概率？

Ø 分类与聚类

Ø 决策树分类的原理

Ø 如何评估分类性能

演练：识别银行欠货风险，提取欠货者的特征

5、 关联分析

案例：啤酒与尿布、飓风与蛋挞

问题：购买面包的人是否也会购买牛奶？他们同时购买哪些产品？

Ø 关联分析解决什么样的问题

Ø 如何提取关联规则

Ø 关联规则的应用场景

案例：超市商品交叉销售与布局优化（关联分析）

6、 RFM模型

问题：如何评估客户的价值？如何针对不同客户采取不同的营销策略？

Ø RFM模型介绍

Ø RFM的客户细分框架理解

演练：淘宝客户选择促销客户的方式

演练：结合响应模型，宜家IKE实现**大化营销利润

第六部分：数据挖掘实战篇（Modeler工具实操）1、 数据挖掘处理的一般过程

Ø 数据源à数据理解à数据准备à探索分析à数据建模à模型评估

2、 数据读入

3、 数据集成

Ø 变量合并（增加变量）

Ø 数据追加（添加记录）

4、 数据理解

Ø 取值范围限定

Ø 重复数据处理

Ø 缺失值处理

Ø 无效值处理

Ø 离群点和极端值的修正

Ø 数据质量评估

5、 数据准备：数据处理

Ø 数据筛选：数据抽样/选择（减少样本数量）

Ø 数据精简：数据分段/离散化（减少变量的取值）

Ø 数据平衡：正反样本比例均衡

Ø 其它：排序、分类汇总

6、 数据准备：变量处理

Ø 变量变换：原变量值更新

Ø 变量派生：生成新的变量

Ø 变量精简：降维，减少变量个数

7、 基本分析

Ø 单变量：数据基本描述分析

Ø 双变量：相关分析、方差分析、卡方检验（列联检验）

Ø 变量精简：特征选择、因子分析

案例：通信基本费用与开通月数的相关分析

案例：开通月数对客户流失的影响分析

案例：套餐类型对对客户流失的影响分析

8、 特征选择

Ø 特征选择方法：选择重要变量，剔除不重要的变量

Ø 从变量本身考虑

Ø 从输入变量与目标变量的相关性考虑

9、 因子分析（主成分分析）

Ø 因子分析的原理

Ø 因子个数如何选择

Ø 如何解读因子含义

案例：提取影响电信客户流失的主成分分析

10、 常见分类预测模型

Ø 分类预测基本过程

Ø 如何评估分类模型的性能（查准率、查全率）

11、 决策树分类

Ø 决策树分类原理

Ø 决策树构建的三个关键问题

Ø 决策树算法

案例：识别银行欠货风险，提取欠货者的特征

案例：客户流失预警与客户挽留模型

12、 神经网络

Ø 神经网络概述

Ø 神经元工作原理

Ø BP反向传播网络（MLP）

Ø 径向基函数网络（RBF）

13、 支持向量机

14、 贝叶斯分类

实战：电信客户流失分析与预警模型

结束：课程总结与问题答疑。

傅一航老师的其它课程