EDA-L1-2016PPT课件

.
+ 散点图
9
Total bill vs. Tips 你的预期：非常强的正相关 实际情况：较强的正相关，变异
也不小 变异部分：右下角的样本点多于
左上角的样本点 结论：more customers are
cheap rather than generous.
.

+ 散点图矩阵
10
Total bill vs. Tips
.
find out the variables which best predict the tip that a dining party will give to the waiter.
+ 统计建模
5
Modeling
tip rate = 0.18 - 0.01×size
我们得到了什么？ 解释 ＋ 预测
8
10
8
9
9
9
8
9
9
8
8
10
9
10
9
9
9
10
9
9
9
7
8
8
8
8
5
9
8
9
8
8
8
10
10
4
7
10
2
10 10
7
10
3
10 10 10
9
3
10
…
…
…
…
…
….
…
…
…
…
…
… 34…
…
…
…
一头 雾水
• 主成分分析：提取第一主成分、构造综合指数
40号（4.45） 39号（4.23） 23号（3.73） 8号（3.72） 22号（3.55） 2号（3.50） 24号（3.33） 7号（3.17） 9号（2.61） 10号（2.43）
experiments
.
+
拿到数据后，你打算做些什么？
——数据分析的流程是什么？
.
14
15
.
+ 新的例子
二手房房价
.
16
现
17
实
.
数据 18
.
数据 19
.
EDA
20
.
EDA
21
.
数据 22
.
建模
23
.
建模
24
.
报告
25
.
报告
26
.
产品
27
？？
.
+ 总结
28
Exploratory Data Analysis (EDA) is an approach to analyzing data sets to summarize their main characteristics, often with visual methods.
.
+ 数据分析的策略
13
探索性数据分析（EDA）：不对客观数据进行假定或只做极少的假定
The objectives of EDA are to:
Suggest hypotheses about the causes of observed phenomena Assess assumptions on which statistical inference will be based Support the selection of appropriate statistical tools and techniques Provide a basis for further data collection through surveys or
.
Multidimensional scaling Targeted projection pursuit Principal component analysis Multilinear PCA Projection methods such as grand
tour, guided tour and manual tour Interactive versions of these plots
工作 经验
工作 魄力
志向 抱负
理解 能力
潜能
求职 渴望度
适应力
1
6
7
2
5
8
7
8
8
3
8
9
7
5
7
10
2
9
10
5
8
10
9
9
10
5
9
9
8
8
8
10
3
7
8
3
6
9
8
9
7
4
9
9
8
6
8
10
4
5
6
8
5
6
5
9
2
8
4
5
8
7
6
5
5
6
8
8
8
4
4
9
5
8
5
5
8
8
7
7
6
7
7
7
6
8
7
10
5
9
6
5
8
6
6
6
7
9
9
8
8
8
8
8
8
10
8
10
8
9
.
+
除此之外，我们还能做些什么？
.
6
+ 直方图
7
以1美元为间隔 现象：集中在2-3美元，
明显右偏 结论： 大多数顾客给的小费在2-
3美元（集中趋势） 有少数顾客会付出很高的
小费（明显右偏）
.
+ 直方图
8
以10美分为间隔 更有意思的现象： 峰值出现在整数、半数美
元之处 结论： 顾客倾向于“四舍五入”
+
探索性数据分析
中央财经大学统计与数学学院 关 蓉 2016年 .
+ 数据分析 是什么？？
.
2
+
举个例子：小费
To Insure Promptitude （为保证及时）
.
+ Tip dataset
4
tip total bill gender smoking status time of day day of the week size of the party
+ 课程纲要
30
主成分分析、因子分析 对应分析、多维尺度 独立成分分析
.
+ 学习资料
31
课件
经典教材
网络资源：
MOOC 狗熊会 其他优质资源
.
大数据统计分析基础
主成分分析与因子分析
48名应聘者的打分表
应聘者 简历 编号 格式
外观
学术 能力
兴趣 爱好
自信心 洞察力 诚信度
销售 能力
.
+ Typical techniques used in EDA
29
Box plot Histogram Multi-vari chart Run chart Pareto chart Scatter plot Stem-and-leaf plot Parallel coordinates Odds ratio
by Gender by Smoking Party
现象和结论：
烟民付出的小费金额差异较大 男性付出的小费金额高于女性 不抽烟的女性给小费的行为习惯
是比较一致的。
.
+ 我们得到了什么？
11
对数据的直观认识
More insights！
Better stories！
.
+ 数据分析的策略
12
“假定－模拟－检验”：要求数据在总体上服从某种分布，若不 满足，采用稳健的或非参数方法来解决——验证性数据分析 （Confirmatory Data Analysis，简称CDA）
面对高维数据时……
计算量迅速增大，而且不可能将其画出可视的分布图或其他图形 即使数据的样本点很多，散在高维空间中仍显得非常稀疏 低维时稳健性很好的统计方法，到了高维，其稳健性就变差了