探索性数据分析：数据科学中的 “福尔摩斯”（上）

·  正   ·  文   ·  来   ·  啦   ·

探索性数据分析——数据科学中的"福尔摩斯"

如果把数据科学比作一门武林绝学，那么探索性数据分析就是其中的基础招式，只有扎扎实实地修炼好这一招一式，才能在未来学习具体的功法时游刃有余。—— 导语

1977 年当代著名的统计学家 John W. Tukey 发布了一本名为《Exploratory Data Analysis》[1] 的书籍，从此探索性数据分析 ( Exploratory Data Analysis, EDA ) 慢慢地进入了大众的视野。到21世纪的今天，随着数据量的爆炸式增长，探索性数据分析已经成为了大数据领域中数据分析的主流方法。

图片来源 https://datascienceplus.com/wp-content/uploads/2016/12/outliers_effect-490x245.png

EDA 与经典统计数据非常不同。它不关注于拟合模型，参数估计或假设检验，而是关注 数据本身的信息 。和历经久远的传统统计方法相比，这个年轻的探索性数据分析方法，为何能够脱颖而出呢?

探索性数据分析的目的

我们思量了多种 EDA 的定义和其实际使用情况后，认为探索性数据分析的具体目的如下：

1. 检测 异常值 和 缺失值

2. 发掘 特征变量之间的关系

• • 特征变量与目标变量之间的关系

  • 除目标变量外，特征变量彼此之间的关系

3. 提取 重要的特征变量

4. 测试基本的假设

5. 初步选择合适的模型

因为在大多数 EDA 中，都主要关注于前三点。所以，在此我们也只重点关注前三点内容，具体地解释每一点会提出哪一些问题。

检测异常值和缺失值

异常值和缺失值都会 对后期的 模型产生影响 ，例如线性模型中的异常值，会影响线性回归方程的选择。

图片来源 https://datascienceplus.com/wp-content/uploads/2016/12/outliers_effect-490x245.png

解答问题是：

• 缺失值：如何发现缺失值？发现缺失值之后，应该如何处理缺失值？

• 异常值：如何发现异常值？发现异常值之后，应该如何处理异常值？

缺失值概念很好理解，重点在于发现存在缺失值之后，应该如何处理。通常有两种方法，一种是 删除 缺失值数据；另一种是， 估计 可能的值，然后填充缺失值。数据集中存在异常的数据。例如，对于年龄数据，小于0的数据，显然是异常的。异常值通常需要删除。

发掘特征变量之间的关系

解答问题是：

• 特征变量之间相关性的强弱程度如何？

• 特征变量与目标变量之间的关系是怎么样的？

提取重要的特征变量

对于目标问题而言，如何判断哪些特征变量是重要的？总的来说，与目标变量强相关的特征变量，通常是重要的特征变量。

其实，EDA 就好比数据科学中的福尔摩斯，作为侦探，你需要从你分析你掌握的各种信息，并且将这些信息联系在一起，破解最终的案件。同样的，EDA可以从理解数据，一步步从中查找出线索。

 最后留个问题供大家思考 ：

EDA、传统统计和贝叶斯分析方法，三者之间有什么不同？ 后台回复 “不同” ，可以获取答案。

Reference

• https://www.itl.nist.gov/div898/handbook/eda/eda.htm

• http://www.stat.cmu.edu/~hseltman/309/Book/chapter4.pdf

• https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/

• https://www.oreilly.com/library/view/practical-statistics-for/9781491952955/ch01.html

• https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/

最后给大家奉上 本系列思维导图。如需高清版本和源文件，可以在后台回复 “思维导图”获取 。

据说点 「好看」 的人都变好看了 :point_down: