内容发布更新时间 : 2024/5/13 8:07:44星期一 下面是文章的全部内容请认真阅读。

@茵曼文案lala凤 根据自己在工作中的实践与摸索，总结了15种促销方式，她没想到的是，这个图迅速在微博上疯传，并被许多网友惊呼为“目前看起来最全的促销图”。

数据分析预处理的方法——SPSS、Clementine如何处理缺失值、离群值、极值？

数据预处理的方法——SPSS、Clementine如何处理缺失值、离群值、极值？

【一】什么是预处理、预分析？

高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据分析师格外谨慎，耗费大量的时间，但数据质量仍然需持续关注。不管是一手还是二手数据源，总是会存在一些质量问题。同时，为了满足数据分析、挖掘的实际需要，对噪声数据如何处理，是丢弃还是补充，或者重新计算新的数据变量，这些不是随意决定的，这就是数据预处理的一个过程，是在数据分析、挖掘开始前对数据源的审核和判断，是数据分析必不可少的一项。本文暂只简单讨论一下缺失值、异常值的处理。

【二】如何发现数据质量问题，例如，如何发现缺失值？

1、SPSS是如何做到的？ （1）系统缺失值、空白值

每一个变量均有可能出现系统缺失或者空白，当数据量巨大时我们根本无法用眼睛看出是否有缺失，最明智的做法是把这项任务交给数据分析工具，比如Excel，可通过数据有效性、筛选、查找、计数等功能去实现，如果是SPSS数据源，可以通过描述统计之“频率”项来实现。

上图，五个变量中，家庭人均收入有效样本94，有6个无效样本，在spss数据区域显示为空白值。其他变量均没有缺失，对于这6个缺失值是留是踢需要谨慎。 （2）变量取值分布

这一项不容忽视，一般由于输入错误、数据本身或者其他原因造成。这里分分类变量和数值变量进行检查。

分类变量取值分布检查：

描述统计之“频率”项，可以对变量以及变量取值进行频次统计汇总，因此，此处仍然采用“频率”项。

上图，我们已经确认是否献血样本全部有效，但是不代表这个变量没有其他噪声。通过此变量取值分布的考察，我们可以发现是否献血有4个水平，分别为“0”“1”“No”“Yes”，但实际上，该变量的取值至于两个水平，“No”“Yes”，其余两个取值是错误操作导致的，这是系统缺失值，可以通过重新赋值进行处理。

数值变量取值分布检查：

数值变量取值分布不宜采用“频次”的统计，一般可通过直方图、含有正态检验的直方图来实现。