缺失值处理

缺失值处理是一个数据分析工作者永远避不开的话题如何认识与理解缺失值运用合适的方式处理缺失值对模型的结果有很大的影响。1.缺失值分析1.1. 缺失值类型随机丢失 (MAR, Missing at Random)指数据丢失的概率与丢失的数据本身无关而仅与部分已观测到的数据有关。完全随机丢失 (MCAR, Missing Completely at Random)数据的缺失是完全随机的不依赖于任何不完全变量或完全变量不影响样本的无偏性。非随机丢失 (MNAR, Missing not at Random)数据的缺失与不完全变量自身的取值有关。正确的理解和判断缺失值的类型对工作中对缺失值分析和处理带来很大对便利但因没有一套成熟但缺失值类型判断方法大多考经验处理这里不作过多阐述。1.2. 缺失值成因信息暂时无法获取、获取信息代价太大信息因人为因素没有被记录、遗漏或丢失部分对象或某些属性不可用或不存在信息采集设备故障、存储介质、传输媒体或其他物理原因造成的数据丢失。1.3. 缺失值影响使系统丢失大量的有用信息使系统中所表现出的不确定性更加显著系统中蕴涵的确定性成分更难把握包含空值的数据会使数据挖掘过程陷入混乱导致不可靠的输出。1.4. 缺失值分析数据缺失值分析属于数据探索分析 (Exploratory Data Analysis, EDA) 的里重要的一步其工具通常是统计分析和数据可视化。统计分析为我们提供了假设不正确的理论概率即显着性水平而数据可视化工具给我们带来了有关数据分布的印象有助于从概念上验证他们的假设。2.缺失值处理先通过一定的方法找到缺失值接着分析缺失值在整体样本中的分布占比以及缺失值是否具有显著的无规律分布特征即第一部分介绍到缺失值分析。然后考虑使用的模型中是否满足缺失值的自动处理最后决定采用那种缺失值处理方法即接下来介绍到缺失值处理。缺失值处理⽅法的选择主要依据是业务逻辑和缺失值占比在对预测结果的影响尽可能小的情况下对缺失值进行处理以满足算法需求所以要理解每个缺失值处理方法带来的影响下⾯的缺失值处理⽅法没有特殊说明均是对特征列变量的处理。2.1. 丢弃占⽐较多如80%以上时删除缺失值所在的列如果某些行缺失值占比较多或者缺失值所在字段是苛刻的必须有值的删除行。2.2. 补全占比一般30%-80%时将缺失值作为单独的⼀个分类如果特征是连续的则其他已有值分箱如果特征是分类的考虑其他分类是否需要重分箱2.3. 等深分箱法统一权重法)将数据集按记录行数分箱每箱具有相同的记录数元素个数。每箱记录数称为箱子深度权重。等宽分箱法统一区间法):使数据集在整个属性值的区间上平均分布即每个箱的区间范围箱子宽度是一个常量。用户自定义区间当用户明确希望观察某些区间范围内的数据时可根据需要自定义区间。2.4. 模型法占⽐比少10%-30%时一般使用模型法基于已有的其他字段将缺失字段作为目标变量进行预测从而得到最为可能的不全值。连续型变量用回归模型补全分类变量用分类模型补全。如进行多重插补、KNN算法填充、随机森林填补法我们认为若干特征之间有相关性的可以相互预测缺失值。2.4. 真值转化法认为缺失值本身以一种数据分布规律存在。将变量的实际值和缺失值都作为输入维度参与后续数据处理和模型计算中。2.5. 不处理对于一些模型对缺失值有容忍度或灵活处理方法可不处理缺失值。如KNN、决策树、随机森林、神经网络、朴素贝叶斯、DBSCAN等。