数据清洗和预处理过程中，如何处理缺失值和异常值？

在数据清洗和预处理过程中，处理缺失值和异常值的方法有多种，以下是一些常见的处理方式：

缺失值处理

删除法

案例：在一个员工信息表中，如果某条记录的员工年龄缺失，且该记录的其他信息对分析作用不大，可考虑直接删除这条记录。

适用场景：当缺失值所占比例较小，且删除含有缺失值的记录不会对整体数据的完整性和分析结果产生重大影响时，可采用删除法。但如果数据量本身较少，或者缺失值集中在某些关键变量上，删除可能会导致数据偏差，需谨慎使用。

均值 / 中位数 / 众数填充法

案例：对于学生成绩数据中某门课程成绩的缺失值，可以用该课程所有学生成绩的均值来填充。若数据分布存在偏态，也可选择中位数填充。如果是分类变量，如学生的专业，可用众数进行填充。

适用场景：适用于数据缺失值较少，且变量的分布相对稳定的情况。这种方法简单易行，但可能会引入一定的偏差，尤其是当缺失值较多时，可能会改变变量的分布特征。

基于相似性的填充法

案例：在一个客户信息数据库中，对于某个客户缺失的收入信息，可以根据与该客户在年龄、职业、居住地区等方面相似的其他客户的收入均值来填充。

适用场景：当数据集中存在一些具有相似特征的记录时，这种方法能够利用这些相似性来更准确地填充缺失值。但需要定义合适的相似性度量标准，且计算量相对较大。

机器学习算法填充法

案例：可以使用 K 近邻算法、决策树、随机森林等机器学习算法，根据其他非缺失变量来预测缺失值。例如，在一个医疗数据集中，利用患者的其他症状、检查结果等变量来预测缺失的诊断结果。

适用场景：适用于数据量较大、变量之间存在复杂关系的情况。机器学习算法能够学习到数据中的潜在模式，从而更准确地预测缺失值，但需要耗费较多的计算资源和时间，且模型可能存在过拟合的风险。

异常值处理

盖帽法

案例：在分析员工工资数据时，设定一个合理的上限，如将超过三倍标准差的工资值设置为三倍标准差对应的数值。

适用场景：当异常值是由于数据录入错误或明显的极端情况导致，且不希望对数据进行过多修改时，盖帽法可以在一定程度上保留数据的原始特征，同时限制异常值对分析结果的影响。

分箱法

案例：将员工的年龄数据划分为若干个区间（如 20 - 30 岁、31 - 40 岁等），对于落在某个区间外的异常年龄值，将其调整到最近的区间边界值上。

适用场景：适用于数据分布较为分散，且希望将数据进行离散化处理的情况。分箱法可以减少异常值的影响，同时将数据进行分组，便于进一步的分析和处理。

基于模型的检测与处理

案例：使用聚类算法将数据点分为不同的簇，如果某个数据点明显不属于任何一个簇，可将其视为异常值并进行相应处理，如删除或修正。也可以使用孤立森林等异常检测算法来识别和处理异常值。

适用场景：当数据中的异常值难以通过简单的规则或统计方法识别时，基于模型的方法能够更有效地发现隐藏在数据中的异常模式。但这些方法通常需要对数据有一定的先验知识，且模型的准确性依赖于数据的质量和特征。

人工检查与修正

案例：对于一些明显不符合实际情况的异常值，如在学生考试成绩中出现负数或超过满分的成绩，通过人工检查确定是数据录入错误后，进行修正。

适用场景：当异常值的数量较少，且能够通过人工判断其错误原因时，人工检查与修正是一种直接有效的方法。但对于大规模的数据，人工处理效率较低，且可能存在主观性。