数据的预处理包括哪些内容：四大核心操作

数据的预处理包括数据清洗、数据集成、数据变换、数据归约四项核心内容，你可以按顺序完成操作：先清除缺失、重复、异常脏数据，再把多源数据合并成统一数据集，接着统一数值尺度、把文字类别转为数字，最后压缩字段数量精简数据集；这套流程适用于绝大多数机器学习与统计建模场景，仅小样本科研实验可以酌情跳过数据归约环节，该边界来自清华大学出版社《数据挖掘概念与技术》给出的实操划分标准。

数据清洗

你首先要处理脏数据，优先解决四类问题。

处理缺失值可以选择删除整条记录、用均值中位数填充，或是用邻近值做线性插值；重复数据直接去重，避免样本重复干扰模型计算；异常值先用箱线图识别，再选择剔除或者用中位数修正；同时统一日期、文字大小写等不一致格式，消除文本混乱问题。

数据集成

把多个数据表、文件、数据库的数据合并为一张总表。

合并时要消除同名异义、异名同义的字段冲突，剔除重复冗余字段，同时统一字段名称与单位，保证多源数据能够顺利拼接。多表合并最容易产生冗余字段，需要提前做好字段对齐。

数据变换

把原始数据转换成算法能够读取的标准格式。

归一会把数值压缩到0至1区间，标准化会把数据调整为均值0、方差1，稳健缩放受极端值影响更小，更适合噪声较多的业务数据。

数据归约

在尽量保留有效信息的前提下缩减数据规模，降低计算开销。

你可以做属性归约，利用相关性筛选无用字段，也可以用主成分分析把几十个字段压缩成少数几个主成分；还能做样本归约，随机抽取部分样本，减少数据总量。数据归约不适合样本总量不足500条的小数据集，强行压缩会丢失关键信息。