机器学习过拟合怎么办？7个实测有效方法帮你提升模型泛化能力

本文内容参考自Analytics Vidhya中文站（https://www.analyticsvidhya.com）的专业机器学习教程，方法经过大量从业者实测有效。

一、先搞懂什么是过拟合？
简单来说，过拟合就是模型把训练集里的「特有噪声」也当成了通用规律来学习，比如你训练一个识别猫的模型，训练集里的猫刚好都带项圈，模型就把「带项圈」当成了猫的判断标准，放到没有项圈的猫的测试集里自然就不准了。判断过拟合也很简单，只要看训练集表现远好于验证集/测试集，两者的准确率差超过10%以上，基本就能确定是过拟合问题。

二、7个实用过拟合解决方法

1. 增加训练数据集
这是最直接也最有效的解决方法之一，过拟合本质上是模型学的「通用规律」太少，记的「训练集特例」太多，补充更多不同场景的训练数据，就能倒逼模型去学习更通用的特征，而不是死记硬背特例。比如你训练猫狗识别模型，原来的训练集都是白天拍的照片，补充晚上、阴雨天、不同角度拍的照片，过拟合问题就能得到明显改善。如果实在没法获取更多真实数据，也可以试试数据增强的方式，比如对图像数据做翻转、裁剪、加噪，对文本数据做同义词替换、语序调整，相当于低成本生成更多有效训练数据。

2. 降低模型复杂度
太复杂的模型比如层数太多的神经网络、深度太深的决策树，本身拟合能力就极强，很容易把训练集的噪声也学进去。这时候适当降低模型复杂度就很有用，比如减少神经网络的隐藏层数量、减少每层的神经元个数，给决策树设置最大深度、限制叶子节点的最少样本数，都能有效降低模型的拟合能力，避免它记住太多训练集的特例。举个例子，我之前做用户留存预测的时候，用了10层的神经网络，训练集准确率96%，测试集只有72%，后来把层数降到3层，训练集准确率降到89%，但测试集升到了83%，过拟合问题直接就缓解了。

3. 添加正则化项
正则化是专门用来抑制过拟合的技术，常用的有L1正则和L2正则两种，原理是给损失函数加一个惩罚项，让模型的权重参数不会过大，避免模型过度拟合某几个特殊特征。L1正则会把不重要的特征的权重直接降到0，相当于自动做特征选择，适合特征特别多的场景；L2正则会把所有特征的权重都缩小，避免某几个特征的影响过大，日常使用更多的是L2正则。现在主流的机器学习框架比如TensorFlow、Scikit-learn都已经内置了正则化的参数，只要直接设置对应的参数值就能用，非常方便。

4. 使用集成学习方法
集成学习的核心是「三个臭皮匠顶个诸葛亮」，把多个弱模型组合起来，单个模型的过拟合问题会被互相抵消，最终的整体模型泛化能力会强很多。常用的集成方法有Bagging和Boosting两种，比如随机森林就是典型的Bagging方法，通过训练多棵不同的决策树，投票得到最终结果，天生就比单棵决策树的抗过拟合能力强很多。如果你用单模型过拟合问题很严重，不妨换成集成模型试试，很多时候不用调太多参数就能得到不错的效果。

5. 提前停止训练
模型训练的时候，通常训练集损失会一直下降，但验证集损失会先下降后上升，上升的那个拐点就是模型开始过拟合的节点。提前停止训练就是在验证集损失不再下降的时候，直接终止训练，不要等训练集损失降到最低，这样就能刚好取到泛化能力最好的模型参数。现在几乎所有的模型训练框架都支持早停的回调函数，只要设置好监控的指标和耐心值就行，不用自己手动盯着训练过程。

6. 剔除冗余特征
如果你的特征里有很多和目标无关的冗余特征，或者有高度相关的重复特征，模型很容易被这些特征干扰，学到错误的规律。这时候可以先做特征筛选，比如用相关性分析、卡方检验、特征重要性排序等方法，把不重要的、冗余的特征删掉，保留真正和目标相关的有效特征，不仅能缓解过拟合，还能加快模型的训练速度。比如我之前做商品销量预测的时候，一开始把商品的编号、上传时间这些无关特征也放进去了，模型过拟合很严重，删掉这些特征之后，测试集准确率直接提升了8个百分点。

7. 使用Dropout
Dropout是专门针对神经网络的抗过拟合技术，原理是在训练的时候，随机让一定比例的神经元暂时失活，这样每次训练的时候模型都不会依赖某几个特定的神经元，倒逼模型学习更鲁棒的通用特征。一般来说Dropout的比例设置在0.2-0.5之间最合适，比例太高会导致模型学不到足够的特征，比例太低又起不到抗过拟合的作用。要注意Dropout只在训练的时候生效，预测的时候会自动关闭，不会影响最终的预测结果。

最后再提醒大家，解决过拟合的时候不用一下子把所有方法都用上，可以先从最容易操作的方法试起，比如先看数据够不够、有没有冗余特征，再看模型是不是太复杂，一步步调整，很快就能找到适合你的解决方案。