交叉验证的目的：为了评估模型的预测性能是否稳定，评估模型泛化能力的波动幅度

主要方法：

1、留出法

将原始数据划分成三个部分：训练集+验证集，测试集。

2、K折交叉验证

将原始数据平均分成K份，通过对 k 个不同分组训练的结果进行平均来减少方差。

3、留一法

将原始数据划分成训练集和测试集。测试集只有一个样本，因此，训练集只比原始数据少一个样本，十分接近原始样本分布，进行m次的训练和预测。 

但是训练复杂度增加了，因为模型的数量与原始数据样本数量相同。 

一般在数据比较缺乏的时候使用。

详情参考：https://blog.csdn.net/aliceyangxi1987/article/details/73532651