過適

在統計學中，過適（英語：overfitting，或稱擬合過度）是指過於緊密或精確地匹配特定資料集，以致於無法良好地拟合其他資料或預測未來的觀察結果的現象。过拟合模型指的是相较有限的数据而言，参数过多或者结构过于复杂的统计模型。发生过拟合时，模型的偏差小而方差大。过拟合的本质是训练算法从统计噪声中不自觉获取了信息并表达在了模型结构的参数当中。相较用于训练的資料總量來說，一個模型只要结构足夠複雜或参数足够多，就总是可以完美地適應資料的。過適一般可以視為違反奥卡姆剃刀原則。 与过拟合相对应的概念是欠拟合（英語：underfitting，或稱：擬合不足）；它是指相较于数据而言，模型参数过少或者模型结构过于简单，以至于无法捕捉到数据中的规律的现象。发生欠拟合时，模型的偏差大而方差小。 在机器学习或人工神經網路中，过拟合与欠拟合有时也被称为「过训练（英語：overtraining）」和「欠训练（英語：undertraining）」。 之所以存在过拟合的可能，是因为选择模型的标准和评价模型的标准是不一致的。举例来说，选择模型时往往是选取在训练数据上表现最好的模型；但评价模型时则是观察模型在训练过程中不可见数据上的表现。当模型尝试「记住」训练数据而非从训练数据中学习规律时，就可能发生过拟合。一般来说，當參數的自由度或模型结构的复杂度超過資料所包含資訊內容時，拟合后的模型可能使用任意多的參數，這會降低或破壞模型泛化的能力。 在統計学习和機器學習中，為了避免或减轻過適現象，須要使用額外的技巧（如模型选择、交叉驗證、提前停止、正则化、剪枝、贝叶斯信息量准则、赤池信息量準則或dropout）。在treatment learning中，使用最小最佳支援值（英語：minimum best support value）來避免過適。这些方法大致可分为两类：1. 对模型的复杂度进行惩罚，从而避免产生过于复杂的模型；2. 在验证数据上测试模型的效果，从而模拟模型在实际工作环境的数据上的表现。