拟合 = 模型在训练集和测试集上表现情况。
欠拟合：模型在训练集，测试集表现都不好
过拟合：训练集好，测试集不好
欠拟合产生的原因：模型过于简单
过拟合产的原因：模型太过于复杂，数据不纯，训练数据太少
泛化 generalization : 模型在新数据集（非训练数据）上的表现好坏的能力。
奥卡姆剃刀原则：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取
模型的拟合情况 = 泛化能力
在机器学习中，模型拟合问题是评价一个算法有效性的重要方面。它主要涉及两个极端情况：欠拟合与过拟合。
欲解问题概述
- 欠拟合：当一个模型过于简单或者训练数据不足以让模型学习到足够的模式时，就会发生欠拟合现象。这通常表现为模型不仅在测试集上的表现不佳，在训练集上同样不能很好地预测结果。
- 过拟合：相反地，如果模型非常复杂以至于它可以“记住”几乎所有的训练样本（包括噪声），那么该模型可能会在未见过的数据（即测试集）上表现得很差，尽管它在训练集上可能达到接近完美的准确率。
解决策略
为了解决这些问题并提高模型的泛化能力（即对新数据做出准确预测的能力），可以采取以下几种方法：
- 调整模型复杂度：找到一个合适的平衡点，既不过于简化也不过分复杂化模型结构。
- 增加特征工程：通过引入更多有用的特征来增强模型的学习能力，但需谨慎处理以避免维度灾难。
- 应用正则化技术：如L1、L2正则化等手段可以帮助减少模型参数的数量或限制它们的大小，从而防止过拟合。
- 降维处理：利用PCA等技术减少输入变量数量，同时保留尽可能多的信息，有助于缓解过拟合问题。
KNN案例分析
K近邻算法(K-Nearest Neighbors, KNN)是一种基于实例的学习方法，其性能很大程度上取决于选择的邻居数目K值。
- 当K值较小（比如K=1）时，模型容易受到噪声的影响而产生过拟合现象。因为此时每个预测都只依赖于最近的一个训练样例，使得模型对于局部变化极其敏感。
- 相反地，如果设置较大的K值，则可能导致欠拟合。因为此时用来做决定的是较大范围内的多个点，可能会忽略掉某些重要的细节信息。
- 因此，在实践中需要根据具体任务和数据特性来调整最佳的K值，一般通过交叉验证等方式寻找最优解。
奥卡姆剃刀原则的应用
奥卡姆剃刀原则主张“若无必要，勿增实体”，这意味着我们应该倾向于使用更简单而非复杂的解决方案，除非有明确的理由证明后者更好。应用于机器学习领域时，这就意味着我们应当优先考虑那些能够有效解决问题且结构相对简单的模型，而不是盲目追求高精度而采用过于复杂的架构。这样的做法不仅有助于降低计算成本，也更容易理解和维护，同时也更有利于获得良好的泛化性能。
综上所述，通过合理控制模型复杂度、精心设计特征、恰当使用正则化及降维技术，并结合实际情况灵活调整算法参数，我们可以有效地解决欠拟合与过拟合的问题，进而构建出既简洁又高效的机器学习系统。