代码编织梦想

1、结构风险最小化:

结构风险最小化的目标是在保证经验风险最小化的同时,避免过拟合问题。具体来说,它通过增加正则化项、优化算法等手段控制模型的复杂度,提高模型的泛化能力。

2、正则化:

正则化是一种常用的方法,目的是尽可能降低模型的复杂度,从而避免模型过拟合的问题。常见的正则化方法有L1和L2正则化。

3、线性回归:

线性回归是一种常见的机器学习算法,用于建立输入特征和输出目标变量之间的线性关系。它通过最小化目标函数的平方误差来寻找最佳的线性函数拟合输入和输出之间的关系。

4、逻辑斯蒂回归:

逻辑回归是一种分类算法,用于分类任务。逻辑斯蒂回归是一种广义的线性回归方法,它将线性函数的结果使用 sigmoid 函数映射到[0,1]之间的概率。

5、Sigmoid 与 SoftMax 函数:

Sigmoid 函数是一种常用的函数,它可以将输入变换为0~1之间的概率值,适用于逻辑斯蒂回归和神经网络等算法。

g(z) = \frac{1}{1+e^{-z}}

SoftMax 是一种多分类的激活函数,能将输入变为每个类别的概率值。

6、决策树:

决策树是一种常见的分类和回归算法。决策树通过划分、选择、分类来实现对目标变量的分类。决策树具有可解释性高的优点,并且它能够快速处理大量数据。

7、信息熵、条件熵、信息增益:

信息是用来衡量数据集的不确定性的指标;条件熵是在给定某一特征时,分类的不确定性;信息增益就是在划分数据集的过程中,选择最优划分方式的指标。

8、线性判别分析 LDA :

线性判别分析是一种常见的分类算法,适用于二分类和多分类的问题。它通过线性变换将数据点映射到低维度空间中,从而实现数据的分类。

9、概率近似正确 PAC :

概率近似正确是一种机器学习的理论方法,它是指模型在样本数较大的情况下,以很高的概率给出正确的预测结果。

10、自适应提升 AdaBoost :

自适应提升算法是一种集成学习方法,它通过反复迭代训练不同的分类器,以提高分类的准确性。它能够自适应地调整分类器的权值,提高预测性能。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_61223674/article/details/129832398

【22-23 春学期】ai作业2-监督学习-爱代码爱编程

结构风险最小化 结构风险最小化(Structural Risk Minimization,简称SRM)是一种在机器学习中用来防止过拟合的方法。 在机器学习中,我们使用训练数据来训练一个模型,目标是让该模型能够在未知数据上进行准确的预测。过拟合是指模型在训练数据上表现良好,但在未知数据上表现不佳的情况,这通常是由于模型复杂度过高而导致的。过拟合的模型