代码编织梦想

什么是过拟合(overfitting)_过拟合的值是多少-爱代码爱编程

将神经网络表达为数学模型,即y=Wx,训练网络的过程,即使网络学习得到各种参数W,并且保证误差较小 一般机器想要尽量减小误差值,使对于训练数据的误差值为1,但当使用新的一组数据训练网络时,误差就会急剧上升,即无法表达除训练数据以外的其他数据 一般导致过拟合问题,是由于数据量过少 解决过拟合问题 1.增加数据集 2.使用正则化:过拟合时,网络训练的

如何设计损失函数_损失函数怎么加入算法中-爱代码爱编程

假设训练样本的标签值为  (即人脑预测的结果) 神经网络的预测值为  我们希望神经网络模型能够最大的近似人脑模型 也就是说,我们希望标签值(真实值)与预测值的差值越小越好 但是如何去比较两个概率模型之间的差异 在深度学习中,我们使用损失函数来衡量模型的好坏 那么,损失函数是如何设计出来的 这里,介绍三种常见的设计思路: 最小二乘法:

损失函数及一般型(及梯度)_计算损失梯度-爱代码爱编程

首先,回顾高数中对于梯度的定义 梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模) 设二元函数  在平面区域  上具有一阶连续偏导数,则对于每一个点  都可定出一个向量  该函数就称为函数  在点  的梯度,记作  或   即有:    其中  称为(二

什么是激励函数(activation functions)-爱代码爱编程

简而言之,激励函数是为了解决我们日常生活中无法用线性方程所概括的问题   将人工神经网络转化为数学模型,可以看作是y=Wx,y是输出值,x是输入值,W就是y到x的一种映射关系(为一个参数) 那么,对于线性问题,W是很容易计算出来的,而且它一般是一个常数值,对于非线性问题,在二维坐标系上,函数图像并不是一条直线,而是一条曲线,此时求出W是一个非常难的问

机器学习第四周(分类问题)-爱代码爱编程

分类问题引入 在最开始机器学习的定义中,我们介绍了机器学习的两大学习算法----监督学习和无监督学习。 我们知道了监督学习的工作,就是通过有标签的数据训练,获得一个模型,然后通过构建的模型,给新数据添加上特定的标签,即在监

机器学习第三周(正规方程——一步求参)-爱代码爱编程

正规方程引入 到目前为止,我们一直使用的线性回归的算法是梯度下降法,例如下图所示,梯度下降的目标就是找到一组参数值从而使得代价函数 J

机器学习第二周(特征和多项式回归)-爱代码爱编程

选择特征(一千个特征,一千种模型) 以房价问题为例,假设数据集中有两个特征,分别是房子的宽度和长度,我们就可以建立一个这样的线性回归模型,其对应的假设函数

机器学习第二周(多元线性回归)-爱代码爱编程

多元线性回归的引入 之前我们介绍过房价预测问题,当时我们只使用了一个特征:房子的大小,来对房价进行预测,并且我们得到了该线性回归模型的假设函数:

机器学习第一周(线性回归的梯度下降)-爱代码爱编程

回顾 之前我们介绍了线性回归模型与梯度下降法,很显然,梯度下降法可以帮助我们实现在线性回归模型中自动寻找代价函数最小值对应的参数,现在,我们要将代价函数和梯度下降结合得到线性回归的算法,它可以用直线模型拟合数据。 左边是

机器学习第一周(梯度下降法的定义及作用)-爱代码爱编程

1. 梯度下降法的引入和介绍 我们之前已经定义了代价函数 J (

机器学习第一周(代价函数的工作原理)-爱代码爱编程

代价函数的工作原理 在线性回归模型中,我们希望得到一条拟合数据集的直线,所以我们构造了上图所示的假设函数 h

机器学习第一周(线性回归模型与代价函数的数学定义)-爱代码爱编程

1. 线性回归模型 之前我们讨论过房价预测问题,房价预测实际上是一种回归问题,也就是说我们的目的是得到一个连续值输出,下图是根据房子大小 Size 和 对应的房价 Price 所画出的散点图。 现在,我们的问题是输入房子