datawhale x 李宏毅苹果书 ai夏令营 机器学习笔记task2-爱代码爱编程
问答记录
一、简单解释一下线性模型。
线性模型通过线性方程来描述两个或多个变量之间的关系。简单来说,线性模型假设因变量(响应变量)与自变量(解释变量)之间存在线性关系,即它们之间的关系可以用一条直线来近似表示。
二、在本书中,激活函数起到了什么作用?你是否了解激活函数的其他用处?
引入非线性,发挥神经网络叠加层带来的优势。
帮助解决梯度消失问题:某些激活函数(如ReLU及其变体)有助于缓解梯度消失问题,这在训练深层网络时尤为重要。
三、说几个常见的优化算法,并简单介绍一到两个:
1.随机梯度下降SGD
2.Momentum
3.AdaGrad
4.Adam
Momentum参照小球在碗中滚动的物理规则进行移动,AdaGrad为参数的每个元素适当地调整更新步伐。
Adam 融合了Momentum和AdaGrad的方法。通过组合前面两个方法的优点,有望实现参数空间的高效搜索。此外,进行超参数的“偏置校正”也是Adam的特征。