代码编织梦想

神经网络:neural networks are massively parallel interconnected networks     of simple (usually adaptive) elements and their hierarchical     organizations which are intended to interact with the objects of     the real world in the same way as biological nervous systems do         [T. Kohonen, NN88]

5.1神经元模型

 

 

 神经网络学得的 知识蕴含在连接 权与阈值中

5.2感知机与多层网络

5.2.1感知器

 

5.2.2多层神经

多层神经网络结构:

 

 

 

 

 

 

 

 

多层神经网络的劣势:

(1)数学不漂亮,优化算法只能获得局部极值,算法性能与初始值有关。 (2)不可解释。训练神经网络获得的参数与实际任务的关联性非常模糊。 (2)模型可调整的参数很多 (网络层数、每层神经元个数、非线性函数、学习率、优化方法、终止条件等等)。 (3)如果要训练相对复杂的网络,需要大量的训练样本。

 5.3误差逆传播算法 (BP)

 

 

 梯度下降法

 

 链式法则

 

 

 

 

 

 

 

 

 

1.随机梯度下降

(1)不用每输入一个样本就去变换参数,而是输入一批样本(叫做一个BATCH或MINI-BATCH),求出这些样本的梯度平均值后,根据这个平均值改变参数。 (2)在神经网络训练中,BATCH的样本数大致设置为50-200不等。    

2.训练数据初始化

3.(W,b)的初始化

 

 

 

 4.参数更新策略

 5.4神经网络训练建议

 (1)一般情况下,在训练集上的目标函数的平均值(cost)会随着训练的深入而不断减小,如果这个指标有增大情况,停下来。有两种情况:第一是采用的模型不够复杂,以致于不能在训练集上完全拟合;第二是已经训练很好了。

(2)分出一些验证集(Validation Set),训练的本质目标是在验证集上获取最大的识别率。因此训练一段时间后,必须在验证集上测试识别率,保存使验证集上识别率最大的模型参数,作为最后结果。

(3)注意调整学习率(Learning Rate),如果刚训练几步cost就增加,一般来说是学习率太高了;如果每次cost变化很小,说明学习率太低。

5.5其他常见神经网络模型

RBF: 分类任务中除BP之外最常用 

ART:“竞争学习”的代表 

SOM:最常用的聚类方法之一

级联相关网络:“构造性”神经网络的代表 

Elman网络:递归神经网络的代表

Boltzmann机:“基于能量的模型”的代表

5.6深度学习

2006年是深度学习的起始年,Hinton在SCIENCE上发文,提出一种叫做自动编码机(Auto-encoder)的方法,部分解决了神经网络参数初始化的问题。

 

 CNN的优点:

1、避免了显式的特征抽取,而隐式地从训练数据中进行学习; 2、同一特征映射面上的神经元权值相同,从而网络可以并行学习,降低了网络的复杂性; 3、采用时间或者空间的子采样结构,可以获得某种程度的位移、尺度、形变鲁棒性;

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_59889367/article/details/128070226

《机器学习》 第5章 神经网络总结-爱代码爱编程

目录 1. 神经网络的定义2. 模型3. 误差逆传播算法(BP算法)(重点)3.1 重要公式推导3.2 对BP算法的理解 1. 神经网络的定义 人工神经网络,简称神经网络,是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界事物所做出的交互反应。在机器学习中谈论神经网络时指的时"神经网络学习",或者说,是机

机器学习(周志华) 第五章神经网络-爱代码爱编程

关于周志华老师的《机器学习》这本书的学习笔记 记录学习过程 本博客记录Chapter5 神经网络 文章目录 1 神经元模型2 感知机与多层网络3 误差逆传播算法(BP)4 全局最小和局部极小5 其他常见神经网络5.1 RBF网络5.2 ART网络5.3 SOM网络5.4 级联相关网络5.5 Elman网络5.6 Boltzmann机6

西瓜书.第五章(神经网络)重点最全整理+课后习题_千千离的博客-爱代码爱编程

(神经网络知识很多且复杂,此篇是周志华老师的西瓜书对神经网络的解释,仔细学习后我对神经网络部分有了更深刻的认识,在此处致谢周老师,我也在持续学习中,之后在其他资料或文献中总结的概念也会更新在此处) 五.神经网络(课后习题答案见文末) 5.1 神经元模型 1. "神经网络是由具有适应性的 简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系

第五章神经网络_csdn317a的博客-爱代码爱编程

参考资料西瓜书、南瓜书。 神经网络这一章在机器学习中比较基础,但实际上它在深度学习中广泛应用,涵盖的点和范围非常的多,也是个难点,这里只是概述什么是神经网络以及一些基础概念。 目录 第五章神经网络 1.神经元模型 2.感知机与多层神经网络 3.误差逆传播算法(简称BP算法)  4.全局最小和局部最小 第五章神经网络 1.神经元模型

《机器学习》(周志华) 第5章 神经网络 学习心得 笔记_ml--小小白的博客-爱代码爱编程

第5章 神经网络 学习心得 神经元模型 神经元(neuron,亦称unit)其实就是一个小型的分类器,其将从其他神经元输入的信息带权重连接进入,然后比较其与阈值的相对大小,并将差异通过激活函数(activation function),决定其是否被”激活“/”兴奋“。这种神经元的抽象模型1943年就被提出了,被两位提出者名字首字母命名为”M-P神经元模

机器学习西瓜书——第五章 神经网络_西瓜书第五章答案-爱代码爱编程

文章目录 西瓜书笔记1. 神经元模型2. 感知机与多层网络3. 误差逆传播算法4. 全局最小与局部极小5. 其他常见神经网络5.1 RBF网络5.2 ART网络5.3 SOM网络5.4 级联相关网络5.5 El