代码编织梦想

以阐述个人理解出发,可能存在偏驳谬误,欢迎指正批评,不可尽听尽信。

神经网络概念

根据西瓜书所使用的概念,其定义为:神经网络是由其具有适应性的简单单元组成的广泛并行互联的网络,他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

好,根据这句话,首先我们应该讨论,什么是具有适应性的简单单元

其实很容易想到,根据第三章所学的线性模型,我们可以知道,只有一个属性的线性模型是非常简单的,而这个模型可以根据给定的输入输出调整自己的 w w w b b b,那他似乎就可以作为一个具有适应性的简单单元

紧接着,这些简单单元组成了广泛并行互联的网络,如果我们选定线性模型作为简单单元,那么如何组成一个这样的网络呢?

广泛、并行、互联,三个关键词中,最好理解的可能是并行,我们可以将设计多个线性模型,公式均为: y = w x + b y = wx + b y=wx+b ,然后假设所有的 y y y 是同一个值,我们就互联了这些并行计算的线性模型公式。

但是新的问题出现了,在单独的 y = w x + b y = wx + b y=wx+b 上, y y y 直接受到 w w w b b b 的影响,如果我们要达成互联,那么 y y y 应该被全部的 w x + b wx + b wx+b 所影响,即,假设目前有 i i i x x x, 结果 y y y 会受到其共同作用。

此时并行和互联产生了矛盾,并行要求我们每个线性模型都是单独存在的(这样我们就不能使用线性模型的方式,设计一个多参数的线性模型。又或者可以说,当前每个简单的线性模型,已经是有多个属性的了,这些属性可能完全或者部分重复,因此不能组合成一个的线性模型),而互联要求我们结果会相互影响,我们应该如何继续往下推进呢?
摘自西瓜书图5.1
我们可以将所有的 w x wx wx 求和,然后作为最终结果,即为 ∑ i = 1 n w i x i \sum_{i=1}^{n}{w_ix_i} i=1nwixi

再往下,我们,需要的是对真实世界物体作出的交互反应,也可以说,我们接下来讨论神经网络单元是否激活,当我们根据之前的神经网络单元的输入得到一个求和之后,我们要考虑是否激活当前单元进行计算,这就需要一个阈值

我们设定阈值为 θ \theta θ ,大于阈值的时候我们激活当前的神经元,反之则不激活,则所得到的结果可以整理成为: ∑ i = 1 n w i x i − θ \sum_{i=1}^{n}{w_ix_i} - \theta i=1nwixiθ

到这里,我们的神经网络就差最后一步,激活函数,也就是说,当其超过阈值,我们应该作出反应,常见的激活函数就是sigmod,因为其连续、光滑(这样方便求导),并且也可把值压缩到 0-1 之间。

至此,我们完成了一个非常简单的神经网络结构的讨论,只有两层的神经网络结构,也就是一个简单的感知机。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_36630208/article/details/128071223

task8 第九章 聚类_element简的博客-爱代码爱编程

1. 章节主要内容 “聚类”(clustering)算法是“无监督学习”算法中研究最多、应用最广的算法,它试图将数据集中的样本划分为若干个通常是不相交的子集,每个子集称为一个“簇”(cluster) 不同的簇分布代表着聚类算法对这组数据集观测的不同角度,比如在不同属性上进行分类会导致聚类算法将西瓜划分为:“有籽瓜簇” “无籽瓜簇”,”浅色瓜簇” “深色

task5 贝叶斯-爱代码爱编程

知识点梳理¶ 相关概念(生成模型、判别模型) 先验概率、条件概率 贝叶斯决策理论 贝叶斯定理公式 极值问题情况下的每个类的分类概率 下溢问题如何解决 零概率问题如何解决? 优缺点 sklearn 自带代码块 from sklearn.naive_bayes import GaussianNB from sklearn.datasets import lo

Task02:贝叶斯-爱代码爱编程

知识点梳理 相关概念(生成模型、判别模型)先验概率、条件概率贝叶斯决策理论贝叶斯定理公式极值问题情况下的每个类的分类概率下溢问题如何解决零概率问题如何解决?优缺点sklearn参数详解,Python绘制决策树1. 相关概念 生成模型:在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指

Task2 朴素贝叶斯-爱代码爱编程

知识点梳理 相关概念(生成模型、判别模型)先验概率、条件概率贝叶斯决策理论贝叶斯定理公式极值问题情况下的每个类的分类概率下溢问题如何解决零概率问题如何解决?优缺点sklearn参数详解,Python绘制决策树sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn.dataset

机器学习Task2-爱代码爱编程

知识点梳理 相关概念(生成模型、判别模型)先验概率、条件概率贝叶斯决策理论贝叶斯定理公式极值问题情况下的每个类的分类概率下溢问题如何解决零概率问题如何解决?优缺点sklearn参数详解,Python绘制决策树sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn.dataset

Task2 bayes_plus-爱代码爱编程

知识点梳理 相关概念(生成模型、判别模型)先验概率、条件概率贝叶斯决策理论贝叶斯定理公式极值问题情况下的每个类的分类概率下溢问题如何解决零概率问题如何解决?优缺点sklearn参数详解,Python绘制决策树sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn.dataset

机器学习-48-Life-long Learning(终生学习)-爱代码爱编程

文章目录 Life-long Learning简介Knowledge Retention(知识保留)Example – ImageExample – Question AnsweringMulti-task training 的两个问题Elastic Weight Consolidation (EWC,弹性权重巩固)EWC怎么找b?EWC vs L

10月Datawhale组队学习:Task01:概览西瓜书+南瓜书第1、2章-爱代码爱编程

       边学习边思考边记录边整理,抱着兴趣浏览,带着问题阅读,做着习题强化,理清教材的思维脉络,争取早日将机器学习知识体系化! 第1章 绪论 1.1 引言 引例:好西瓜的判定 关键知识点: 机器学习(machine learning)、模型(model)、学习算法(learning algorithm) 1.2 基本术语

202201期Datawhale组队学习——吃瓜教程-爱代码爱编程

目录 前言学习路线Task00:熟悉规则(1.9)Task01:概览西瓜书+南瓜书第1、2章(1.10、1.11)Task02:详读西瓜书+南瓜书第3章(1.12-1.17)一、一元线性回归与多元线性回归(1.12、1.13)二、对数几率回归(1.14、1.15)三、线性判别分析(1.16、1.17)Task03:详读西瓜书+南瓜书第4章(1.18

task01-爱代码爱编程

Task01 概览西瓜书+南瓜书第1、2章 1 术语梳理 数据集:记录的集合样本:其中每条记录是关于一个事件或对象的描述属性/特征:反映事件或对象在某方面的表现或性质的事项学习任务分为两大类:监督学习、无监督学习独立同分布:假设样本空间中,全体样本服从一个未知“分布”,获得的每个样本都是独立地从这个分布上采样获得分类:预测值为离散值的问题回归:预测值为

Task04 详读西瓜书+南瓜书第5章-爱代码爱编程

Task04 详读西瓜书+南瓜书第5章 1 神经元模型 神经网络概念:   由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物种所作出的交互反应M-P神经元模型:   每个神经元收到 n

【task01】datawhale202205组队学习 吃瓜教程 机器学习西瓜书+南瓜书_推轱辘追星光的磕盐汪的博客-爱代码爱编程

【Task01】Datawhale202205组队学习 吃瓜教程 机器学习西瓜书+南瓜书 概览西瓜书+南瓜书第1、2章 学习建议:概览西瓜书第1章和第2章的基本概念和术语,跳过以下内容: 第1章:【1.4-归纳偏好】可以跳过 第2章:【2.3.3-ROC与AUC】及其以后的都可以跳过 目录 西瓜书勘误(转)第1章 绪论1.1 引言1.2 基本术

西瓜书前2章-task1_泠月清风的博客-爱代码爱编程

task1-前2章 序 几个概念:符号学习、统计学习、迁移学习、深度学习、流形学习 第一章 绪论 机器学习:机器从经验数据中“提炼”模型的学习算法;若一个程序利用经验E在T任务中P方面的性能获得改善,则称关于T和P,该程序对E进行了学习。 基本术语: 涵义英文数据集data set示例sample 、instance属性attribute、fe

【周志华机器学习】 西瓜书吃瓜教程 学习笔记总结task04_jm-xia的博客-爱代码爱编程

第五章 神经网络 5.1 神经元模型 神经网络neural networks:最基本的成分是神经元neuron模型,即上述定义中的“简单单元” M -P 神经元模型:输入信号通过带权重的连接 connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”activation functi

task01:概览西瓜书+南瓜书第1、2章(2天)_如鹤_搏鹰的博客-爱代码爱编程

第一章 绪论 1.1引入机器学习 引用周老师西瓜书对机器学习的解释: 若计算机科学是研究关于算法的学问,则机器学习可以说是关于学习算法的学问。 1.2.基本术语 机器学习是一门专业性很强的技术,它大量地应用了数学、统计学上的知识。周老师用挑选西瓜的例子,说明了机器学习中的数据集、样本、属性/特征、预测、泛化等基本术语。 数据集: