代码编织梦想

6.5. 汇聚层

汇聚(pooling)层,也叫池化层,它具有双重目的:

  • 降低卷积层对位置的敏感性
  • 同时降低对空间降采样表示的敏感性

6.5.1. 最大汇聚层和平均汇聚层
与卷积层类似,汇聚层运算符由一个固定形状的窗口组成,该窗口根据其步幅大小在输入的所有区域上滑动,为固定形状窗口(有时称为汇聚窗口)遍历的每个位置计算一个输出。
通常计算汇聚窗口中所有元素的最大值或平均值。
这些操作分别称为最大汇聚层(maximum pooling)和平均汇聚层(average pooling)。

在这两种情况下,与互相关运算符一样,汇聚窗口从输入张量的左上角开始,从左往右、从上往下的在输入张量内滑动。
在汇聚窗口到达的每个位置,它计算该窗口中输入子张量的最大值或平均值。
计算最大值或平均值是取决于使用了最大汇聚层还是平均汇聚层。

在这里插入图片描述

在下面的代码中的pool2d函数,我们实现汇聚层的前向传播。
没有卷积核,输出为输入中每个区域的最大值或平均值。

import torch
from torch import nn
from d2l import torch as d2l

def pool2d(X, pool_size, mode='max'):
    p_h, p_w = pool_size
    Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            if mode == 'max':
                Y[i, j] = X[i: i + p_h, j: j + p_w].max()
            elif mode == 'avg':
                Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
    return Y

# 
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
pool2d(X, (2, 2))

# result
tensor([[4., 5.],
        [7., 8.]])

此外,我们还可以验证平均汇聚层。

pool2d(X, (2, 2), 'avg')

# result
tensor([[2., 3.],
        [5., 6.]])

6.5.2. 填充和步幅

与卷积层一样,汇聚层也可以改变输出形状.

下面,我们用深度学习框架中内置的二维最大汇聚层,来演示汇聚层中填充和步幅的使用。
我们首先构造了一个输入张量X,它有四个维度,其中样本数和通道数都是1。

X = torch.arange(16, dtype=torch.float32).reshape((1, 1, 4, 4))
X

# result
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]]]])

默认情况下,深度学习框架中的步幅与汇聚窗口的大小相同。
因此,如果我们使用形状为(3, 3)的汇聚窗口,那么默认情况下,我们得到的步幅形状为(3, 3)

pool2d = nn.MaxPool2d(3)
pool2d(X)

# result
tensor([[[[10.]]]])

填充和步幅可以手动设定。

pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)

# result
tensor([[[[ 5.,  7.],
          [13., 15.]]]])

当然,我们可以设定一个任意大小的矩形汇聚窗口,并分别设定填充和步幅的高度和宽度。

pool2d = nn.MaxPool2d((2, 3), stride=(2, 3), padding=(0, 1))
pool2d(X)

# result
tensor([[[[ 5.,  7.],
          [13., 15.]]]])

6.5.3. 多个通道

在处理多通道输入数据时,汇聚层在每个输入通道上单独运算,而不是像卷积层一样在通道上对输入进行汇总。
这意味着汇聚层的输出通道数与输入通道数相同。
下面,我们将在通道维度上连结张量X和X + 1,以构建具有2个通道的输入。

X = torch.cat((X, X + 1), 1)
X

# result
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]],

         [[ 1.,  2.,  3.,  4.],
          [ 5.,  6.,  7.,  8.],
          [ 9., 10., 11., 12.],
          [13., 14., 15., 16.]]]])

如下所示,汇聚后输出通道的数量仍然是2。

pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)

# result
tensor([[[[ 5.,  7.],
          [13., 15.]],

         [[ 6.,  8.],
          [14., 16.]]]])

6.5.4. 小结

  • 对于给定输入元素,最大汇聚层会输出该窗口内的最大值,平均汇聚层会输出该窗口内的平均值。

  • 汇聚层的主要优点之一是减轻卷积层对位置的过度敏感。

  • 我们可以指定汇聚层的填充和步幅。

  • 使用最大汇聚层以及大于1的步幅,可减少空间维度(如高度和宽度)。

  • 汇聚层的输出通道数与输入通道数相同。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45063703/article/details/126983207

华为三层交换机端口汇聚和交换机备份 实例介绍_qq_30852577的博客-爱代码爱编程_华为交换机端口汇聚配置

1. 组网及功能实现 如图,配置以三层太网端口汇聚和交换机备份功能 2. 三层交换机配置步骤 (1)配置接口IP地址 在SW1和SW2上分别创建VLAN1的三层地址10.1.1.1/30和10.1.1.2/30。 (2)配置汇聚的端口属性 在配置端口汇聚之前,首先要保证Sw1和Sw2所有汇聚的端口必须工作在全双工方式下,而且必须工作

day06.hadoop快速入门&云服务三种模式iaas,paas和saas【大数据教程】_java帮帮的博客-爱代码爱编程

day06.Hadoop快速入门&云服务三种模式IaaS,PaaS和SaaS【大数据教程】 1. HADOOP背景介绍 1.1 什么是HADOOP 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3). HADOOP的核心组件有 A. H

06.idle集成开发和学习环境-python环境搭建(二)-爱代码爱编程

青少年、零基础、初学者Python编程从入门到精通,“老马带小马 一块学Python”编程系列。 上一节谈到了Python环境的三大神器:“编辑器”、“解释器”和“调试器”,让大家明白了三大神器在Python编程

802.11ah-爱代码爱编程

IEEE 802.11工作组正在定义称为802.11ah的新标准。该标准工作在不到1GHz的免许可频段,可提供长得多的传输距离,也可以用于大规模传感器网络,具有适合数百万物联网(IoT)或机器到机器(M2M)设备连接的低功耗特性。802.11ah以降低了时钟速率的802.11ac标准为基础,在PHY和MAC层中增加了一些增强功能,比如节能、大数量站点支持、

3.IP编址-爱代码爱编程

1.前言 网络层位于数据链路层与传输层之间,网络层包含了许多协议,其中最为重要的协议就是IP协议,网络层提供了IP路由功能,理解IP路由除了要熟悉IP协议的工作机制之外,还必须理解IP编码地址以及如何合理地使用IP地址来设计网络。 2.目标 掌握IP报文的结构掌握共有IP地址,私有IP地址以及特殊IP地址的范围掌握VLSM技术理解网关的作用3.上层协

28.SpringCloud-爱代码爱编程

艾编程架构课程第五十八节笔记未完待续 SpringCloud服务治理(一)1. 什么是服务治理2. 服务治理组件选型比较3. 构建Eureka-Server模块4. 构建Eureka-Client模块5. 构建Eureka-Consumer模型6. Eureka心跳检测与服务剔除6.1. 心跳检测的机制6.2. 服务剔除7. Eureka服务续约机

26.Nginx详解-爱代码爱编程

文章目录 一 Web服务基础介绍:1.1 互联网发展历程回顾:1.2:web服务介绍:1.2.1 Apace-早期的web服务端:1.2.1.3:Apache event模型1.2.2 Nginx-高性能的web服务端1.2.3 用户访问体验统计1.2.4:性能影响:1.2.4.1:影响用户体验的几个因素:1.2.4.2 应用程序工作模式:1.2.

otn系统中常用的电层_请教一下:OTN在实际工程应用中分别在骨干层、汇聚.. - 通信技术你问我答 - 纯技术讨论者的天地 - Powered by C114...-爱代码爱编程

现在光缆的故障率下降,从资金效率看1:N OTU保护比较合适。  |  回应该答案 (0)  | 回答者:服务生 | 2012-2-10 11:42 1+1通道保护  |  回应该答案 (0)  | 回答者:zyandyjl | 2012-2-10 12:09 :D 1+1通道保护,价格实惠量又足...子波长保护

计算机网络分类和性能指标,22. 计算机网络性能指标:吞吐量-3-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

计算机网络汇聚层,31. 接入层 汇聚层 核心层 三层典型网络架构-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

如何查看计算机网络是否连接,10. 通过传输层(第4层)查看否有不明连接(即是否中木马病...-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

计算机网络术语辨析数据链路,14. 根据OSI参考模型指导网络排错-数据链路层四种可能错...-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

isp计算机术语,03. 互联网发展的三个阶段 基于ISP和IXP的多层结构-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

阿里云ECS服务器部署Node.js项目全过程详解-爱代码爱编程

本文详细介绍如何部署NodeJS项目到阿里云ECS上,以及本人在部署过程中所遇到的问题、坑点和解决办法,可以说是全网最全最详细的教程了。同时讲解了如何申请阿里云免费SSL证书,以及一台ECS服务器配置多网站的Nginx配置方法等。 1. 云服务器选择 阿里云ECS是阿里巴巴旗下,目前国内最成熟稳定的云服务器提供商 本文基于阿里云ECS

阿里云ECS服务器部署node.js项目全过程详解-爱代码爱编程

​ 本文详细介绍如何部署NodeJS项目到阿里云ECS上,以及本人在部署过程中所遇到的问题、坑点和解决办法,可以说是全网最全最详细的教程了。同时讲解了如何申请阿里云免费SSL证书,以及一台ECS服务器配置多网站的Nginx配置方法等。 ​ 1. 云服务器选择 阿里云ECS是阿里巴巴旗下,目前国内最成熟稳定的云服务器提供商 本文基于阿里云ECS云服

计算机网络带宽的概念,21. 计算机网络性能指标:带宽-2-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

计算机网络性能指标的速率,20. 计算机网络性能指标:速率-1-爱代码爱编程

# 网络 网络、互联网络、企业级经典网络拓扑和家庭网络 # 互联网服务提供商 基于ISP和IXP的多层结构 # OSI 参考模型 程序员    :应用层、表示层、会话层、传输层 网络工程师:网络层和数据链路层 通信工程师:物理层 # 组网设备 集线器 Hub、交换机 Switch 和路由器 Router # 计算机网络性能指标 速

12.数据仓库搭建之ads层搭建_mmj666的博客-爱代码爱编程

数据仓库搭建之ADS层搭建 该数据仓库ADS层的搭建是针对需求而定的,我们会针对相关人员所提出的需要,来设计ADS层的表,以及如果ADS层很多需求的派生指标都相同的话,我们也会考虑在DWS层进一步建表先进行数据的汇聚,然后再在ADS层进行取数。 该层的设计我们不再使用列式存储,因为我们这一层的每一行数据大多都是关于某一天的相关指标,不需要进行列的聚合统