代码编织梦想

架构图

3a8eacb772b1e8a514a0193bcea1a04a.png

a6c936f88a5c542966e868cdf7bd4b8c.png

3f3393ea90a44ea0df7357ec155a5f9e.png

f590697d13999e0e532c267657224a6d.png

进程说明

进程

说明

Postmaster

主进程

是整个数据库实例的总控进程,负责启动和关闭该数据库实例

Potgres

(常驻进程)

管理后端的常驻进程,也称为“postmaster”。其默认监测UNIXDomain Socket和TCP/IP(Windows等,一部分的平台只监测TCP/IP)的5432端口,等待来自前端的的连接处理。监测的端口号可以在PostgreSql的设置文件postgresql.conf中修改。

Postgres(子进程)

子进程根据pg_hba.conf定义的安全策略来判断是否允许进行连接,根据策略,会拒绝某些特定的IP及网络,或者也可以只允许某些特定的用户或者对某些数据库进行连接。

Postgres会接受前端过来的查询,然后对数据库进行检索,最后把结果返回,有时也会对数据库进行更新。更新的数据同时还会记录在事务日志里面(PostgreSQL称为WAL日志),这个主要是当停电的时候,服务器宕机,重新启动的时候进行恢复处理的时候使用的。另外,把日志归档保存起来,可在需要进行恢复的时候使用。在PostgreSQL 9.0以后,通过把WAL日志传送其他的PostgreSQL,可以实时地进行数据库复制,这就是所谓的“数据库复制”功能。

PgArch进程

(归档)

WAL日志会被循环使用,PgArch在归档前会把WAL日志备份出来。通过PITR(Point in Time Recovery)技术,可以对数据库进行一次全量备份后,该技术将备份时间点之后的WAL日志通过归档进行备份,使用数据库的全量备份再加上后面产生的WAL日志,即可把数据库向前推到全量备份后的任意一个时间点。

PgStat进程

(统计数据收集)

做数据的统计收集工作。主要用于查询优化时的代价估算,包括一个表和索引进行了多少次的插入、更新、删除操作,磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。

AutoVacuum进程

(自动清理)

在PostgreSQL数据库中,对表进行DELETE操作后,旧的数据并不会立即被删除,并且,在更新数据时,也并不会在旧的数据上做更新,而是新生成一行数据。旧的数据只是被标识为删除状态,只有在没有并发的其他事务读到这些旧数据时,它们才会被清除。这个清除工作就由AutoVacuum进程完成。

BgWriter进程

(后台)

页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。

Wal Writer进程

(预写式日志)

WAL(Write Ahead Log,预写式日志),在修改数据之前把修改操作记录到磁盘中,以便后面更新实时数据时就不需要数据持久化到文件中。

CheckPoint进程

(检查点)

检查点是系统设置的事务序列点,设置检查点保证检查点前的日志信息刷到磁盘中。

Syslogger进程

(系统日志)

将错误信息写到log日志中,需要在Postgres.conf中logging_collection设置为on,此时主进程才会启动Syslogger辅助进程。

postgresql 的物理架构非常简单,它由共享内存、一系列后台进程和数据文件组成。

Shared Memory

共享内存是服务器服务器为数据库缓存和事务日志缓存预留的内存缓存空间。其中最重要的组成部分是Shared Buffer和WAL Buffer。

Shared Buffer:是数据页缓冲区。Shared Buffer的目的是减少磁盘IO,大部分oltp工作负载都是随机IO,因此从磁盘获取非常慢。为了解决这个问题,postgre将数据缓存在RAM中,来提高性能。对于shared_buffers,没有一个特定的推荐值。但是一般来说,对于专用DB服务器,shared_buffers的值应该大约是系统总RAM的25%。

WAL Buffer:是预写日志(wal)缓冲区。在备份和恢复的场景下,WAL Buffer和WAL文件是极其重要的。如果要调优的系统有大量并发连接,那么wal_buffers的值越高,性能越好。

PostgreSQL 进程类型

PostgreSQL有四种进程类型

Postmaster (Daemon) Process(主后台驻留进程)

Background Process(后台进程)

Backend Process(后端进程)

Client Process(客户端进程)

Postmaster Process:PostgreSQL启动时第一个启动的进程。启动时,他会执行恢复、初始化共享内存的运行后台进程操作。运行期间,当有客户端发起链接请求时,它还负责创建后端进程。

如果通过 pstree 命令查看进程之间的关系,你会发现 Postmaster 进程是其他所有进程的父进程。

Background Process

PgArch进程

(归档)

WAL日志会被循环使用,PgArch在归档前会把WAL日志备份出来。通过PITR(Point in Time Recovery)技术,可以对数据库进行一次全量备份后,该技术将备份时间点之后的WAL日志通过归档进行备份,使用数据库的全量备份再加上后面产生的WAL日志,即可把数据库向前推到全量备份后的任意一个时间点。

PgStat进程

(统计数据收集)

做数据的统计收集工作。主要用于查询优化时的代价估算,包括一个表和索引进行了多少次的插入、更新、删除操作,磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。

AutoVacuum进程

(自动清理)

在PostgreSQL数据库中,对表进行DELETE操作后,旧的数据并不会立即被删除,并且,在更新数据时,也并不会在旧的数据上做更新,而是新生成一行数据。旧的数据只是被标识为删除状态,只有在没有并发的其他事务读到这些旧数据时,它们才会被清除。这个清除工作就由AutoVacuum进程完成。

BgWriter进程

(后台)

页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。

Wal Writer进程

(预写式日志)

WAL(Write Ahead Log,预写式日志),在修改数据之前把修改操作记录到磁盘中,以便后面更新实时数据时就不需要数据持久化到文件中。

CheckPoint进程

(检查点)

检查点是系统设置的事务序列点,设置检查点保证检查点前的日志信息刷到磁盘中。

Syslogger进程

(系统日志)

需要在Postgres.conf中logging_collection设置为on,此时主进程才会启动Syslogger辅助进程。

最大后台链接数通过 max_connections参数设定,默认值为 100。后端进程用于处理前端用户请求并返回结果。查询运行时需要一些内存结构,就是所谓的本地内存(local memory)。本地内存涉及的主要参数有:

work_mem:用于排序、位图索引、哈希链接和合并链接操作。默认值为 4MB。

maintenance_work_mem:用于 vacuum 和创建索引操作。默认值为 64MB。

temp_buffers:用于临时表。默认值为 8MB。

Client Process

客户端进程需要和后端进程配合使用,处理每一个客户链接。通常情况下,Postmaster进程会派生一个子进程用来处理用户连接。

数据库结构

数据库相关概念:

PostgreSQL由一系列数据库组成。一套PostgreSQL程序称之为一个数据库群集。

当initdb()命令执行后,template0 , template1 , 和postgres数据库被创建。

template0和template1数据库是创建用户数据库时使用的模版数据库,他们包含系统元数据表。

initdb()刚完成后,template0和template1数据库中的表是一样的。但是template1数据库可以根据用户需要创建对象。

用户数据库是通过克隆template1数据库来创建的;

表空间相关概念:

initdb()后马上创建pg_default和pg_global表空间。

建表时如果没有指定特定的表空间,表默认被存在pg_default表空间中。

用于管理整个数据库集群的表默认被存储在pg_global表空间中。

pg_default表空间的物理位置为$PGDATA\base目录。

pg_global表空间的物理位置为$PGDATA\global目录。

一个表空间可以被多个数据库同时使用。此时,每一个数据库都会在表空间路径下创建为一个新的子路径。

创建一个用户表空间会在$PGDATA\pg_tblspc目录下面创建一个软连接,连接到表空间制定的目录位置。

表相关概念:

每个表有三个数据文件。

一个文件用于存储数据,文件名是表的OID。

一个文件用于管理表的空闲空间,文件名是OID_fsm。

一个文件用于管理表的块是否可见,文件名是OID_vm。

索引没有_vm文件,只有OID和OID_fsm两个文件

一篇掌握mysql ,oracle和postgresql数据库体系架构_itfly8的博客-爱代码爱编程

MySQL 体系架构  一.逻辑模块组成 总的来说,MySQL 可以看成是二层架构,第一层我们通常叫做SQL Layer,在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql 解析,执行计划优化,querycache 的处理等等;    第二层就是存储引擎层,我们通常叫做Storage Engine La

PG系列6-PostgreSQL的体系架构-爱代码爱编程

文章目录 前言1、逻辑和物理存储结构1.1 逻辑存储结构1.2 物理存储结构1.2.1 数据目录结构1.2.2 数据文件布局1.2.3 完整文件布局图2、进程结构2.1 守护进程与服务进程2.2 辅助进程3、内存结构3.1 本地内存3.2 共享内存4、总结 前言 PG官方指导手册 PostgreSQL数据库是由一系列位于文件系统上的物理文件

POSTGRESQL openGaussDB 体系架构-爱代码爱编程

Today 听了一下墨天轮举办的OpenGaussDB的专题的训练营,下面是此次线上的OpenGaussDB的体系结构的介绍。这里根据介绍快速总结出此次介绍中OpenGaussDB的特点: 1  OpenGaussDB 针对国产的硬件系统,如鲲鹏等硬件系统有特殊的支持和性能调试,真多国产的硬件系统有优势。 2 OpenGaussDB 主要有分

PostgreSQL系列- 4 - 核心架构-爱代码爱编程

目录 一、体系结构 二、流程结构 一、体系结构 postgresql数据库体系结构图: 如图示,可以将PG数据库按照功能分为5大系统: 连接管理系统:接受外部操作对系统的请求,对请求进行预处理和分发,逻辑控制作用。 编译执行系统:由查询编译器、查询执行器组成,完成操作请求在数据库中的分析处理和转化工作,最终实现物理存储介质中数据的

分布式数据库架构-爱代码爱编程

分布式数据库架构 1、MySQL常见架构设计 对于mysql架构,一定会使用到读写分离,在此基础上有五种常见架构设计:一主一从或多从、主主复制、级联复制、主主与级联复制结合。 1.1、主从复制 这种架构设计是使用的最多的。在读写分离的基础上,会存在一台master作为写机,一个或多个slave作为读机。因为在实际的情况下,读的请求量一般是远远大于写

现代数据库基本体系架构-爱代码爱编程

现代数据库在体系构架上基本上都是由一组进程或线程、共享内存和存储三部分组成的。 一、概述 进程/线程与共享内存共同作用完成数据库的运算等处理过程和对自身进行维护管理操作;数据库内核中部分进程/线程会对存储直接操作,把保存在存储系统中的数据读入共享内存或把共享内存中的数据写入到存储系统;共享内存和存储系统之间则是数据的通道。 整体上,现代数据库的基本体

Postgresql体系架构-爱代码爱编程

Postgresql体系架构 内存结构共享内存本地内存进程结构PostmasterSysLoggerBgWriterWalWriterPgArchAutoVacuumPgStat物理存储数据文件日志文件运行日志文件重做日志文件事务日志文件服务器日志文件参数文件postgresql.confpg_hba.confpg_ident.conf控制文件WA

3.6笔试-爱代码爱编程

今天做了一场cvte笔试 是测试方向的 一共有19道题目 大概有四五道计算机网络的题目 三四道python的题目 三四道mysql查询问题 设计测试用例题目大概有两道 一道编程题 1编程 奇怪的是编程题出现在第二题,而且做一题交一题 题目有点难理解,我看题就花了五分钟 我怕后面还有编程题 就草草交了 到最后交卷的时候还有半个小

【赵渝强老师】史上最详细的postgresql体系架构介绍_pgsql体系结构-爱代码爱编程

PostgreSQL是最像Oracle的开源数据库,我们可以拿Oracle来比较学习它的体系结构,比较容易理解。PostgreSQL的主要结构如下: 一、存储结构 PG数据存储结构分为:逻辑存储结构和物理存储存储

postgresql体系结构(上)_postgresql fdatasync-爱代码爱编程

本文主要介绍Postgresql体系结构的配置文件和服务进程部分,内存区域和磁盘存储部分,欲知详情请看下节PostgreSQL体系结构(下)。 PostgreSQL是一种典型的客户端/服务端、多进程架构模型。主体是由一个守

postgresql数据库注入-爱代码爱编程

        本期来为大家讲解的sql注入题目是来墨者学院的SQL手工注入漏洞测试(PostgreSQL数据库)。         地址:http://124.70.71.251:44679/new_list.php?id=1(注意地址已失效仅供参考)         首先第一步,看是否存在注入点,构造Payload: http://124.7