代码编织梦想

01 前言

上一篇文章已经详细介绍了什么是爬虫,爬虫的一些基本需要掌握的概念,还有爬虫掌握的第一个库,requests库,具体大家可以点击这里:爬虫(一) – 带你了解爬虫最基本概念,一文即可实践

接下来,我将详细介绍爬虫的另一个很需要的工具,正则表达式。

此文参考了以下链接:
https://blog.csdn.net/xuemoyao/article/details/8033138?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168006967216800215067670%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=168006967216800215067670&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2alltop_positive~default-2-8033138-null-null.142v77insert_down38,201v4add_ask,239v2insert_chatgpt&utm_term=%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F&spm=1018.2226.3001.4187

02 正则表达式

  定义:正则表达式是用于处理字符串的强大工具,通常被用来检索、替换那些符合某种规则的文本。

2.1 re

Python通过re库提供对正则表达式的支持,但在使用正则表达式之前需要导入re模块,才能调用该模块的功能函数。

re的常用几个参数

  • re.I:使匹配忽略大小写
  • re.M:允许多行匹配
  • re.S:匹配包括换行在内的所有字符

在Python中,使用正则表达式通常需要使用re模块。常用的几种方式包括:

  • re.search(pattern, string):在字符串中搜索与正则表达式匹配的第一个子字符串,并返回一个包含匹配信息的Match对象。如果没有匹配到,则返回None。

  • re.findall(pattern, string):在字符串中搜索与正则表达式匹配的所有子字符串,并以列表形式返回。如果没有匹配到,则返回空列表。

  • re.sub(pattern, repl, string):在字符串中搜索与正则表达式匹配的所有子字符串,并将其替换为指定的字符串repl。返回替换后的字符串。

以下是一个按行输出的示例代码:

import re

# 定义要匹配的正则表达式
pattern = r'^\d+\..*'

# 打开文件
with open('example.txt', 'r') as f:
    # 按行读取文件内容
    for line in f:
        # 使用re.match()函数进行匹配
        match_obj = re.match(pattern, line)
        # 如果匹配成功,则输出该行内容
        if match_obj:
            print(line.strip())

在上面的代码中,首先定义了要匹配的正则表达式,该表达式可以匹配以数字开头,后面跟任意字符的行。然后打开文件,按行读取文件内容,并使用re.match()函数对每行内容进行匹配。如果匹配成功,则输出该行内容。

注意,strip()函数可以去掉字符串两端的空格和换行符。

2.2 正则表达式的参数

比较常用的两个参数:
在正则表达式中,.和?都是元字符,具有特殊的含义。

  • .代表匹配任意单个字符(除了换行符)。

例如,正则表达式a.b可以匹配axb、a#b、a b等。

  • ?代表匹配前面的子表达式0次或1次。

例如,正则表达式ab?c可以匹配ac和abc,但不能匹配abbc。

?也可以用在其他元字符后面,用于表示非贪婪匹配。例如,正则表达式a.*?b可以匹配ab、axxxb等,但在匹配axxxbyyyb时,只会匹配到axxxb。

  需要注意的是,.和?只有在正则表达式中作为元字符时才具有上述特殊含义,如果需要匹配它们本身,需要使用转义字符\。例如,正则表达式a.b可以匹配a.b,但不能匹配axb、a#b等。

2.2.1 常用的元字符

代码说明
.匹配除换行符以外的任意字符
\w匹配字母或数字或下划线或汉字
\s匹配任意的空白符
\d匹配数字
\b匹配单词的开始或结束
^匹配字符串的开始
$匹配字符串的结束

实例:

  • ^\d{8}$ 匹配8位数字的qq号。

  • \bOlive\b 匹配单词Olive 。

注意: I Love Oliver and Olive .这个时候返回的是Olive 而不是Oliver,因为\b…\b返回的匹配的单词

2.2.2 反义字符

反义字符:多用于查找除某个字符以外其他任意字符均可以的情况。

代码/语法说明
\W匹配任意不是字母,数字,下划线,汉字的字符
\S匹配任意不是空白符的字符
\D匹配任意非数字的字符
\B匹配不是单词开头或结束的位置
[^x]匹配除了x以外的任意字符
[^data]匹配除了data这几个字母以外的任意字符

2.2.3 限定字符

限定字符:限定字符多用于重复匹配次数。

代码/语法说明
*重复零次或更多次
+重复一次或更多次
?子字符串重复零次或一次
{n}重复n次
{n,}重复n次或更多次
{n,m}重复n到m次

2.2.4 转义字符

转义字符:加\。

实例:如元字符 . * \ 需要转换为 \. \* \\

字符分枝:多用于满足不同情况的选择,用“|”将不同的条件分割开来,比如有些固定电话区号有三位,有些有四位,这个时候可以采用字符分枝

例如:\d{3}-\d{8}|\d{4}-\d{8} 可以匹配两种不同长度区号的固定电话

2.2.5 字符分组

字符分组多用于将多个字符重复,主要通过使用小括号()来进行分组

形如:(\d\w){3} 重复匹配3次(\d\w)

常用分组语法:

分类代码说明
捕获(exp)匹配exp,并捕获文本到自动命名的组里
(?< name >exp)匹配exp,并捕获文本到名称为name的组里,也可以写成(?'name'exp)
(?:exp)匹配exp,不捕获匹配的文本,也不给此分组分配组号
零宽断言(?=exp)匹配exp前面的位置
(?<=exp)匹配exp后面的位置
(?!exp)匹配后面跟的不是exp的位置
(?<!exp)匹配前面不是exp的位置
注释(?#comment)这种类型的分组不对正则表达式的处理产生任何影响,用于提供注释让人阅读

2.2.6 懒惰匹配和贪婪匹配

贪婪匹配:正则表达式中包含重复的限定符时,通常的行为是匹配尽可能多的字符。

懒惰匹配:有时候需要匹配尽可能少的字符。

例如: a.*b,它将会匹配最长的以a开始,以b结束的字符串。如果用它来搜索aabab的话,它会匹配整个字符串aabab。但是我们此时可能需要匹配的是ab这样的话就需要用到懒惰匹配了。懒惰匹配会匹配尽可能少的字符。

代码/语法说明
*?重复任意次,但尽可能少重复
+?重复1次或更多次,但尽可能少重复
??重复0次或1次,但尽可能少重复
{n,m}?重复n到m次,但尽可能少重复
{n,}?重复n次以上,但尽可能少重复

2.2.7 后向引用

后向引用用于重复搜索前面某个分组匹配的文本。

使用小括号指定一个子表达式后,匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。默认情况下,每个分组会自动拥有一个组号。

  • 默认组号:
    示例:\b(\w+)\b\s+\1\b可以用来匹配重复的单词,像go go, 或者kitty kitty。

这个表达式首先是一个单词,也就是单词开始处和结束处之间的多于一个的字母或数字(\b(\w+)\b),这个单词会被捕获到编号为1的分组中,然后是1个或几个空白符(\s+),最后是分组1中捕获的内容(也就是前面匹配的那个单词)(\1)。

  • 自主指定:你也可以自己指定子表达式的组名。
    要指定一个子表达式的组名,请使用这样的语法:(?< Word>\w+)(或者把尖括号换成’也行:(?‘Word’\w+)),这样就把\w+的组名指定为Word了。要后向引用这个分组捕获的内容,你可以使用\k< Word>,所以上一个例子也可以写成这样:\b(?< Word>\w+)\b\s+\k< Word>\b

2.2.8 零宽断言

有时候需要查找某些匹配之前或之后的东西,这个时候就需要指定一个位置,这个位置应该满足一定的条件(即断言)。具体请看 本章的2.2.5

比如\b\w+(?=ing\b),匹配以ing结尾的单词的前面部分(除了ing以外的部分),如查找I’m singing while you’re dancing.时,它会匹配sing和danc。
比如(?<=\bre)\w+\b会匹配以re开头的单词的后半部分(除了re以外的部分),例如在查找reading a book时,它匹配ading。

2.3 常用的正则表达式

  • 如果你自己实在学不会正则表达式,请点击这里,转载自其他大神:点击这里,他里面归纳了基本所有你想要的用的正则表达式。
  • 如果里面没有你想要的,请私信我。

2.4 正则表达式的实例

(1) 抓取html里面的<title>间的内容

#方法一
title = re.findall(r'<title>(.*?)</title>', content.decode('utf-8'))

# 方法二
pat = r'(?<=<title>).*?(?=</title>)'    
ex = re.compile(pat, re.M|re.S)
obj = re.search(ex, content.decode('utf-8'))
title = obj.group()  
print(title)

(2)爬取超链接<a>标签间的内容

#获取完整超链接
res = r"<a.*?href=.*?<\/a>"
urls = re.findall(res, content.decode('utf-8'))

#获取超链接<a>和</a>之间内容
res = r'<a .*?>(.*?)</a>'  
texts = re.findall(res, content.decode('utf-8'), re.S|re.M)  

(3)抓取超链接标签的url

res = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"
urls = re.findall(res, content, re.I|re.S|re.M)
for url in urls:
    print(url)

(4)抓取图片超链接标签的url

content = '''<img alt="Python" src="http://www.yangxiuzhang.com/eastmount.jpg" />'''
urls = re.findall('src="(.*?)"', content, re.I|re.S|re.M)
print urls

(5)获取url中最后一个参数
  在使用Python爬取图片过程中,通常会遇到图片对应的url最后一个字段用来命名图片的情况,如“photo1.jpg”,需要通过解析url“/”后面的参数来获取图片。

urls = 'http://www..csdn.net/photo1.jpg'
name = urls.split('/')[-1]  
print name

补充:如果取得的text有其他字符,可以进行数据的预处理

使用.replace()方法,将需要替换的特殊字符统统替换成空字符,可以看数据分析这一讲,详细学习该方法的用法。

03 还在学习(ing)

想要学好爬虫,还需要学习以下基础知识:

  • Beautiful Soup 4
  • XPATH技术:分析网页的DOM树结构,通过XPATH技术定位网页所爬取内容的节点,再抓取数据
  • Scrapy框架
  • Selenium库
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_54015136/article/details/129833359

python爬虫--使用正则表达式 or xpath爬取豆瓣读书评论_嗷嗷在进步的博客-爱代码爱编程_实验时间:2学时,利用正则表达式和xpath的组合应用对制定网页数据进行爬取,掌握如

本菜鸟实践中发现,使用正则表达式 or xpath爬取想要的内容真的是太香了—只需定位到你想爬取的内容及前后内容即可(此处有点绕,下面详细讲解) 以豆瓣读书《恶意》为例(此处心疼豆瓣一秒钟,总是成为菜鸟们练手的第一选择):

模拟浏览器的请求响应-爱代码爱编程

python的模拟浏览器的请求响应 使用request.Request from urllib import request #request.Request(url,headers=head)可以增加请求头,触发爬虫的第一步 head={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W

Python(爬虫篇)--- 正则表达式-爱代码爱编程

文章目录 一、为什么要学正则表达式二、基础正则表达式语法(一)元字符(二)python 中正则表达式模块——re1. match方法2. search方法3. findall方法4. finditer方法5. split方法6. sub方法7. 贪婪模式和非贪婪模式8. 爬虫的万能表达式9. 匹配中文三、案例----猫眼电影TOP100榜单信息爬取

python爬虫基础---正则表达式-爱代码爱编程

python爬虫 前言 如何从HTML代码中获取真正想要的数据呢? 正则表达式:是一个特殊的字符序列,用来方便地检查一个字符串是否与某种模式匹配。 正则表达式的大致匹配过程是: 1.依次拿出表达式和文本中的字符比较, 2.如果每一个字符都能匹配,则匹配成功;一旦有匹配不成功的字符则匹配失败。 3.如果表达式中有量词或边界,这个过程会稍微有一些不同。

python爬虫基础----使用正则表达式解析数据-爱代码爱编程

文章目录 前言一、正则表达式的基本用法二、实例分析1.获取我们想要的数据2.保存我们获取的数据总结 前言 通过实例来学习数据解析中的正则表达式解析方法,在实操的过程中也会扩展一些知识点的分享 一、正则表达式的基本用法 正则表达式描述了一种字符串匹配的模式(pattern),可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个

go语言爬虫学习--正则表达式-爱代码爱编程

go语言爬虫学习–正则表达式 使用正则表达式检验字符串是否匹配 直接上代码: package main import ( "fmt" "regexp" ) func main() { str1 := "istohard@gmail.com" //str2 := ".*@gmail.com" 匹配所有的 //str2 := "[0-9

golang-爬虫-正则表达式-爱代码爱编程

正则表达式 __(?s:(.*?))__能匹配两个内容之间的全部内容 参考url:“https://studygolang.com/pkgdoc” 的 “regexp” package main import ( "fmt" "regexp" ) func main() { str :="" //解析编译正则表达式 //ret := re

Python爬虫之解析---Re正则表达式-爱代码爱编程

Python爬虫之解析—Re正则表达式 *仅用于记录本人的学习过程 文章目录 一、正则表达式的基本模式二、使用方法1.引入库2.使用 一、正则表达式的基本模式 #\d match number \D match 非数字 \s match 空白符 \S match 非空格 \w match 单词字符 \W match 非单词字符

Python爬虫之解析---Re正则表达式-豆瓣实例-爱代码爱编程

Python爬虫之解析—Re正则表达式-豆瓣实例 *学习视频资源:2021年全新python教学资源 路飞学城IT B站 # 拿到页面源代码 # 提取有效信息 import requests import random import re import csv # 存入文件 csv f = open("data.csv", mode="w") cs

爬虫学习日志7--正则表达式提取json字符串-爱代码爱编程

前言 这篇文章主要讲述正则表达式中对于json的提取。 一、代码 #根着视频学习的代码,记录分享一下 #1.导入相关模块 import requests import re from bs4 import BeautifulSoup #2.发送请求,获取疫情首页内容 response = requests.get('https://ncov.dxy

Python爬虫之正则表达式-爱代码爱编程

正则表达式 正则表达式就是规则表达式,在接触爬虫前,正则表达式就是用来过滤的。接触爬虫后发现真的就是过滤用的hhh。正则表达式在爬虫中的作用就是过滤出想要的字符,然后获取,如果不用正则表达式,那么就会将网页中大量信息全部爬出,造成大量内存浪费,亦不是我们最初想要爬取某些东西的初衷。 正则表达式原理 通过正则表达式我们可以实现 给定的字符串是否符合

正则表达式-爬虫-爱代码爱编程

[周更]1.正则表达式-爬虫 尝试开始周更ε≡٩(๑>₃<)۶ 一心向学 文章目录 [周更]1.正则表达式-爬虫声明前言一、正则表达式二、使用步骤1.引入库requests,re,os(pip install)2.初始化(注意设置header)3.爬取和正则匹配4.不断加载网页并继续爬取新网页5.完整代码总结 声明 本内

python爬虫正则表达式-爱代码爱编程

博主简介:博主是一个大二学生,主攻人工智能领域研究。感谢缘分让我们在CSDN相遇,博主致力于在这里分享关于人工智能,C++,python,爬虫等方面的知识分享。如果有需要的小伙伴,可以关注博主,博主会继续更新的,如果有错误之处,大家可以指正。 专栏简介:本专栏致力于研究python爬虫的实战,涉及了所有的爬虫基础知识,以及爬虫在人工智能方面的应用