代码编织梦想

1. 前言

先贴代码

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量(一个json文件包含30个图像文件)
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\Users\cun\Pictures\download\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link = []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)
        for index in range(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片{img_link}下载出错------->")
        with open(filename, "wb") as f:
            f.write(res.content)
            print("存储路径:" + filename)

    # 入口函数
    def run(self):
        searchName = input("查询内容:")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = (index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)  # 休眠0.2秒,防止封ip
        print(searchName+"----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10   # 定义下载10组图像,也就是三百张
    spider.run()


如果要使用上述程序的话,需要修改两个地方:

  • self.directory 这是本地存储地址,修改为自己电脑的地址,另外,**{}**不要删
  • spider.json_count = 10 这是下载的图像组数,一组有30张图像,10组就是三百张,根据需求下载

也可以去gitee仓库直接下载程序。

2. Python爬虫批量下载百度图片

流程:先分析页面,然后写爬虫程序。

打开“百度图片”,随便搜索一个词汇,例如玫瑰,可以查询到相关的图片

image-20211024132137388

  1. 分析页面

点击鼠标右键–>检查–元素,先找到第一层div

image-20211024132532939

然后往下找,可以找到一堆li,也就是以列表排列的元素,经研究发现,每个li代表一个模块,每个模块包含图像和下面的字,实际上,下面的字也带有相应链接,点击可以跳转到新页面。

image-20211024132811181

可以先数一下,包含前面的广告图片,总共也就二十多个li,也就是只包含了二十多张图像。

根据使用经验来看,鼠标滚轮下滚,会看到源源不断的图像,并不局限于二十多张图像,那么我们先下滚鼠标滚轮,看看会发生什么。(此时只有一个类名为“imgpage”的div

image-20211024134004366

鼠标滚轮下滚,类名为“imgpage”的div增加了很多,继续下滚,还会继续增加。

image-20211024134201075

由此可以得出一个结论,“百度图片”初始只会渲染部分图像到页面上,随着滚轮下滚,就会请求新的数据。而请求数据,就可以在“网络“中获取请求信息,

image-20211024134634136

打开”网络“,可以发现请求的数据非常非常多,而我们只想找刚刚请求的图像数据。

打开”网络“中的【XHR】,这里的数据都是通过XHR请求到的,通过名称可以初步判断出,请求到的文件是json格式的。

image-20211024135256750

随便点开一个文件,查看请求的url,可以发现,url很长

image-20211024135458608

比对以下不同文件的请求url,可以发现两个【pn】和【gsm】不同(gsm可以不用管它,这是通信系统)

image-20211024135832630

对比多个文件,可以看到特点:

  • pn:30
  • pn:60
  • pn:90
  • ……

下滚鼠标滚轮,会添加一个新的json文件,实际上,pn表示一组数据,一组数据包含30个图像内容,也就是第一次请求会得到30个图像,再次请求会得到另外30个图像。

现在已经分析出查询同种类型图像的url特点,那么不同类型的请求url呢?

这里又查询了一下”向日葵“,,pn也是按30、60、90进行排列的。对比”玫瑰“和”向日葵“的请求url,不同的属性增加了【logid】、【queryWord】、【word】,而【queryWord】和【word】的信息是相同的,通过名称可以看出,【queryWord】和【word】代表的是查询信息。

queryWord=%E5%90%91%E6%97%A5%E8%91%B5


这后面的信息是编码后的查询数据,至于为什么编码,是因为URL只支持一部分ASCII编码,而中文内容需要进行编码,才能用于url

使用在线URL编码工具尝试编码”向日葵“,发现与url使用中的相同

image-20211024141921177

到这里,我们可以尝试一下这个url请求

import requests  # 导入requests包

url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
print(strhtml.text)


请求到的数据如下图所示,可以看到返回结果是json格式的。

image-20211024142333934

既然是json格式的,我们也不用BeautifulSoup进行解码了,直接根据json格式获取信息。

import requests  # 导入requests包
import json

url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
jsonInfo = json.loads(strhtml.text)
for index in range(30):
    print(jsonInfo['data'][index]['thumbURL'])


image-20211024143135677

点击相应的链接,可以查询出相应的图像。

image-20211024143249824

  1. 编写爬虫程序

经过上面分析,基本上有了编写程序的思路。

  • 获取请求url
  • 解析出图像对应的url
  • 根据图像url下载图像

根据设计思路,编写爬虫程序

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量(一个json文件包含30个图像文件)
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\Users\cun\Pictures\download\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link = []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)
        for index in range(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片{img_link}下载出错------->")
        with open(filename, "wb") as f:
            f.write(res.content)
            print("存储路径:" + filename)

    # 入口函数
    def run(self):
        searchName = input("查询内容:")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = (index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)  # 休眠0.2秒,防止封ip
        print(searchName+"----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10   # 定义下载10组图像,也就是三百张
    spider.run()



如果要使用上述程序的话,需要修改两个地方:

  • self.directory 这是本地存储地址,修改为自己电脑的地址,另外,**{}**不要删
  • spider.json_count = 10 这是下载的图像组数,一组有30张图像,10组就是三百张,根据需求下载

测试下载3组玫瑰,程序运行情况:

image-20211024152530111

下载的玫瑰图像数据:

image-20211024152714420

10组向日葵图像:

image-20211024152653324

值得注意的是,下载过程中使用了休眠,这里设置了下载一张图像休眠0.2秒,是为了防止查询过快导致ip地址被封,更进阶的做法是添加【代理ip池】

3. 后言

爬虫还是比较好入门的,这得益于成熟的爬虫工具。

爬虫可以满足自己的个性化搜索需求,快动手试试吧。

如果觉得文章还不错的话,留个赞再走吧,非常感谢!!!

如果大家对Python感兴趣,这套python学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门Python是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python!

零基础Python学习资源介绍

① Python所有方向的学习路线图,清楚各个方向要学什么东西

② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论

④ 20款主流手游迫解 爬虫手游逆行迫解教程包

⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解

⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解

⑦ 超300本Python电子好书,从入门到高阶应有尽有

⑧ 华为出品独家Python漫画教程,手机也能学习

⑨ 历年互联网企业Python面试真题,复习时非常方便

在这里插入图片描述

👉Python学习路线汇总👈

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
在这里插入图片描述

👉Python必备开发工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉Python学习视频600合集👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

👉实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈

在这里插入图片描述

在这里插入图片描述

资料领取

这份完整版的Python全套学习资料已经上传网盘,朋友们如果需要可以点击下方微信卡片免费领取 ↓↓↓【保证100%免费】
28c313fe0bc8cfd922b6246074689e50.png

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/lvaolan8888/article/details/137923456

python 爬虫(1)--爬取百度图片,你确定不来看一看-爱代码爱编程

前言 学习python有什么用?python编程语言在当今已经成为主流语言,拥有丰富的库函数,在人工智能和图像处理等多方面有着突出的表现。今天我们通过python爬取百度图库。 爬虫从字面上来讲就是爬动的虫子,主要是用来自动爬取目标数据的。可以帮住我们完成在目标网页下载查找数据,减轻了人工查找。利用python中的库函数可以轻松的实现一个爬虫脚本。 从本

使用python爬取图片(爬取百度图片为例)-爱代码爱编程

思路:        1. 确定爬取的是哪一个url的图片,可F12来获取 https://image.baidu.com/search/acjson 就是要爬取图片的url基地址         2.获取需要传递的参数以及header信息复制出来待会会用到 3.对  urllib  的使用:urllib 通常用于网络资源的

【python实战】--批量下载百度图库图片_用余生去守护的博客-爱代码爱编程

系列文章目录 文章目录 系列文章目录前言一、效果展示:二、使用步骤1.复制源码并修改路径2. python运行即可! 总结 前言 一、效果展示: 二、使用步骤 1.复制源码并修改路径

爬虫爬取百度图片——大量、多张图片_c inderella的博客-爱代码爱编程

大家好,本文为大家讲解的是使用爬虫爬取百度图片 一、导入相应的库 二、获取网站源码 使用"utf-8"的编码方式 三、正则表达式 四、获取图片的二进制源码 五、保存图片 六、定义一个新建文件夹程序 七、定义main函数调用get_html函数 # 定义main函数调用get_html函数 def main():

零基础用python爬取百度图片-爱代码爱编程

1.导入库 分别导入re os requests import os import re import requests 2.获取网站源代码 def get_html(url,headers,params): response = requests.get(url,headers=headers,params=params)

【实战案例】python爬取百度图片_python下载百度图片-爱代码爱编程

网络爬虫的本质就是模拟客户端发送请求,一个爬虫的基本开发流程包含五步: 1、明确目标数据 2、分析数据的请求流程 3、模拟发送请求 4、解析数据 5、数据持久化 一、明确目标数据 我们要下载的是百度图片首页中的图

如何使用python批量下载图片-爱代码爱编程

爬虫程序在采集网页的过程中,需要从网上下载一些图片,比如表情包、壁纸、素材等,如果图片的数量很多,这样做就会非常麻烦和耗时。那么有没有更方便快捷的方法呢?答案是肯定的。我们可以利用Python编程语言来实现批量下载图片的功能