python爬虫-爱代码爱编程

前言

本文是该专栏的第16篇，后面会持续分享python爬虫干货知识，记得关注。

有粉丝朋友私信，问是否可以通过python爬取免费小说并下载保存到本地呢？答案是：肯定的！

而本文，笔者将针对上面的需求，以某网站的小说案例为例子，结合“完整代码”详细介绍通过python来批量爬取小说，并将小说批量保存到本地。

具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

正文

地址：aHR0cDovL3d3dy4xMnouY24vYm9vay9kdXNoaXl1bGUv

目标：批量爬取免费小说，并将小说下载保存到本地

1. 获取小说下载链接

接下来，笔者直接以代码案例为说明，示例如下所示：

import requests
import urllib.parse
from bs4 import BeautifulSoup


def spider(url, page_count):
    # 发送GET请求获取页面内容
    response = requests.get(url)
    content = response.content.decode('gbk&