爬虫结果写入mysql_将爬取下来的帖子的数据按行插入mysql表中,并查看数据是否存储成功-爱代码爱编程
前言
今天用一个实际案例来演示怎样将爬虫提取到的数据保存到MySQL中，
我们需要将如下内容（红框中）保存至MySQL中。
#
一、用到的python模块
import requests #网络请求模块
from parsel import Selector #数据解析模块
import pymysql #python操作MySQL的模块
二、分析网页
先打开开发者工具抓包
分析得知该网络请求的响应为静态内容且没有请求参数加密
尝试用插件提取所需数据
三. 用代码创建数据库
db = pymysql.connect(host='localhost',user='root',password='密码',port=3306,database='ceshi1')
cursor = db.cursor()
sql = 'create table 红楼梦 (标题 char(50),品类 char(25),书店 char(25),地址 char(25),价格 char(25))'
try:
cursor.execute(sql)
print('创建数据库成功')
except Exception as e:
print('创建数据库失败')
四.发送请求并解析数据
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
url = 'https://item.kongfz.com/book/51144142.html'
res = requests.get(url=url,headers=headers).text
selector = Selector(res)
lis = selector.xpath('//ul[@class="itemList"]/li')
data = []
for li in lis:
info = {
'title' : li.xpath('./div[2]/a/text()').get(),
'category' : li.xpath('./div[4]/text()').get(),
'bookstore' : li.xpath('./div[5]/div[1]/a/text()').get().strip('\n, '),
'site' : li.xpath('./div[5]/div[2]/text()').get(),
'price' : li.xpath('./div[6]/div[1]/span/text()').get()
}
data.append(info)
五.写入MySQL
for i in data:
title = i['title']
category = i['category']
bookstore = i['bookstore']
site = i['site']
price = i['price']
sql_1 = "insert into 红楼梦(标题,品类,书店,地址,价格) value (%s,%s,%s,%s,%s)"
try:
cursor.execute(sql_1,(title,category,bookstore,site,price))
db.commit()
except Exception as e:
print(e)
print('数据写入失败')
cursor.close()
db.close()
在图形化软件中查看结果
总结
本案例展示了如何将爬虫提取的结果写入MySQL中，感兴趣的小伙伴赶快去试试吧。