目的：爬取某商品的历史价格并绘制折线图

淘宝是没有把历史价格放在前端网页上的，而京东可以找到历史价格，但没有对应的日期。所以我是从专门的历史价格比较网爬取数据，这里推荐的是过客网。在F12F_{12}F12后的NetworkNetworkNetwork中搜索histroyhistroyhistroy，即可找到历史价格存放的htmlhtmlhtml网页。

1.头部伪装

import requests# 网页源码爬取
# 头部伪装
# 内容根据自己的填
headers = {'referer': '内容','user-agent': '内容','cookie': '内容'
}
url = 'http://www.tool168.cn/dm/history.php?code=0f72c0c84e6f722de6fb57f9feb3691e26545bc2991ffc290ed35271bb85549929f4303312be17d55c4b131cbefd4011687a4a6672b8ef28&t=&ud=ZGVIMVHOTJHSSKJOVYY_1638970965&reqid=874661af889c27f78a8e83ada294a87adata = requests.get(url, headers=headers).text'
html = requests.get(url, headers=headers).text
html

2.正则表达式对网页源码进行过滤

注意点：多次爬取后，网页源代码出现些变化，所以正则表达式需要做出改变

import re# 过滤日期的正则表达式
data_date = re.findall(r'([1-9][0-9][1-9]*,[0-9]*,[0-9]*)', html)
date = []
# 更改日期格式
for i in data_date:date.append(i.replace(',', '/'))# 过滤价格的正则表达式
data_price = re.findall(r'[1-9]*\.[0-9]*]', html)
price = []
# 对价格格式进行清洗
for i in data_price:price.append(eval(i.replace(']', '')))print(date)
print(price)

3.保存数据（excel）

# 将数据全部存入excel表格中
import xlsxwriter as xwfile_name = "价格趋势.xlsx"
# 创建excel工作表
excel = xw.Workbook(file_name)
# 创建sheet1子表
sheet = excel.add_worksheet("sheet_tmall")
# 设置表头
title = ['日期', '价格']
# 从A1开始写入表头
sheet.write_row("A1", title)
# 从第二行开始写入数据
j = 2
for i in range(len(date)):insert_data = [date[i], price[i]]print(insert_data)row = "A" + str(j)sheet.write_row(row, insert_data)j += 1
print("数据全部存入excel")

4. 绘制折线图可视化

import matplotlib.pyplot as plt
import pandas as pd
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签data = pd.read_excel(r"价格趋势.xlsx")date = data["日期"].values
price = data["价格"].valuesfig = plt.figure(figsize=(26,5))ax = fig.add_subplot(111)plt.plot(date, price, '--')
#
ax.set_xticklabels(date, rotation=30)
# 设置标题
ax.set_title("价格趋势图")
# 设置x轴标签
ax.set_xlabel("日期")
# 设置y轴标签
ax.set_ylabel("价格")# 保存图片
plt.savefig('价格趋势图.png')
plt.show()

爬虫：爬取某个商品的历史价格并绘制折线图相关推荐

爬虫爬取京东商品详细数据（品牌、售价、各类评论量（精确数量）、热评词及数量等）json解析部分数据
文章目录前言一.数据保存格式设置及数据库准备(CentOS云mysql数据库) 1.分析数据需求(单一商品为例) 2.数据库保存格式 3.用到的数据库操作及指令二.网页分析 1.分析网页源码,确 ...
Python动态爬虫爬取京东商品评论
Python 动态爬虫爬取京东商品评论 1. 概述京东商城是Python爬虫初学者试手的经典平台,反爬虫程度较低,但评论采取了动态加载的方式,爬取京东商品评论是学习动态爬虫的一个极佳方法. 动态爬虫 ...
java 爬取京东商品详细信息价格
java 爬取京东商品详细信息价格获取图中的价格,因为京东的价格有反扒机制,价格通过js加载的,直接通过页面标签是获取不到的,所以我们要去要相应的js. http://p.3.cn/prices/ ...
python制作爬虫爬取京东商品评论教程
python制作爬虫爬取京东商品评论教程作者:蓝鲸类型:转载本文是继前2篇Python爬虫系列文章的后续篇,给大家介绍的是如何使用Python爬取京东商品评论信息的方法,并根据数据绘制成各种统计 ...
python爬取二手房库存，存数据库，生成折线图（下）
python爬取二手房库存,存数据库,生成折线图(下) 数据库有了房价的多阶段价格后,即可生成折线图.默认我的数据库已经有很多天的数据了进入html页面的时候,默认加载房价走势图在vue 的mou ...
go爬虫和python爬虫哪个好_python 爬虫实战项目--爬取京东商品信息（价格、优惠、排名、好评率等）-Go语言中文社区...
利用splash爬取京东商品信息一.环境 window7 python3.5 pycharm scrapy scrapy-splash MySQL 二.简介为了体验scrapy-splash 的动 ...
简单爬虫,爬取天猫商品信息
前言这是我第一次用Java来写爬虫项目,研究的也不是很透彻,所以爬虫技术的理论方面的就不说太多了. 主要还是以如何爬取商品信息为主,爬取最简单的商品信息,给出大概的思路和方法. 对于没有反爬技术的网 ...
python爬虫爬取京东商品评价_网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...

爬虫：爬取某个商品的历史价格并绘制折线图

目的：爬取某商品的历史价格并绘制折线图

1.头部伪装

2.正则表达式对网页源码进行过滤

3.保存数据（excel）

4. 绘制折线图可视化

爬虫：爬取某个商品的历史价格并绘制折线图相关推荐

最新文章

热门文章