pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）

主要使用的库：

requests:爬虫请求并获取源码

re：使用正则表达式提取数据

json:使用JSON提取数据

pandas：使用pandans存储数据

#!coding=utf-8
import requests
import os
import re
import json
import datetime
import time
import pandas as pd
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
import win32api,win32condef raw(text):  # 转化URL字符串escape_dict = {'/': '%252F','?': '%253F','=': '%253D',':': '%253A','&': '%26',}new_string = ''for char in text:try:new_string += escape_dict[char]except KeyError:new_string += charreturn new_stringdef mmm(item):item=raw(item)url='https://apapia.manmanbuy.com/ChromeWidgetServices/WidgetServices.ashx's=requests.session()headers={'Host':'apapia.manmanbuy.com','Content-Type':'application/x-www-form-urlencoded; charset=utf-8','Proxy-Connection':'close','Cookie':'ASP.NET_SessionId=uwhkmhd023ce0yx22jag2e0o; jjkcpnew111=cp46144734_1171363291_2017/11/25','User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X) AppleWebKit/603.3.8 (KHTML, like Gecko) Mobile/14G60 mmbWebBrowse','Content-Length':'457','Accept-Encoding':'gzip','Connection':'close',}postdata='c_devid=2C5039AF-99D0-4800-BC36-DEB3654D202C&username=&qs=true&c_engver=1.2.35&c_devtoken=&c_devmodel=iPhone%20SE&c_contype=wifi&' \'t=1537348981671&c_win=w_320_h_568&p_url={}&' \'c_ostype=ios&jsoncallback=%3F&c_ctrl=w_search_trend0_f_content&methodName=getBiJiaInfo_wxsmall&c_devtype=phone&' \'jgzspic=no&c_operator=%E4%B8%AD%E5%9B%BD%E7%A7%BB%E5%8A%A8&c_appver=2.9.0&bj=false&c_dp=2&c_osver=10.3.3'.format(item)s.headers.update(headers)req=s.get(url=url,data=postdata,verify=False).text#print(req)try:js=json.loads(req)title = js['single']['title']  ##名称except Exception as e:print(e)#exit(mmm(item))
###数据清洗pic=js['single']['smallpic']  ##图片jiagequshi=js['single']['jiagequshi']  ##价格趋势lowerPrice=js['single']['lowerPrice']  ##最低价格lowerDate=js['single']['lowerDate']  ##最低价格日期lowerDate=re.search('[1-9]\d{0,9}',lowerDate).group(0)#print(lowerDate)lowerDate=time.strftime("%Y-%m-%d", time.localtime(int(lowerDate)))itemurl=js['single']['url']  ##商品链接qushi=js['single']['qushi']  ##趋势changPriceRemark=js['single']['changPriceRemark']   ##趋势变动date_list=[]   ##日期price_list=[]  ##价格##日期转换   datalist=jiagequshi.replace('[Date.UTC(','').replace(')','').replace(']','').split(',')for i in range(0,len(datalist),4):if i !=0:day = int(datalist[i + 2])if int(datalist[i + 1]) == 12:mon = 1year = int(datalist[i]) + 1else:mon = int(datalist[i + 1]) + 1year = int(datalist[i])date = datetime.date(year=year, month=mon, day=day)date = date - datetime.timedelta(days=1)price = float(datalist[i -1])date_list.append(date)price_list.append(price)day=int(datalist[i + 2])if int(datalist[i+1])==12:mon=1year=int(datalist[i])+1else:mon=int(datalist[i+1])+1year = int(datalist[i])date=datetime.date(year=year,month=mon,day=day)price=float(datalist[i+3])date_list.append(date)price_list.append(price)data={'date_日期':date_list,'price_价格':price_list}df = pd.DataFrame(data)df.loc[:, "title_名称"] = titledf.loc[:, "pic_图片"] = picdf.loc[:, "lowerPrice_最低价格"] = lowerPricedf.loc[:, "lowerDate_最低价格日期"] = lowerDatedf.loc[:, "itemurl_商品链接"] = itemurldf.loc[:, "qushi_趋势"] = qushidf.loc[:, "changPriceRemark_趋势变动"] = changPriceRemarkdf.to_csv('out.csv',index=False,mode='a',encoding="GB18030")  ##保存数据# print(df)#return dfif __name__ == '__main__':item='https://detail.tmall.com/item.htm?id=538801983798'   ##京东、淘宝、天猫等电商平台数据都可以获取mmm(item)

pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）相关推荐

Python爬虫实战：selenium爬取电商平台商品数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 极客挖掘机 PS:如有需要Python学习资料的小伙伴可以加点击下 ...
爬取电商平台数据，python爬取某维商品数据
本次内容: 爬取电商平台数据,python爬取某维商品数据课程亮点动态数据抓包演示 json数据解析 requests模块的使用保存csv 环境介绍 python 3.8 [最好用和老师一样的版 ...
【爬虫】Python爬取电商平台评论完整代码
利用Ajax爬取淘宝评论,这里完整的补充一下,包括数据存储. 对于Ajax参数的分析,Python爬取平台评论,这篇文章分析过了这里不再重复了. 主要是完善一下代码. import time impo ...
Python爬取电商平台充气娃娃用户评价，看看用户体验是什么样的！
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬取电商订单_Python探索之爬取电商售卖信息代码示例
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 下面有一个示例代码,分享给大家: #! /usr/bi ...
四川一度智信:电商平台商品关键词优化技巧
四川一度智信:电商平台商品关键词优化技巧有关一定网店运营经验的朋友,应该都知道标题对于商品发展来说的重要性.商品标题直接影响了商品的搜索展现情况,进而也就影响了商品的流量获取.因此,标题优化也是卖家 ...
java电商商品基本信息表,Java生鲜电商平台-商品表的设计
Java生鲜电商平台-商品表的设计任何一个电商,无论是B2C还是B2B的电商,商品表的设计关系到整个系统架构的核心. 1. 商品基本信息表:用单词:goods做为商品表 2. 商品分类信息表: 说明 ...
网络爬虫爬取淘宝页面商品信息
网络爬虫爬取淘宝页面商品信息最近在MOOC上看嵩老师的网络爬虫课程,按照老师的写法并不能进行爬取,遇到了一个问题,就是关于如何"绕开"淘宝登录界面,正确的爬取相关信息.通过百度找 ...
java产品分类和管理_Java生鲜电商平台-商品无限极目录的设计与架构
Java生鲜电商平台-商品无限极目录的设计与架构说明:任何一个商品都应该是先属于某一个目录,然后在目录中添加商品,目录理论上最多支持三级,因为级别太多,不容易管理.但是设计中需要设计无限制的级别. ...

pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）

pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）相关推荐

最新文章

热门文章

pyhton爬虫 爬取电商平台商品历史价格、最低价格（慢慢买网）

pyhton爬虫 爬取电商平台商品历史价格、最低价格（慢慢买网）相关推荐

最新文章

热门文章

pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）

pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）相关推荐