使用python爬爬菜价

第一步我们先导入需要用到的库

from requests_html import HTMLSession
import pymysql
import json

然后打开网站，点击查看更多

点击下一页，发现网页地址栏没有变化，由此可知这是一个ajax请求，打开f12调试工具，点击Fetch/XHR然后刷新网页，点击response响应，查看信息，我们需要的数据就在这个响应中。

点击下一页，查看payload，发现页数变化，current也会变化，所以确定页数和current有直接关系。

点击Headers，复制requeste url，这个就是目标网址。接下来上代码

from requests_html import HTMLSession
import pymysql
import jsonclass Myspider():def __init__(self, i):self.url = 'http://www.xinfadi.com.cn/getPriceData.html'self.session = HTMLSession()self.data = {'limit': 20,'current': i,'pubDateStartTime': '','pubDateEndTime': '','prodPcatid': '','prodCatid': '','prodName': ''}host = "localhost"#ip地址port = 3306 #端口号db = ''#数据库名user = ''#数据库用户password = ""#数据库密码self.conn = pymysql.connect(host=host, port=port, database=db, user=user, password=password, charset='utf8')self.cursor = self.conn.cursor()def parse(self):response = self.session.post(url=self.url, data=self.data)response.encoding = 'utf-8'dict1 = json.loads(response.text)for dict2 in dict1['list']:proname = dict2['prodName']prodcat = dict2['prodCat']lowprice = dict2['lowPrice']higeprice = dict2['highPrice']avgeprice = dict2['avgPrice']place = dict2['place']unitinfo = dict2['unitInfo']pubdate = dict2['pubDate']data = (proname, prodcat, lowprice, higeprice, avgeprice, place, unitinfo, pubdate)# print(data[0])self.saveMySql(data)def saveMySql(self, data):self.cursor.execute('''INSERT INTO #此处是表名(proname ,prodcat,lowprice,higeprice,avgeprice,place,unitinfo,pubdate)  VALUES ('{}', '{}', '{}', '{}', '{}', '{}','{}','{}');'''.format(data[0], data[1], data[2], data[3], data[4], data[5], data[6], data[7]))self.conn.commit()def run(self):self.parse()self.cursor.close()self.conn.close()#关闭数据库连接if __name__ == '__main__':for i in range(2, 100):spider = Myspider(i)spider.run()

存入MySQL数据库中的结果

使用python爬爬菜价相关推荐

《python爬爬乐》爬虫篇：超短线量化交易需求分析及功能设计
前言随着网络的普及,人们炒股已经不用再天天跑到证券大厅去看数据了,包括很多分析的数据,现在也可以直接通过互联网直接获取."问财"就是这么一个专业A股数据提供网站. 通这该网站,我 ...
python云图_python聚合云图
今天一时兴起,想用python爬爬自己的博客,通过数据聚合,制作高逼格的云图(对词汇出现频率视觉上的展示),看看最近我到底写了啥文章. 一.直接上几张我的博客数据的云图 1.1 爬取文章的标题的聚合 ...
SegmentFault 技术周刊 Vol.30 - 学习 Python 来做一些神奇好玩的事情吧
前言开始之前,我们先来看这样一个提问: python初学者,请教python学习路径相信看完 @X_AirDu 的回答我们已经对 Python 有了一个大概的了解.那接下来就让我们更深入的了解 P ...
python云图制作壮观天体照_Python爬取个人博客，带你制作高逼格的数据聚合云图...
点击上方"中兴开发者社区",关注我们每天读一篇一线开发者原创好文本文出自方志朋的博客链接:http://blog.csdn.net/forezp/article/detail ...
python云图制作壮观天体照_Python爬虫，看看我最近博客都写了啥，带你制作高逼格的数据聚合云图...
今天一时兴起,想用python爬爬自己的博客,通过数据聚合,制作高逼格的云图(对词汇出现频率视觉上的展示),看看最近我到底写了啥文章. 一.直接上几张我的博客数据的云图 1.1 爬取文章的标题的聚合 ...
运用Python看看对于《鹰猎长空》的知乎 vs 豆瓣的战斗
作为明年会上映国产电影<鹰猎长空>,看完概略之后觉得大体还可以,中规中矩的国产战争片.摄影.调度应该算得上是国内一流,要我评价的话会先给个基础分.不过自己打完分,都会习惯性去看看别人的评价 ...
对于电影《八佰》，知乎与豆瓣的评价相差巨大？分析下电影评论
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:朱小五来源:凹凸数据作为今年疫情以来上映的第一部国产电影,看完之 ...
炎热的夏天过去了，老司机用Python带你爬爬哪个城市最热
九月的尾巴,感觉炎热的夏天终于过去啦,小编最怕夏天了,你和烤肉之间是不是只差一撮孜然?那么这里我们也来蹭一蹭热度,来写个小爬虫,看看全国哪个城市最热.东西虽然小,但是比起那些所谓"高大上&q ...
[附源码]计算机毕业设计Python+uniapp美团外卖微信菜价平台系统的设计与实现9t7op(程序+lw+远程部署)
[附源码]计算机毕业设计Python+uniapp美团外卖微信菜价平台系统的设计与实现9t7op(程序+lw+远程部署) 该项目含有源码.文档.程序.数据库.配套开发软件.软件安装教程项目运行环境配 ...

使用python爬爬菜价

使用python爬爬菜价相关推荐

最新文章

热门文章