爬取北京新发地蔬菜价格

北京新发地

# -*- coding:utf-8 -*-
#@Time : 2021/12/30 11:25
#@Author : dogge
#@File :test.py
#@software:PyCharmimport  requests
import  csv
class vegatable_data:def __init__(self):self.url = 'http://www.xinfadi.com.cn/getPriceData.html'self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}self.formdata = {'limit': '','current': '','pubDateStartTime': '','pubDateEndTime': '','prodPcatid': '','prodCatid': '','prodName': ''}# 使用office打开csv 需要使用utf-8-sig编码保存中文# 使用wps 则序使用utf-8file = open('蔬菜价格.csv','w',encoding='utf-8',newline='')self.csv_file = csv.writer(file)self.csv_file.writerow(['蔬菜名称','最低价格','最高价格','平均价格','产地','更新时间'])def parse(self,data):list = data['list']for cur in list:prodName = cur['prodName']lowPrice = cur['lowPrice']highPrice = cur['highPrice']avgPrice = cur['avgPrice']place = cur['place']pubDate = cur['pubDate']self.csv_file.writerow([prodName,lowPrice,highPrice,avgPrice,place,pubDate])def get_data(self):for i in range(1,11):print("第{}页".format(i))self.formdata['current']=i;resp = requests.post(url=self.url,data=self.formdata,headers=self.headers)data = resp.json()self.parse(data)
if __name__ == '__main__':v = vegatable_data()v.get_data()

爬取北京新发地蔬菜价格相关推荐

手把手教你使用scrapy框架来爬取北京新发地价格行情（理论篇）
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤博观而约取,厚积而薄发. 大家好! ...
北京房租到底有多高？ | 爬取北京海淀区一居室租房信息
图片来源:花瓣网文章来源人工智能与大数据生活如需转载,请联系原作者授权最近北京房租成了热门话题,到底北京的房租有多高? 本次实战是爬取北京海淀区一居室的租房信息,共爬取了300套房源信息,看一 ...
Python爬虫_线程池实例——北京新发地菜价
import requests import json import jsonpath from concurrent.futures import ThreadPoolExecutor print( ...
Python3 爬取携程网[2]: 爬取北京五星级酒店详细信息
目录 1. 需求分析 2. 实验环境 3. 具体实现 3.1 分析页面 3.2 请求 3.3 响应 3.3.1 BeautifulSoup提取标签信息 3.3.2 正则表达式提取字符串信息 3.3.3 ...
茅台酒如何转卖？价格如何才最合理？爬取公众号后每天自动发送价格到钉钉如何呢?
最近i茅台非常火,同时火起来的还有茅台价格-于是想了一个思路写了部分内容,希望能够有所帮助具体步骤: 打开公众号,下载图片,图片识别,确认自己想要的内容–发送钉钉. 下面为爬取公众号代码模块 # ...
Python疫起学习·万丈高楼平地起Day09（精简版|浓缩就是精华）爬虫知识附上案例爬取北京地区短租房信息、爬取酷狗TOP500的数据以及爬取网易云音乐热歌榜单
爬虫知识 Requests库部分运行结果如下: 有时爬虫需要加入请求头来伪装成浏览器,以便更好地抓取数据.在Chrome浏览器中按F12键打开Chrome开发者工具,刷新网页后找到User-Agen ...
每日一练：Python爬虫爬取全国新冠肺炎疫情数据实例详解，使用beautifulsoup4库实现
Python 爬虫篇 - 爬取全国新冠肺炎疫情数据实例详解效果图展示第一章:疫情信息的下载与数据提取 ① 爬取页面数据到本地 ② json 字符串正则表达式分析 ③ 提取数据中的 json 字符串 ...
爬取北京二手房数据信息（python）
数据爬取爬取北京二手房数据信息python代码: # coding : utf-8from requests import get from bs4 import BeautifulSoup as ...
Scrapy爬取北京公交并保存MYSQL数据库实例
前言就不过多赘述了,大家只要把scrapy的基本了解之后就可以完成这个项目. 一:创建scrapy项目: 打开控制台输入 scrapy startproject beibus(这个是项目名称,可以自己 ...

爬取北京新发地蔬菜价格

爬取北京新发地蔬菜价格相关推荐

最新文章

热门文章