爬取广州所有停车场数据（Python）（并行加速版本）

之前做过这个的单进程版本。这次使用多进程来实现~
爬取广州所有停车场数据（Python）

大家可以对比着看一下，在原来的单进程爬虫的基础进行改进而得到的产品。

import requests
import os
import json
import multiprocessing
import timedef getAllJson(Session, data, headers):url = 'http://219.136.133.163:8000/Pages/Commonpage/AsyGetData.asmx/GetParkList'res = Session.post(url, data=data, headers=headers)res.encoding = 'utf-8'with open('./Data/' + data['cp'] + '.json', 'w') as f:json.dump(res.json(), f, ensure_ascii=False)if __name__ == '__main__':st = time.time()headers = {'X-Requested-With': 'XMLHttpRequest','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}pageSession = requests.Session()url = 'http://219.136.133.163:8000/Pages/Commonpage/AsyGetData.asmx/GetParkList'pageSession.get(url, headers=headers)data = {'cp': '1','ps': '10','kw': '','lon': 'undefined','lat': 'undefined','type': 'undefined'}if not os.path.exists('./Data'):os.mkdir('./Data')p_list = []for i in range(318):data['cp'] = str(i + 1)p = multiprocessing.Process(target=getAllJson, args=(pageSession, data, headers))p.start()p_list.append(p)if len(p_list) == 16:for p in p_list:p.join()p_list = []et = time.time()print(et - st)

爬取广州所有停车场数据（Python）（并行加速版本）相关推荐

爬取广州所有停车场数据（Python）
目标地址 http://www.gzjt.gov.cn/gzjt/tcc/list_tt.shtml 上面url是广州交通的地址.朋友想要我帮忙去抓到所有的广州停车场所在的详细地址. 一开始去查这个网 ...
python爬虫豆瓣电影评价_使用爬虫爬取豆瓣电影影评数据Python版
在使用爬虫爬取豆瓣电影影评数据Java版一文中已详细讲解了爬虫的实现细节,本篇仅为展示Python版本爬虫实现,所以直接上代码完整代码爬虫主程序 # 爬虫启动入口 from C02.data ...
python 携程_python爬取携程和蚂蜂窝的景点评论数据\python爬取携程评论数据\python旅游网站评论数...
本人长期出售超大量微博数据.旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com.同时欢迎加入社交媒体数据交流群:99918768 前言为 ...
Python爬虫新手入门教学（十四）：爬取有声小说网站数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python爬取豆瓣电影信息数据
题外话+ 大家好啊,最近自己在做一个属于自己的博客网站(准备辞职回家养老了,明年再战)在家里琐事也很多, 加上自己一回到家就懒了(主要是家里冷啊! 广东十几度,老家几度,躲在被窝瑟瑟发抖,) 由于 ...
python爬取的信息条数比页面显示多_Python爬取分析北京二手房数据？数据结果真的太吓人了...
有个朋友联系我,想统计一下北京二手房的相关的数据,而自己用Excel统计工作量太过于繁杂,问我用Python该如何实现. 构造要访问的URL 这里,我试着抓取北京海淀区二手房的相关数据.首先,是观察一 ...
Python+BI爬取3000条车厘子数据，发现了这些秘密
听说最近车厘子的价格突然猛跌,之前很多人梦寐以求的"车厘子自由",现在都能实现了.其实车厘子的价格下降,主要原因是进口货运成本的大大降低,为了找到车厘子最佳的购买方式,我决定用py ...
python实战｜python爬取58同城租房数据并以Excel文件格式保存到本地
python实战|python爬取58同城租房数据并以Excel文件格式保存到本地一.分析目标网站url 目标网站:https://cq.58.com/minsuduanzu/ 让我们看看网站长啥样 ...
使用Python爬取分析政府采购网数据
好久没写博客了,一直觉得之前写的都没啥技术性,这次分享个最近觉得很值得记录的一次操作吧~. Leader临时分配给我个任务,要我爬取下政府采购网近一个月公开招标中二三甲医院的数据,这一 ...

爬取广州所有停车场数据（Python）（并行加速版本）

爬取广州所有停车场数据（Python）（并行加速版本）相关推荐

最新文章

热门文章