python爬虫学习(六)kfc门店地址
这个项目比药监局简单,但是我在抓取url的时候抓成了http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx
每次的输出都是-1000,弄了蛮久。
以此为鉴。
第二就是text格式文件可以用json对象输出
# -*- coding: utf-8 -*-import requests
import json
if __name__ == '__main__':all_data_list = []url= 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'path=input('请输入要查询的地址:')headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}#参数for pageIndex in range(1,5):pageIndex = str(pageIndex)data={'cname':'','pid':'','keyword': path, #地址'pageIndex': pageIndex, #页数'pageSize': '20' #一页显示多少个}response= requests.post(url=url, headers=headers, data=data)all_data_list.append(response.json())# 输出状态码print(response.status_code)# 输出错误print(response.raise_for_status())fileName = path + '.json'fp = open(fileName, 'w', encoding='utf-8')# json中含有中文,所以要加上ensure_ascii=Falsejson.dump(all_data_list, fp=fp, ensure_ascii=False)print(fileName, "完成")
python爬虫学习(六)kfc门店地址相关推荐
- Python爬虫实战六之抓取爱问知识人问题并保存至数据库
大家好,本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法 正则表 ...
- Python 爬虫十六式 - 第六式:JQuery的假兄弟-pyquery
PyQuery:一个类似jquery的python库 学习一时爽,一直学习一直爽 Hello,大家好,我是 Connor,一个从无到有的技术小白.上一次我们说到了 BeautifulSoup 美味 ...
- Python 爬虫十六式 - 第一式:HTTP协议
HTTP:伟大而又无闻的协议 学习一时爽,一直学习一直爽! Hello,大家好啊,我是Connor,一个从无到有的技术小白.有的人一说什么是HTTP协议就犯愁,写东西的时候也没想过什么是HTTP协 ...
- Python 爬虫十六式 - 第八式:实例解析-全书网
实例解析- 全书网 学习一时爽,一直学习一直爽 Hello,大家好,我是Connor,一个从无到有的技术小白.前面我们就算是把所有的网页访问与网页解析的方法给大家讲完了.为了帮助大家更好的使用这些 ...
- Python 爬虫十六式 - 第八式:实例解析 - 全书网
实例解析- 全书网 学习一时爽,一直学习一直爽 Hello,大家好,我是Connor,一个从无到有的技术小白.前面我们就算是把所有的网页访问与网页解析的方法给大家讲完了.为了帮助大家更好的使用这些 ...
- Python爬虫学习系列教程
大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫 ...
- Python爬虫学习系列教程-----------爬虫系列 你值的收藏
静觅 » Python爬虫学习系列教程:http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把 ...
- Python 爬虫学习 系列教程
Python爬虫 --- 中高级爬虫学习路线 :https://www.cnblogs.com/Eeyhan/p/14148832.html 看不清图时,可以把图片保存到本地在打开查看... Pyth ...
- Python爬虫十六式 - 第三式:Requests的用法
Requests: 让 HTTP 服务人类 学习一时爽,一直学习一直爽 Hello,大家好,我是Connor,一个从无到有的技术小白.今天我们继续来说我们的 Python 爬虫,上一次我们说到了 ...
- 免费python课程排行榜-Python爬虫学习排行榜
Python作为一门高级编程语言,在编程中应用非常的广泛,近年来随着人工智能的发展Python人才的需求更大,北京Python培训班也成了很多人转行高薪行业的一个捷径.想学爬虫,Python爬虫学习排 ...
最新文章
- 20181113-3 Beta阶段贡献分配规则
- Eclipse4.4设备egit插件提交本地项目代码到远程仓库
- 【转载】Linux Shell-条件测试
- Java使用多线程发送消息
- git checkout 和 git reset
- [POI2014]Solar Panels
- treewidget怎么设置某一个item拖动的_如何零基础撸一个专车小程序?看这一文就够了!...
- CCF NOI1021 发放奖金
- 马尾物联网企业主导或参与制定修订各级标准达60项
- 【Excel实战】按指定字符拆分字符串
- 用计算机谈我还是从前那个少年,我还是从前那个少年是什么歌-我还是从前那个少年抖音歌曲介绍...
- PHP 网页支付支付宝支付接口对接
- 国内IT界女神程序员!和她们一样漂亮的还有谁?
- android 控制空调,控制精灵空调遥控器
- 初识 Mac机子 关机命令
- 【CSAPP】计算机系统漫游
- ai字体行间距怎么调整_ai怎么调整文字间距- ai调整行间距的详细教程
- 潇洒郎: PostgreSQL学习——安装、启动、执行sql,修改数据库密码
- python安装bert模型_BERT模型的简单使用(Python)
- 百度离职总结:如何做个好员工?