python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址
随着人们生活水平的提高,肯德基这类的快餐消费的十分火爆,成为小朋友和年轻人的最爱,我们到一个地方想要找到肯德基店面,会根据导航获取肯德基地址,那你知道我们也可以使用python爬虫获取KFC地址吗?我们可以使用python爬虫的requests模块模拟浏览器发送请求对肯德基官网的数据进行爬取,本文向大家介绍相关步骤。
爬虫目标:使用requests模块对肯德基官网的数据进行爬取。
requests模块作用:requests模块是python一款原生的基于网络请求的模块,我们用来模拟浏览器发送请求。
1、导入requests模块# 调用requests模块
import requests
if __name__ == '__main__':
2、获取要请求的url并发起请求
requests模块请求功能来代替我们用户在网页上的鼠标点击操作,即使不用浏览器也能完成访问。# 获取要请求的url
post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
kw = input('请输入城市名: ')
data = {
'cname': '',
'pid': '',
'keyword': kw,
'pageIndex': '1',
'pageSize': '10'
}
# UA伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/87.0.4280.141 Safari/537.36'
}
3、获取响应数据并储存数据
发起了请求,服务器自然会给回应,从服务器返回的数据中可以筛选出我们所希望得到的数据。# 获得请求返回数据并保存
dict_text = response.text
#虽然返回的是txt格式,但是这里保存成json格式,就可以使用自动调整格式了,更方便查看
filename = kw+'市kfc分布.json'
fp = open(filename,'w',encoding='utf-8')
fp.write(dict_text)
print('爬取成功~')
以上就是Python爬虫如何爬取KFC地址的步骤,是不是挺简单的,可以尝试看看哟~更多python爬虫推荐:python爬虫教程。
python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址相关推荐
- python爬取ajax动态内容肯德基门店_爬虫爬取国内肯德基门店信息
预期效果 爬取每个城市(300+城市)所有的肯德基门店信息,保存到excel中,效果如下: 代码实现 import requests import csv import json def getDat ...
- python爬取ajax动态内容肯德基门店_新手爬虫.全国KFC门店地址抓取.
import requests import json def getJSON_text(url, num=str(10), city='北京'): headers = { 'User-Agent': ...
- 利用requests模块爬取任意城市肯德基门店地址
最近,作者在学习爬虫,故也简单的做了一个爬取作者所在城市肯德基门店地址信息的项目实例,并将其推广到可爬取各大城市肯德基门店地址.具体如下: 运行结果:
- 通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据
本文主要通过爬取天猫商品kindle的评论为例来说明利用python爬取ajax动态生成的数据的方式,本文使用的工具如下: 工具 chrome浏览器[寻找评论的动态链接] python3.5[执行代码 ...
- python爬百度新闻_13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息...
crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址 有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才显示信息, ...
- python爬虫案例分析:爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现
1.用到的模块: requests pprint csv 2.找到肯德基门店网站进入门店位置页面后,打开抓包工具,找到response中包含所需信息的正确的url信息 3. 导入地址url 4.为防止 ...
- python爬虫获取肯德基门店信息
python爬虫获取肯德基门店信息 1.在谷歌浏览器中打开肯德基官网,进入餐厅查询页面 2.在搜索框中输入地区并按f12打开开发者工具 发现已经抓取到了一条Ajax请求,可以从中获取请求的url,以及 ...
- PHPcurl抓取AJAX异步内容(转载)
PHPcurl抓取AJAX异步内容 其实抓ajax异步内容的页面和抓普通的页面区别不大.ajax只不过是做了一次异步的http请求,只要使用firebug类似的工具,找到请求的后端服务url和传值的参 ...
- 获取南京肯德基门店列表
获取南京肯德基门店列表 以南京为例批量获取肯德基门店信息 import urllib.request import urllib.parse import json import csvdef do_ ...
最新文章
- JAVA语言概述和基本语法知识点
- php内打开网址,网站内部跳转外部网站go.php
- sklearn之XGBModel:XGBModel之feature_importances_、plot_importance的简介、使用方法之详细攻略
- 【Codeforces】 Round #374 (Div. 2)
- -webkit-scrollbar
- 不止是 Oracle 读物
- numpy数组与矩阵运算
- 关于JS的window.onload与$(function (){})方法区别
- PHP类中Static方法效率测试
- 打车软件是不是一个市场泡沫?
- java使用RabbitMQ,学习了解
- 测试方案和测试计划区别
- maple中plot和plots函数的区别——笔记1
- 微信支付--付款到零钱(java后端)
- [转]CreateDIBitmap与CreateDIBSection
- Fluent 湍流非预混燃烧模拟
- iOS searchbar实现汉字更具拼音首字母排序
- 计算机硬件设备介绍 ppt,计算机硬件设备的认识课件.ppt
- 【PHP】PHP开发环境搭建——windows篇(apache2.2.22+php5.3.29+mysql5.7)
- 阻容感基础06:电容器分类(1)-陶瓷电容
热门文章
- 高速连传与LORA的区别和优势
- html如何与php,html页面怎么跟php文件连接
- c++ 多个字符串排序_Python小白干货宝典:sorted()函数:列表元素排序
- 2 Convex sets
- ace unlck工具下载_压缩工具:WinRAR 曝出代码执行漏洞,该升级了
- minwindow java_Java经典算法:最小窗口子字符串
- 嵌入式基于linux电机控制器,基于嵌入式Linux的移动机器人控制系统
- ssh登陆报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!”的解决方法
- Django知识总结(一)
- word 论文排版 —— 按指定格式章节的自动编号