介绍一个效率爆表的数据采集框架
作者 | 俊欣
来源丨关于数据分析与可视化
今天我们来聊一下如何用协程来进行数据的抓取,协程又称为是微线程,也被称为是用户级线程,在单线程的情况下完成多任务,多个任务按照一定顺序交替执行。
那么aiohttp
模块在Python
中作为异步的HTTP
客户端/服务端框架,是基于asyncio
的异步模块,可以用于实现异步爬虫,更快于requests
的同步爬虫。下面我们就通过一个具体的案例来看一下该模块到底是如何实现异步爬虫的。
发起请求
我们先来看一下发起请求的部分,代码如下
async def fetch(url, session):try:async with session.get(url, headers=headers, verify_ssl=False) as resp:if resp.status in [200, 201]:logger.info("请求成功")data = await resp.text()return dataexcept Exception as e:print(e)logger.warning(e)
要是返回的状态码是200
或者是201
,则获取响应内容,下一步我们便是对响应内容的解析
响应内容解析
这里用到的是PyQuery
模块来对响应的内容进行解析,代码如下
def extract_elements(source):try:dom = etree.HTML(source)id = dom.xpath('......')[0]title = dom.xpath('......')[0]price = dom.xpath('.......')[0]information = dict(re.compile('.......').findall(source))information.update(title=title, price=price, url=id)print(information)asyncio.ensure_future(save_to_database(information, pool=pool))except Exception as e:print('解析详情页出错!')logger.warning('解析详情页出错!')pass
最后则是将解析出来的内容存入至数据库当中
数据存储
这里用到的是aiomysql
模块,使用异步IO的方式保存数据到Mysql
当中,要是不存在对应的数据表,我们则创建对应的表格,代码如下
async def save_to_database(information, pool):COLstr = '' # 列的字段ROWstr = '' # 行字段ColumnStyle = ' VARCHAR(255)'if len(information.keys()) == 14:for key in information.keys():COLstr = COLstr + ' ' + key + ColumnStyle + ','ROWstr = (ROWstr + '"%s"' + ',') % (information[key])async with pool.acquire() as conn:async with conn.cursor() as cur:try:await cur.execute("SELECT * FROM %s" % (TABLE_NAME))await cur.execute("INSERT INTO %s VALUES (%s)" % (TABLE_NAME, ROWstr[:-1]))except aiomysql.Error as e:await cur.execute("CREATE TABLE %s (%s)" % (TABLE_NAME, COLstr[:-1]))await cur.execute("INSERT INTO %s VALUES (%s)" % (TABLE_NAME, ROWstr[:-1]))except aiomysql.Error as e:pass
项目的启动
最后我们来看一下项目启动的代码,如下
async def consumer():async with aiohttp.ClientSession() as session:while not stop:if len(urls) != 0:_url = urls.pop()source = await fetch(_url, session)extract_links(source)if len(links_detail) == 0:print('目前没有待爬取的链接')await asyncio.sleep(np.random.randint(5, 10))continuelink = links_detail.pop()if link not in crawled_links_detail:asyncio.ensure_future(handle_elements(link, session))
我们通过调用ensure_future
方法来安排协程的进行
async def handle_elements(link, session):print('开始获取: {}'.format(link))source = await fetch(link, session)# 添加到已爬取的集合中crawled_links_detail.add(link)extract_elements(source)
数据分析与可视化
下面我们针对抓取到的数据进行进一步的分析与可视化,数据源是关于上海的二手房的相关信息,我们先来看一下房屋户型的分布,代码如下:
house_size_dict = {}
for house_size, num in zip(df["房屋户型"].value_counts().head(10).index, df["房屋户型"].value_counts().head(10).tolist()):house_size_dict[house_size] = numprint(house_size_dict)house_size_keys_list = [key for key, values in house_size_dict.items()]
house_size_values_list = [values for key, values in house_size_dict.items()]p = (Pie(init_opts=opts.InitOpts(theme=ThemeType.LIGHT)).add("", [list(z) for z in zip(house_size_keys_list, house_size_values_list)],radius=["35%", "58%"],center=["58%", "42%"]).set_global_opts(title_opts=opts.TitleOpts(title="房屋面积大小的区间", pos_left="40%"),legend_opts=opts.LegendOpts(orient="vertical",pos_top="15%",pos_left="10%")).set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
)p.render("house_size.html")
output
我们可以看到占到大多数的都是“2室1厅1厨1卫”的户型,其次便是“1室1厅1厨1卫”的户型,可见上海二手房交易的市场卖的小户型为主。而他们的所在楼层,大多也是在高楼层(共6层)的为主,如下图所示:
我们再来看一下房屋的装修情况,市场上的二手房大多都是以“简装”或者是“精装”为主,很少会看到“毛坯”的存在,具体如下图所示:
至此,我们就暂时先说到这里,本篇文章主要是通过异步协程的方式来进行数据的抓取,相比较于常规的requests
数据抓取而言,速度会更快一些。
往
期
回
顾
技术
用Python写一个天天酷跑
资讯
Nginx宣布在俄罗斯禁止贡献
资讯
2022人工智能开启未来新密码
技术
一行Python代码能干嘛?来看!
分享
点收藏
点点赞
点在看
介绍一个效率爆表的数据采集框架相关推荐
- 效率爆表的创作小工具
效率爆表的创作工具 文章目录 效率爆表的创作工具 零.序 一.截图神器 Snipaste 1.1. 快速截屏 1.2.快速钉屏 1.3.钉屏切换 1.4.窗口自动识别 1.5.延时截屏 二.图片上传神 ...
- 让效率“爆表”的49个数据可视化工具
工欲善其事,必先利其器.好的工具可以大大提升你的工作效率,并获得身边人的羡慕和赞赏.今天,我们就来向小伙伴们分享一大波非常实用的工具,武装你的大脑. ▲图表类 iCharts 简介:各种主题的开放图表 ...
- 介绍一个基于ASP.NET MVC的框架Catharsis
Catharsis是一个基于ASP.Net MVC的一个开源框架,之前在codeproject上看到的.在我的2011生活看板中也说到今年准备给OpenExpressApp增加B/S支持,所以最近花了 ...
- 效率爆表:IntelliJ IDEA 高效配置教程来了,收藏起来!
点击关注公众号,实用技术文章及时了解 安装好 Intellij idea 之后,进行如下的初始化操作配置,工作效率提升十倍. 插件 1. Codota 代码智能提示插件 只要打出首字母就能联想出一整条 ...
- 让你效率爆表的网页设计PHOTOSHOP插件包
必须承认的是,截至目前,Photoshop 依然是设计师的首选设计工具,尤其是对于平面设计.网页设计师以及UI设计师而言.Photoshop的功能一直被不断完善,相对全面的功能覆盖,使得不同领域的设计 ...
- Android:随笔—— ConstraintLayout 效率爆表的技巧
这是一篇极短的技巧文,但是能解决你使用 ConstraintLayout 布局最大的痛点 废话不多说直接上配置: 打开 Android Studio 设置 Editor -> General - ...
- 推荐一个不错的应用程序菜单框架
关注.星标公众号,直达精彩内容 来源:http://www.80eboy.com/blog/menu_frame 下面这个菜单框架也挺不错的,适合新手入门: 来源:http://www.80eboy. ...
- 创业圣地以色列:一个逆天到爆表国家的发展推演
创业圣地以色列:一个逆天到爆表国家的发展推演 guest • 2015/10/01 11:20 图片: Yestone.com 版权图片库 编者按:本文作者刘元,真格基金投资管理副总裁,文章于真 ...
- 介绍自己的一个Android插桩热修复框架项目QuickPatch
QuickPatch项目地址: https://gitee.com/egg90/QuickPatch 和 https://github.com/eggfly/QuickPatch 同步更新 类似于美团 ...
最新文章
- BZOJ 2707: [SDOI2012]走迷宫 [高斯消元 scc缩点]
- GitLab+Jenkins+Ansible
- Linux vim 梳理
- 随笔(2018.9.2.)
- mysql binlog 二进制_二进制日志-mysqlbinlog工具的使用
- caffe安装 cuda安装 opencv安装 cudnn安装 python相关依赖库安装
- QT5开发及实例学习之四容器类
- (转)淘淘商城系列——在业务逻辑中添加缓存
- 深入了解VPP关键技术有哪些?
- 计算机专业英语第三章ppt,计算机专业英语第三章.ppt
- Div总在右下角的CSS实现方法
- oracle刷同义词报错,oracle 同义词
- MATLAB:gca、gcf、gco区别
- 咳咳,好久没发博客了,我还活着。(ps:又要进入鸽王模式了)
- FANUC机器人Config系统配置中各项参数的功能描述及设定
- 无限天空服务器,滚动的天空无限钻石无限金币版
- 管理者如何抓共性问题进行组织优化运作
- 小程序点餐系统——首页
- 分布式搜索引擎 - 大总结
- Qter 遇见的大牛!
热门文章
- 女士做软件测试的利弊有哪些?
- 用 Label 控制 Service 的位置 - 每天5分钟玩转 Docker 容器技术(106)
- linux 内核 出错-HP 方案
- java 赋值,算术,一元操作符(翻译自Java Tutorials)
- 怎样在Red Hat Enterprise Linux 5.4版本上安装GCC?
- 分享一波 RabbitMQ 面试题有答案
- jgit查询远程仓库_JAVA 使用jgit管理git仓库
- 暑期集训1:C++STL 练习题C:HDU-1263
- 转载:土豆洋芋山药蛋的博客: SBSE—基于搜索的软件工程简介
- C++基本知识点集锦(2022秋招)