Python使用aiohttp异步爬取糗事百科

from bs4 import BeautifulSoup
import aiohttp  # 代替requests
import asyncio
from urllib import parseheaders={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36','Referer': 'https://www.qiushibaike.com/'
}async def getPage(i):print('i的值为：',i)url='https://www.qiushibaike.com/8hr/page/{}/'.format(i)async  with aiohttp.ClientSession(headers=headers) as session:async with session.get(url) as resp:print(resp.status)  # 打印状态码print('第{}页'.format(i))html=await resp.text()soup=BeautifulSoup(html,'lxml')lis=soup.select('.recmd-content')for li in lis:title=li.get_text()href=parse.urljoin('https://www.qiushibaike.com/',li['href'])print(title)print(href)if __name__ == '__main__':loop=asyncio.get_event_loop()   # 获取事件循环tasks=[getPage(i) for i in range(1,11)] # 创建任务loop.run_until_complete(asyncio.wait(tasks))    # 执行任务loop.close()    # 执行之后关闭

Python使用aiohttp异步爬取糗事百科相关推荐

Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
Python爬虫实战之爬取糗事百科段子
Python爬虫实战之爬取糗事百科段子完整代码地址:Python爬虫实战之爬取糗事百科段子程序代码详解: Spider1-qiushibaike.py:爬取糗事百科的8小时最新页的段子.包含的信息 ...
python 爬虫实战1 爬取糗事百科段子
首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来. 本篇目标抓取糗事百科热门段子过滤带有图片的段子实现每按一次回车显示一个段子的发布时间,发布人 ...
Python爬虫练习：爬取糗事百科
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于CSDN,作者不温卜火爬取前的准备糗事百科官网:https:// ...
【资料下载】Python 第三讲——正则表达式爬取糗事百科数据...
直播时间:2月20日 20:00-21:00 直播讲师:罗攀--林学研究生<从零开始学Python网络爬虫>作者 <从零开始学Python数据分析>作者.擅长网络爬虫.数据分析 ...
python爬虫——利用BeautifulSoup4爬取糗事百科的段子
1 import requests 2 from bs4 import BeautifulSoup as bs 3 4 #获取单个页面的源代码网页 5 def gethtml(pagenum): 6 ...
Python爬虫实战（1）：爬取糗事百科段子
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
利用Python爬取糗事百科段子信息
文章来源:公众号-智能化IT系统. 爬虫技术目前越来越流行,这里介绍一个爬虫的简单应用. 爬取的内容为糗事百科文字内容中的信息,如图所示: 爬取糗事百科文字35页的信息,通过手动浏览,以下为前四页的网 ...
python爬虫经典段子_Python爬虫实战（1）：爬取糗事百科段子
大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧.那么这次为大家带来,Python爬取糗事百科的小段子的例子. 首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把 ...

Python使用aiohttp异步爬取糗事百科

Python使用aiohttp异步爬取糗事百科相关推荐

最新文章

热门文章