练手：微博热搜小爬虫

写在前面：
此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）

微博热搜爬虫小工具

太闲了写格爬虫练练手
写了一个比较简单的微博热搜爬虫
代码如下：需要自取

from bs4 import BeautifulSoup
import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
}
def get_news():results = []url = 'https://s.weibo.com/top/summary'rs = requests.session()r = rs.get(url, headers=headers)soup = BeautifulSoup(r.content, 'lxml')tbody = soup.find('tbody')everytr = tbody.find_all('tr')m=0for i in everytr:data=[]td2=i.find('td',{'class':'td-02'})a=td2.find('a')try:num=td2.find('span').textexcept:num=' 'try:td3=i.find('i').textexcept:td3=' 'xml='https://s.weibo.com'+a['href']if(m==0):data.append('置顶')else:data.append(m)data.append(td3)data.append(a.text)data.append(num)data.append(xml)results.append(data)m=m+1;for j in results:print(j)get_news()

简简单单的一个爬虫
芜湖继续摸鱼
运行结果如图

晚安

练手：微博热搜小爬虫相关推荐

微博热搜榜爬虫2.0
微博热搜榜爬虫2.0 6月份出了一个微博热搜爬虫,在我电脑上设置了自动化12点爬取,结果到了9月份,执行不了. 一直没时间弄,今天来更新一下: 解决了两个问题, 1 >之前的话请求头比较单一,只 ...
Python 超简单爬取微博热搜榜数据
微博的热搜榜对于研究大众的流量有非常大的价值.今天的教程就来说说如何爬取微博的热搜榜. 热搜榜的链接是: https://s.weibo.com/top/summary/ 用浏览器浏览,发现在不登录的 ...
python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在 ...
python爬取微博热搜并存入表格_python爬虫进阶之爬取微博热搜存入Mysql
在编程中,我们如果想要把数据转入数据库中,首先会选择 MySQL数据库.因为MySQL数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,例如我们使用python爬虫微博热搜,就可以使 ...
python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
python爬虫微博24小时热搜_Python爬虫之微博热搜
最近自学了Python爬虫,手痒痒,想爬点东西,所以就有了这篇文章.由于目前本人技术有限,如有纰漏,欢迎批评指正:如有良策,也欢迎赐教. 思路 1.首先,当然是打开微博热搜,F12观察下网页结构.令人 ...
【python热搜爬虫+定时发送邮件操作①】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
【python微博爬虫+定时发送邮件操作②】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途, ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/article/details/ ...
python 爬关键词,Python爬虫实战：爬取微博热搜关键词
一.爬取微博热搜关键词需要的第三方库 1.requests 2.BeautifulSoup 美味汤 3.worldcloud 词云 4.jieba 中文分词 5.matplotlib 绘图二.爬取微 ...

练手：微博热搜小爬虫

微博热搜爬虫小工具

练手：微博热搜小爬虫相关推荐

最新文章

热门文章