成果

代码

import time
from WebWorm.RandomHeader import *
import requests
from bs4 import BeautifulSoup# 爬取微博实时热事
def weiBo():# 微博热搜URLurl = 'https://s.weibo.com/top/summary'# 随机头headers = {"User-Agent": getRandomHeader()}# 请求网页response = requests.get(url, headers=headers)# 设置编码response.encoding = 'utf-8'# 得到网页内容html = response.text# 解析htmlinfo = BeautifulSoup(html, "html.parser")# 抓取tbody下面的a标签a = info.find('tbody').findAll('a')# 存放所有的新闻news = []# 遍历a标签for i in a:# 把新闻内容加入数组news.append(i.text)# 获取当前时间date = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())date = date.replace(' ', '-')# 把新闻写入文件with open(date + '-WeiBoNews.txt', mode='w', encoding='utf-8') as file:for i in news:file.write(i + '\n')def baiDu():# 百度热搜URLurl = 'http://top.baidu.com/buzz?b=1&fr=topindex'# 随机头headers = {"User-Agent": getRandomHeader()}# 请求网页response = requests.get(url, headers=headers)# 设置编码response.encoding = 'gbk'# 得到网页内容html = response.text# 解析htmlinfo = BeautifulSoup(html, "html.parser")# 抓取a标签a = info.findAll(name="a", attrs={"class": "list-title"})# 存放所有的新闻news = []# 遍历a标签for i in a:# 把新闻内容加入数组news.append(i.text)# 获取当前时间date = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())date = date.replace(' ', '-')# 把新闻写入文件with open(date + '-BaiDuNews.txt', mode='w', encoding='utf-8') as file:for i in news:file.write(i + '\n')if __name__ == '__main__':# 爬取微博实时热事weiBo()#  爬取百度实时热事baiDu()

总结

可以定时爬取发送邮件给自己，每天阅读两分钟，了解天下事。

Python 爬取微博、百度实时热点相关推荐

python爬取微博热搜榜
python爬取微博热搜榜最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
python热搜排行功能_简单几行代码用Python爬取微博的热搜榜
简单几行代码用Python爬取微博的热搜榜想要实时的看微博热搜但是又不想去微博网站看!怎么办呢?其实很简单! 我们学了这个requests_html 这个库之后就更加的简单了! 小编只用了短短的 ...
看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云
简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...
python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
python爬取微博话题下面的帖子并存入excel文件
此次写的是python爬取微博话题下面的帖子,示例代码以爬取#转发这个杨超越# https://s.weibo.com/weibo/%23%E8%BD%AC%E5%8F%91%E8%BF%99%E4% ...
python爬取微博数据词云_用Python爬取微博数据生成词云图片
原标题:用Python爬取微博数据生成词云图片欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求职,一站式搞定! 对商业智能BI.大数 ...
python3爬取微博评论教程_用python 爬取微博评论，怎么打开微博评论下的查看更多|...
怎样用python爬新浪微博大V所有数据先上结论,通过公开的api如爬到某大v的所有数据,需足以下两个条件: 1.在你的爬虫开始运行时,该大v的所有微博发布量没有超过回溯查询的上限,新浪是2000, ...
python爬取微博热门消息（一）——效果展示
微博的热搜榜对于研究大众的流量有非常大的价值. 今天的教程就来说说如何爬取微博的热搜榜. 感兴趣的小伙伴可以收藏 + 关注哦! 另外,关于本项目的效果展示,以及教程,点击一下链接即可. pytho ...
python爬取微博热门消息（三）—— 爬取微博热门信息的功能函数
微博的热搜榜对于研究大众的流量有非常大的价值. 今天的教程就来说说如何爬取微博的热搜榜. 感兴趣的小伙伴可以收藏 + 关注哦! 另外,关于本项目的效果展示,以及教程,点击一下链接即可. pytho ...
python爬取微博热搜写入数据库_python实现爬取微博热搜存入Mysql
python爬取微博热搜存入Mysql最终的效果使用的库目标分析一:得到数据二:链接数据库总代码最终的效果废话不多少,直接上图这里可以清楚的看到,数据库里包含了日期,内容,和网站lin ...

Python 爬取微博、百度实时热点

成果

代码

总结

Python 爬取微博、百度实时热点相关推荐

最新文章

热门文章