用python爬虫爬取微博信息

话不多说，直接上代码！

import requests
from bs4 import BeautifulSoup
from urllib import parse
import timeheaders = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52"}def get_html(url):html = requests.get(url,headers=headers)if html.status_code==200:print("获取页面成功")parse_html(html.text)else:print("ERROR",html.text)returndef parse_html(content):soup = BeautifulSoup(content,'lxml')trs = soup.select('table tbody tr')for tr in trs:title = tr.select_one('td a').texturl = tr.select_one('td a')['href']url = parse.urljoin('https://s.weibo.com',url)message = title+url+'\n'with open("C:/Users/86135/Desktop/微博信息.txt",'at',encoding='utf-8') as f:f.write(message)f.close()if __name__ == '__main__':start = time.time()url = "https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6"get_html(url)url2 = "https://s.weibo.com/top/summary?cate=socialevent"get_html(url2)print(time.time()-start)

运行结果如下：

用python爬虫爬取微博信息相关推荐

php抓取微博评论,python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越的每一条评论的相关信息. 数据格式:{"name" ...
python爬虫-爬取微博转评赞data信息
利用python简单爬取新浪微博(转发/评论/点赞/blog文本)信息 import requests import json from jsonpath import jsonpath import ...
python爬虫爬取房源信息
目录一.数据获取与预处理二.csv文件的保存三.数据库存储四.爬虫完整代码五.数据库存储完整代码写这篇博客的原因是在我爬取房产这类数据信息的时候,发现csdn中好多博主写的关于此类的文 ...
Python爬虫爬取微博评论案例详解
文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中 ...
复工复产，利用Python爬虫爬取火车票信息
文章目录 Python 爬虫操作基本操作 python 标准库 urllib 获取信息上传信息 python 标准库 urllib3 获取信息上传信息第三方库 requests 获取特征信息模 ...
python 爬虫爬取小说信息
1.进入小说主页(以下示例是我在网上随便找的一片小说),获取该小说的名称.作者以及相关描述信息 2.获取该小说的所有章节列表信息(最重要的是每个章节的链接地址href) 3.根据每个章节的地址信息下载 ...
Python爬虫爬取微博热搜保存为 Markdown 文件
微博热搜榜python爬虫,仅供学习交流源码及注释: # -*- coding=UTF-8 -*- #!usr/bin/env pythonimport os import time import ...
python爬虫爬取网页信息
爬虫流程:准备工作➡️爬取网页,获取数据(核心)➡️解析内容➡️保存数据解析页面内容:使用beautifulsoup定位特定的标签位置,使用正则表达式找到具体内容 import导入一些库,做准备工作 ...
python爬虫爬取华硕笔记本信息
之前一个朋友麻烦我帮他爬取一下华硕笔记本信息,最后存储为一个csv格式的文件,文件格式为"系列型号".本文为本人实现该爬虫的心路旅程. 目录一.获取系列信息 1. 爬虫可行性分 ...

用python爬虫爬取微博信息

用python爬虫爬取微博信息

用python爬虫爬取微博信息相关推荐

最新文章

热门文章