python 爬取微博展开全文数据 BeautifulSoup

最近，被逼无奈开始自学python爬虫。爬取微博网页版话题下的发布微博内容数据，发现有的微博需要点击展开全文按钮才能获得全文数据，否则只有部分数据。探索了一下发现大多都是selenium+python的代码，在这儿保存一个自己解决的BeautifulSoup下展开全文的方法。

for i in range(0,len(data)):if data[i].select("a[action-type='fl_unfold']")!=[]:content = data[i].find_all("p",style="display: none")if content[0].get_text().replace("\/r\/n", "").strip().endswith('收起全文d'):nr_info = content[0].get_text().replace("\/r\/n", "").strip()nr = filter_tags(db.escape_string(emoji.demojize(nr_info)))print(nr)else:nr_info=soup.select('div > div.card-feed > div.content > p.txt')  #微博内容if len(nr_info)>0:nr_info = nr_info[0].get_text().replace("\/r\/n", "").strip()nr = filter_tags(db.escape_string(emoji.demojize(nr_info)))print(nr)else:print("内容为空")

学习参考的内容：（浏览器收藏夹快放不下了）

Python中使用Beautiful Soup库的超详细教程 - 知乎

https://www.jb51.net/article/209456.htm

selenium+python抓取微博时遇到“展开全文”_m0_37435073的博客-CSDN博客

python 爬取微博展开全文数据 BeautifulSoup相关推荐

python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
Python爬取微博热搜数据之炫酷可视化
可视化展示看完记得点个赞哟微博炫酷可视化音乐组合版来了! 项目介绍背景现阶段,微博.抖音.快手.哗哩哗哩.微信公众号已经成为不少年轻人必备的"生活神器".在21世纪的今天, ...
用Python爬取微博热搜数据
废话少说,直接上代码,然后再详细介绍构造过程. 代码 import urllib.request import re import pandas as pd import time import ra ...
python爬取微博恶评_Python爬取新浪微博评论数据，了解一下？
开发工具 **Python版本:**3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装 ...
python爬取微博数据词云_用Python爬取微博数据生成词云图片
原标题:用Python爬取微博数据生成词云图片欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求职,一站式搞定! 对商业智能BI.大数 ...
python爬取微博评论（无重复数据）
python爬取微博评论(无重复数据) 前言一.整体思路二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址三.获取主评论四.获取子评论 1.解析子评论2.获 ...
python3爬取微博评论教程_用python 爬取微博评论，怎么打开微博评论下的查看更多|...
怎样用python爬新浪微博大V所有数据先上结论,通过公开的api如爬到某大v的所有数据,需足以下两个条件: 1.在你的爬虫开始运行时,该大v的所有微博发布量没有超过回溯查询的上限,新浪是2000, ...
python爬取微博热门消息（三）—— 爬取微博热门信息的功能函数
微博的热搜榜对于研究大众的流量有非常大的价值. 今天的教程就来说说如何爬取微博的热搜榜. 感兴趣的小伙伴可以收藏 + 关注哦! 另外,关于本项目的效果展示,以及教程,点击一下链接即可. pytho ...
爬取微博用户行为数据语义分析数据挖掘报告
原文链接:http://tecdat.cn/?p=2085 微博作为热门话题的聚集地,评价.点赞转发.评论有无水军--都可能影响新人们的判断.本文对婚策微博上的用户行为数据进行盘点,一起来看看微博用户 ...

python 爬取微博展开全文数据 BeautifulSoup

python 爬取微博展开全文数据 BeautifulSoup相关推荐

最新文章

热门文章