python爬取script标签_Selenium+BeautifulSoup+json获取Script标签内的json数据

Selenium爬虫遇到数据是以 JSON 字符串的形式包裹在 Script 标签中，

假设Script标签下代码如下：

{

"user": {

"isLogin": true,

"userInfo": {

"id": 123456,

"nickname": "LiMing",

"intro": "人生苦短，我用python"

}

此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素，但是无法通过.text方法，获取Script标签下的json数据

from bs4 import BeautifulSoup as bs

import json as js

#selenium获取当前页面源码

html = drive.page_source

#BeautifulSoup转换页面源码

bs=BeautifulSoup(html,'lxml')

#获取Script标签下的完整json数据，并通过json加载成字典格式

js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())

#获取Script标签下的nickname 值

js_tes

到此这篇关于Selenium+BeautifulSoup+json获取Script标签内的json数据的文章就介绍到这了,更多相关Selenium+BeautifulSoup获取json内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

python爬取script标签_Selenium+BeautifulSoup+json获取Script标签内的json数据相关推荐

Python爬取PPT模板(requests+BeautifulSoup+多线程)
Python爬取PPT模板(requests+BeautifulSoup+多线程) 快到做毕业设计的时间了,得去找点好看的PPT模板了,在http://www.ypppt.com这个网站上发现了很多不 ...
通过python爬取笔趣阁小说，获取图片保存本地，数据保存mysql
通过python爬取小说图片.小说名称.作者.章节.内容.直接上代码 import requests import time from bs4 import BeautifulSoup from qu ...
python爬取小说写入txt_Python BeautifulSoup 爬取笔趣阁所有的小说
这是一个练习作品.用python脚本爬取笔趣阁上面的免费小说. 环境:python3 类库:BeautifulSoup 数据源:http://www.biqukan.cc 原理就是伪装正常http请求 ...
Python爬取百度百科，BeautifulSoup提取关键信息
本文主要爬取演员杨幂的百度百科,用到的python库有:requests和BeautifulSoup 主要内容共分为以下两个方面: 1. 用requests爬取网页内容 2. 用BeautifulSo ...
python爬取豆瓣电影排行前250获取电影名称和网络链接[静态网页]————爬虫实例（1）
目录 1.算法原理: 2.程序流程: 3.程序代码: 4.运行结果(部分结果展示): 5.结果分析: 1.算法原理: (1)利用import命令导入模块或者导入模块中的对象: ①利用requests库 ...
python爬取pubmed的文献_爬虫获取pubmed中文献的标题和摘要
为了满足快速浏览pubmed中相关文献标题和摘要的需求,写了个简单的爬虫(目前只实现了单个关键词以及多个关键词的and检索),用于批量获取感兴趣文献的标题和摘要. 使用编辑器是python,所编写的爬 ...
python爬取大众点评_Python爬虫，获取大众点评上海地区的餐饮信息!
需求:获取大众点评官网上上海地区的全部餐饮信息(店名,商圈,星级,评论数,人均数,口味评分,环境评分,服务评分,地址,电话等信息) 分析:餐饮种类分为18种,每一种下面又有子分类! 接着我们拿一个种类 ...
在线python爬取好友qq空间_Python3.6获取QQ空间全部好友列表
首先要处理的是gtk算法:从上次分析以来代码并没有变登录QQ空间后搜索gtk字符串,在三个js中出现了 /* |xGv00|e5808eb94a2bdffe3aae60cd22c5efe2 */ d ...
python爬取邮件内容_python 接收邮件获取邮件内容
收取邮件有两种协议,POP3和IMAP,POP3相对于IMAP功能较少无法对邮件进行更深层次的操作,因此本文使用IMAP协议收取邮件.python提供了很多收邮件的模块,本文使用imaplib来接收邮 ...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...

python爬取script标签_Selenium+BeautifulSoup+json获取Script标签内的json数据

python爬取script标签_Selenium+BeautifulSoup+json获取Script标签内的json数据相关推荐

最新文章

热门文章