python爬取javascript变量数据_javascript - [新手]python爬虫爬取中证指数官网数据

问题

想用python爬虫获取中证指数官网上的几个主要指数的每日估值更新，但是下载下来的页面内容却没有想要的数据。想要的数据前面有个JavaScript标签，是不是光靠python没办法获取这个数据？求大神解惑指点。

例如想要获取上证指数的静态市盈率，当前是16.27。

获取到的页面代码只能看到标签，没有获取到这个标签里面的值。

不知道这个应该怎么处理，还请各位大神指点，谢谢。

代码：

import requests

from bs4 import BeautifulSoup

import os

headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1(KHTML,LIKE Gecko) Chrome/22.0.1207.1 Safari/537.1"}

all_url = 'http://www.csindex.com.cn/sseportal/csiportal/zs/jbxx/daily_index_info.jsp'

start_html = requests.get(all_url, headers = headers)

print(start_html.text)

解决方案

下面是代码：

#coding=utf-8

import requests

from itertools import groupby

url = 'http://www.csindex.com.cn/sseportal/ps/zhs/hqjt/csi/show_zsgz.js'

r = requests.get(url)

text = r.text.replace('"', '').replace('var zsgz','').split('\r\n')

content = [_.split('=') for _ in text if _ and not _.startswith('00')]

rows = []

for _, lst in groupby(content, key=lambda x: int(x[0]) / 10):

row = tuple([v for k, v in lst])

rows.append(row)

print rows

扫一扫关注IT屋

微信公众号搜索 “ IT屋 ” ，选择关注与百万开发者在一起

python爬取javascript变量数据_javascript - [新手]python爬虫爬取中证指数官网数据相关推荐

python爬取率_[新手]python爬虫爬取中证指数官网数据
想用python爬虫获取中证指数官网上的几个主要指数的每日估值更新,但是下载下来的页面内容却没有想要的数据.想要的数据前面有个JavaScript标签,是不是光靠python没办法获取这个数据?求大神 ...
scrapy爬虫实战——米哈游官网数据爬取
项目总览前言项目建立爬虫代码编写爬虫运行导出到Excel 后记前言 scrapy是一个强大的爬虫框架,熟练地使用它几乎可以随心所欲地抓取任何网页上想要获得的数据.笔者初学爬虫,需要项目练手 ...
python爬取饿了么评论_爬取饿了么官网数据 scrapy
展开全部 Scrapy框架的初步运用上午刚配置好scrapy框架,32313133353236313431303231363533e58685e5aeb931333363393734下午我就迫不及待 ...
python和javascript哪个好_JavaScript与Python：主要区别
Python与JavaScript之间的主要区别在于它们的用法.Python有许多用途,包括数据科学和Web应用程序的后端.JavaScript主要用于Web应用程序的前端,很少在浏览器外部使用. P ...
python网站数据写入mysql_python网络爬虫抓取动态网页并将数据存入数据库MySQL
简述以下的代码是使用python实现的网络爬虫,抓取动态网页 http://hb.qq.com/baoliao/ .此网页中的最新.精华下面的内容是由JavaScript动态生成的.审查网页元素与网 ...
Python爬虫-2019年我破解了商标网数据爬虫-破解反爬技术那些事情
Python爬虫-2019年我破解了商标网!数据爬虫-破解反爬技术那些事情由于自己一直做Python大数据挖掘技术开发,最近有不少的朋友要做大数据分析,找我帮忙商标网的数据挖掘,实现爬取中国商标网全 ...
python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
websect爬取小米官网数据
webesct 首先要下载webesct nom i websect 老规矩,还是爬取小米官网的数据QAQ,现在要爬取的是这个: const $ = require("websect&quo ...
Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】
Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...

python爬取javascript变量数据_javascript - [新手]python爬虫爬取中证指数官网数据

python爬取javascript变量数据_javascript - [新手]python爬虫爬取中证指数官网数据相关推荐

最新文章

热门文章