python 获取东方财富网站的数据

完整代码下载：https://github.com/tanjunchen/SpiderProject/tree/master/EastWealthWebsite

#!/usr/bin/env python
# -*- coding: utf-8 -*-import pandas as pd
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from datetime import datetime
import timedef get_data(url):browser = webdriver.Chrome()WebDriverWait(browser, 10)browser.get(url)WebDriverWait(browser, 5, 0.5).until(EC.presence_of_element_located((By.ID, 'sidemenu')))above = browser.find_element_by_css_selector("#sidemenu > div > div.level-list > ul > li.sub-items.menu-hsindex-wrapper")ActionChains(browser).move_to_element(above).perform()lis = browser.find_elements_by_xpath("//*[@id='sidemenu']/div/div[2]/ul/li[7]/div/ul//li")for li in lis:print(li)if "指数成份" in li.text:# li.click()# get_page_num(browser, "指数成份")print()elif "上证系列指数" in li.text:# li.click()# get_page_num(browser, "上证系列指数")print()elif "深证系列指数" in li.text:li.click()get_page_num(browser, "深证系列指数")def get_page_num(browser, name):wait = WebDriverWait(browser, 10)try:wait.until(EC.presence_of_element_located((By.ID, 'main-table_next')))page = int(browser.find_element_by_xpath("//*[@id='main-table_paginate_page']/a[last()]").text)except Exception as e:print(e)page = 0i = 1df = pd.DataFrame()while i <= page:input_num = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@class="paginate_input"]')))input_num.click()input_num.clear()input_num.send_keys(i)submit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@class="paginte_go"]')))submit.click()data = pd.read_html(browser.page_source, converters={'代码': str})[0]data.drop(['序号'], axis=1, inplace=True)data['代码'].astype(str)print("正在爬取第" + str(i) + "页")df = df.append(data)i = i + 1time.sleep(2)df['指数'] = namedf.to_csv(datetime.now().strftime('%Y%m%d') + name + ".csv", index=False)print(name, "抓取数据成功")browser.implicitly_wait(10)if __name__ == '__main__':get_data('http://quote.eastmoney.com/center/boardlist.html#boards-BK01501')# search_next = browser.find_element_by_css_selector("#main-table_next")# while search_next.is_enabled():#     print("点击下一页")#     search_next.click()#     print(pd.read_html(browser.page_source)[0])

python 获取东方财富网站的数据相关推荐

如何解决使用matplotlib.finance获取雅虎财经网站股票数据报错？
人工智能 python,大数据,机器学习,深度学习,计算机视觉如何解决使用matplotlib.finance获取雅虎财经网站股票数据报错? 问题方法 1.安装 mpl_finance 调用方 ...
使用Python获取股票单日成交数据
本文主要介绍一个比较好的开源项目 Github:AKShare开源财经数据接口,该项目整合了各大财经网站的http接口:腾讯财经.新浪财经.网易财经.东财等....Github上介绍该项目是JetBr ...
可转债代码交流第二期：利用Python获取集思录数据（改）
上期内容讲解了宁稳网数据获取的方法(用于初步计算未上市可转债价格),具体方法参考第一期:可转债代码交流第一期:利用Python获取宁稳网数据(包含基本的环境搭建与Python编辑器安装方法) 本人并非 ...
利用 Python 获取余额宝历史收益数据
最近想做一个关于用一些指数基金与余额宝组成的简单风险-无风险投资组合的实验计算,发现通达信之类的行情软件并没有提供完整的余额宝收益信息,如通达信仅有年化收益率的数据,并没有万份收益的数据.因此考虑 ...
Python爬取网站图片数据
Python爬取网站图片数据找到需要爬取的网站地址模拟网站http请求根据调试模式获取的了解读取到真实的地址url,读取请求头数据和参数信息,模拟http请求调用 import requests ...
Python获取丁香园疫情数据并解析json数据
Python获取丁香园疫情数据并解析json数据在利用pyecharts V1.x版本,使用Map对象进行制图时,对数据格式的要求比较高,如果数据格式不正确可能达不到我们预期的效果.在我的前一篇文章 ...
Python 获取股票K线数据
前言玩过股票的几乎都知道,股票历史交易日的开盘价.收盘价.最高价.最低价等指标是选股的重要依据.虽然仅仅依靠它们无法在股市中盆满钵满,但是运用好它确实能在较大程度上提高我们的赚钱概率. 当前的金融数 ...
python获取id标签对应数据_Python--Scrapy爬虫获取简书作者ID的全部文章列表数据
最近Python大火,为了跟上时代,试着自学了下.Scrapy是一个高级的Python爬虫框架,它不仅包含了爬虫的特性,还可以方便的将爬虫数据保存到csv.json等文件中. 今天我们就试着用Scra ...
通达信行情数据获取--python_利用 Python 获取余额宝历史收益数据
最近想做一个关于用一些指数基金与余额宝组成的简单风险-无风险投资组合的实验计算,发现通达信之类的行情软件并没有提供完整的余额宝收益信息,如通达信仅有年化收益率的数据,并没有万份收益的数据.因此考虑 ...

python 获取东方财富网站的数据

python 获取东方财富网站的数据相关推荐

最新文章

热门文章