python-爬取东方财富网期货市场大商所数据

python-爬取东方财富网期货市场大商所数据
注意因为是用谷歌爬取，所以要先下载好chromedriver
然后用到的第三方模块有os、time、openpyxl、webdriver
这里是将爬取下来的数据先存为txt，然后再转化为excel文件

def dashangsuo():import osimport timeimport openpyxlfrom selenium import webdriver# 打开chrome浏览器response = webdriver.Chrome()# 指向该网址base_url = "http://quote.eastmoney.com/center/gridlist2.html#futures_114"# 响应response.get(base_url)#因为网页响应可能没那么快，所以给5秒缓冲时间time.sleep(5)path = os.path.abspath("D:\python代码\eastmoneytry\eco_dashangsuo\output")# 创建一个文件夹用于存放建立好的txt文件folder_name = pathif not os.path.exists(os.path.join(path,folder_name)):os.makedirs(os.path.join(path,folder_name))# 定义文件current_time=time.strftime('%Y-%m-%d',time.localtime())file_name=current_time+".txt"# 文件路径file_path=folder_name+"/"+file_namedef get():a = response.find_element_by_id("table_wrapper-table")# 添加一段数据就换一次行b = a.text + "\n"#点击下一页response.find_element_by_xpath("//*[@id='main-table_paginate']/a[2]").click()#写入txt中with open(file_path, "a", encoding="utf-8") as fp:fp.write(b)# 一共十三页运行十二遍i = 0while i<=12:get()i +=1time.sleep(2)# 打开存放数据的txt文件fopen = open("D:\python代码\eastmoneytry\eco_dashangsuo\output"+'\\'+file_name, 'r',encoding="utf-8")# 读取lines = fopen.readlines()# 建立一个excel文件wb = openpyxl.Workbook()# 获取当前有效的work sheetsheet = wb.active# 给excel的title命名sheet.title = "期货市场大商所"# print(lines)for line in lines:line = line.split(" ")# print(line)sheet.append(line)path1 = os.path.abspath("D:\python代码\eastmoneytry\eco_dashangsuo\output_xlsx")# 创建一个文件夹用于存放建立好的excel文件folder_name_1 = path1if not os.path.exists(os.path.join(path1, folder_name_1)):os.makedirs(os.path.join(path1, folder_name_1))#创建excel文件file_name_1 = current_time + ".xlsx"file_path_1=folder_name_1+"\\"+file_name_1wb.save(file_path_1)dashangsuo()

python-爬取东方财富网期货市场大商所数据相关推荐

python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
python爬取东方财富网中的资金流向表
因为东方财富网中的资金流向表是一个动态的数据,所以采用selenium模块进行爬取. 爬取东方财富网的资金流向表的具体步骤: 1.获取初始的URL 2.爬取对应的URL地址的网页,获取新的URL地址 ...
爬虫学习笔记（用python爬取东方财富网实验）
参考文章以及视频:(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客.手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili.[Python爬虫案例] ...
使用python爬取东方财富网机构调研数据
最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了 ...
python培训机构调研最多的股票_使用python爬取东方财富网机构调研数据
标签: 最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只 ...
用python爬取高考网历年高考分数线将数据放入MySQL并绘制图表
用python爬取高考网历年高考分数线 # 导入爬虫的库 import requests from lxml import etree # 导入画图库 from pyecharts.charts im ...
python财务报表分析-用Python爬取东方财富网上市公司财务报表
♚ 作者:苏克,零基础.转行python爬虫与数据分析博客:https://www.makcyun.top 摘要: 现在很多网页都采取JavaScript进行动态渲染,其中包括Ajax技术.有的网页 ...
用python爬取东方财富网网页信息_爬取东方财富网数据的网页分析
自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰.当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片--[流口水][流口水] 言归正传,近期学习量化交易知识,发现东方财富网(e ...
Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据
导言最近由于需求想爬取以下东方财富网的股票数据,但是发现没有想象那么简单,接下来我会讲述一下我遇到的问题以及是如何解决,最后成功的爬出了想要的数据. 查看网页源码首先我们F12打开东方财富网网页源 ...

python-爬取东方财富网期货市场大商所数据

python-爬取东方财富网期货市场大商所数据相关推荐

最新文章

热门文章