平安银行(000001)资金流向 _ 数据中心 _ 东方财富网 (eastmoney.com)

#coding=utf-8
from selenium import webdriver  #导入模块
import time
import csv  #存储数据
from lxml import etree   #lxml库是一个HTML、XML的解析器
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine

第一步：启动浏览器

option = webdriver.ChromeOptions()     #创建一个配置对象（ChromeOptions是控制Chrome启动属性的类）
option.add_argument('headless')      #添加启动参数add_argument为'headless'，开启无界面模式（设置浏览器静默，让浏览器在后台运行，不需要加载样式和渲染）
driver = webdriver.Chrome(options=option)     #用webdriver启动浏览器（实例化带有配置的driver对象）
driver.get('http://data.eastmoney.com/zjlx/000001.html')   #跳转到指定的url地址（请求地址）
time.sleep(2)

第二步：获取页面源码并解析

xpath使用方法：(16条消息) xpath详解_baidu_32542573的博客-CSDN博客

source = driver.page_source   #获取页面源码
mytree = etree.HTML(source)     #解析网页
#用xpath获取所需的内容，返回一个列表
tables = mytree.xpath("//div[@id='table_ls']/table")[0]  #定位表格table
trs = tables.xpath('.//tr')    #取出所有tr标签（每一行单元格）
onetable=[]
for tr in trs:ui = []for td in tr:texts = td.xpath(".//text()")   #取出所有td标签下的文本（每个单元格）mm = []for text in texts:mm.append(text.strip(" "))    #去除文本前后空格ui.append(','.join(mm))    #字符连接,以逗号分隔onetable.append(ui)    #每行数据ui作为一个元素加入列表onetable，跑完整张表格

第三步：将数据写入csv

with open('stock.csv', 'a', newline='') as file:csv_file = csv.writer(file)    #写入csv文件for i in onetable:csv_file.writerow(i)    #按行(ui)将数据写入

第四步：处理csv文件

df = pd.read_csv(open(r'C:\Users\DELL\stock.csv'),sep='\t',header=None)
df.drop(df.index[0:2],inplace=True)
df.columns=['raw']
df['日期']=df['raw'].str.split(',').str[0]
df['收盘价']=df['raw'].str.split(',').str[1]
df['涨跌幅']=df['raw'].str.split(',').str[2]
df['主力净流入-净额']=df['raw'].str.split(',').str[3]
df['主力净流入-净占比']=df['raw'].str.split(',').str[4]
df['超大单净流入-净额']=df['raw'].str.split(',').str[5]
df['超大单净流入-净占比']=df['raw'].str.split(',').str[6]
df['大单净流入-净额']=df['raw'].str.split(',').str[7]
df['大单净流入-净占比']=df['raw'].str.split(',').str[8]
df['中单净流入-净额']=df['raw'].str.split(',').str[9]
df['中单净流入-净占比']=df['raw'].str.split(',').str[10]
df['小单净流入-净额']=df['raw'].str.split(',').str[11]
df['小单净流入-净占比']=df['raw'].str.split(',').str[12]
del df['raw']

第五步：DataFrame写入MySQL

conn = create_engine('mysql+pymysql://root:123@localhost:3306/crawl?charset=utf8')
df.to_sql(name='df_2', con=conn,if_exists='replace',index=False,dtype={'日期': sqlalchemy.types.String(length=20),'收盘价': sqlalchemy.types.String(length=20),'涨跌幅': sqlalchemy.types.String(length=20),'主力净流入-净额': sqlalchemy.types.String(length=20),'主力净流入-净占比': sqlalchemy.types.String(length=20),'超大单净流入-净额': sqlalchemy.types.String(length=20),         '超大单净流入-净占比': sqlalchemy.types.String(length=20),         '大单净流入-净额': sqlalchemy.types.String(length=20),'大单净流入-净占比': sqlalchemy.types.String(length=20),         '中单净流入-净额': sqlalchemy.types.String(length=20),         '中单净流入-净占比': sqlalchemy.types.String(length=20), '小单净流入-净额': sqlalchemy.types.String(length=20),         '小单净流入-净占比': sqlalchemy.types.String(length=20)         })
print('ok')

第六步：关闭浏览器

time.sleep(2)
driver.close()    #关闭

东方财富：资金流向表爬虫相关推荐

［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...
基础爬虫记~豆瓣+东方财富网爬虫
基础小白,大佬轻点喷~ 一.基础豆瓣爬虫 1.首先在某站上听讲解,简单建立起了对爬虫的基础框架,具体包括五个板块(当然有些东西看个人可写成函数也可以直接写但重复用到的东西建议写函数) 用到了下 ...
东方财富网爬虫及可视化
本次主要爬取东方财富网关于"大盘资金流向历史数据"的数据根据日期及流入资金数据绘制折线图,尝试使用XHR或者bs抓取数据,无奈失败且比较麻烦,采用了selenium抓取的方法. ...
东方财富网爬虫及MySQL数据存储
爬取东方财富网关于"国华网安资金流向"数据采用了动态获取的方法,使用xpath获取网页中的表格数据(需安装谷歌浏览器及相关程序) ChromeDriver Mirror(下载谷歌 ...
python量化交易--因子选股策略
Fama-French三因子选股策略,三因子分别为市场因子(股指).市值因子.账面市值比因子三因子模型的具体步骤: 1.对股票按照市值和账面市值比分组,共计六组,市值按大小市值各50%分,账面市 ...
mysql读取股票数据_读取股票数据存储到本地MySQL数据库（一）
主要有三个步骤:(1)从东方财富上爬虫读取到所有股票的codelist:(2)从凤凰网的api获取到某只股票历史上所有数据,开盘收盘价,成交量,成交金额,ma均线价格等数据:(3)通过pymysql将 ...
mac桌面壁纸_在Mac上从命令行设置桌面墙纸
mac桌面壁纸 Whenever I need to accomplish a basic task that typically calls for interacting with a UI, I ...
Python数据分析案例10——北向资金流入与沪深300涨跌幅分析
博主本科是学投资的,最近看了b站邢不行up主的一些量化策略视频,和自己本科毕业论文很像,便想自己也来做一下这个实操的项目. 案例背景北向资金是从中国最南方--中国香港流入内陆的资金,大部分都是外资, ...
毕业设计--基于neo4j的股票筛选系统
项目介绍通过对东方财富网的盈利预测板块爬虫,拿到股票的每股盈利预测,结合该股的现市值,就可算出股票的预测市盈率,从而帮助我们筛选股票.而neo4j是一个图形数据库,我们将股票信息存入neo4j中并且 ...

东方财富：资金流向表爬虫

第一步：启动浏览器

第二步：获取页面源码并解析

第三步：将数据写入csv

第四步：处理csv文件

第五步：DataFrame写入MySQL

第六步：关闭浏览器

东方财富：资金流向表爬虫相关推荐

最新文章

热门文章