python爬取东方财富网，并将数据导入mysql

1.首先使用xpath获取网页中的表格数据，需要下载谷歌及与之版本相同的相关程序，

链接如下：ChromeDriver Mirror

我下载的正好是压缩过后就是如下程序：

2.然后就是连接mysql数据库，建立一个数据表，代码如下：

#导入模块
from selenium import webdriver #导入模块
import time
from lxml import etree
import pymysql

#链接MySQL数据库
conn = pymysql.connect(host='localhost',user='root',password='zysmn',database='111',port=3306,charset='utf8')
#执行数据库操作
cursor = conn.cursor()
#执行查询操作
cursor.execute("drop table if exists 中国宝安资金流向")
#创建表，批量插入列名
sql="""
    create table 中国宝安资金流向(
    日期 VARCHAR(255),
    收盘价 VARCHAR(255),
    涨跌幅 VARCHAR(255),
    主力净流入净额 VARCHAR(255),
    主力净流入净占比 VARCHAR(255),
    超大单净流入净额 VARCHAR(255),
    超大单净流入净占比 VARCHAR(255),
    大单净流入净额 VARCHAR(255),
    大单净流入净占比 VARCHAR(255),
    中单净流入净额 VARCHAR(255),
    中单净流入净占比 VARCHAR(255),
    小单净流入净额 VARCHAR(255),
    小单净流入净占比 VARCHAR(255)
    )
    """
#游标功能执行这个SQL语句，提供存储数据的一个游标接口，通过游标获取数据
cursor.execute(sql)
#使用sql语句,这里要接收的参数都用%s占位符。注意：无论插入的数据是什么类型,占位符都用%s
sql_1 = "insert into 中国宝安资金流向 values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"

3.最后就是爬取数据了，先读取之前下载好的程序，再选择爬取的网页链接：

driver = webdriver.Chrome(executable_path = r'C:\Users\ASUS\Desktop\chromedriver.exe')
#获取网页
driver.get('https://data.eastmoney.com/zjlx/000009.html')
#延迟执行的2秒
time.sleep(2)
#获取页面源码
source = driver.page_source
#解析源码
mytree = etree.HTML(source)
#定位表格//*[@id="table_ls"]/table/tbody/tr，返回列表
tables = mytree.xpath('//*[@id="table_ls"]/table/tbody/tr')

#循环表格
for i in range(len(tables)):
    #取出所有td标签下的文本
    trs = tables[i].xpath('.//text()')
    cursor.execute(sql_1,tables[i].xpath('.//text()'))
#保存对数据库的修改
conn.commit()
#关闭游标
cursor.close()
#关闭连接
conn.close()
#关闭网页
driver.quit()

最后的运行结果：

python爬取东方财富网，并将数据导入mysql相关推荐

使用python爬取东方财富网机构调研数据
最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了 ...
python培训机构调研最多的股票_使用python爬取东方财富网机构调研数据
标签: 最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只 ...
python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
爬取东方财富网股票行情数据和资讯
爬取东方财富网股票行情数据和资讯这个需求源于我的一个练手项目本篇博客参考:https://zhuanlan.zhihu.com/p/50099084 该博客介绍的东西本博客不做论述使用技术: 语 ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
python爬取火车票网的时刻表数据
python爬取火车票网的时刻表数据导包 import re,requests,datetime,time,json from prettytable import PrettyTable from ...
爬虫学习笔记（用python爬取东方财富网实验）
参考文章以及视频:(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客.手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili.[Python爬虫案例] ...
python爬取东方财富网中的资金流向表
因为东方财富网中的资金流向表是一个动态的数据,所以采用selenium模块进行爬取. 爬取东方财富网的资金流向表的具体步骤: 1.获取初始的URL 2.爬取对应的URL地址的网页,获取新的URL地址 ...
Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据
导言最近由于需求想爬取以下东方财富网的股票数据,但是发现没有想象那么简单,接下来我会讲述一下我遇到的问题以及是如何解决,最后成功的爬出了想要的数据. 查看网页源码首先我们F12打开东方财富网网页源 ...
python财务报表分析-用Python爬取东方财富网上市公司财务报表
♚ 作者:苏克,零基础.转行python爬虫与数据分析博客:https://www.makcyun.top 摘要: 现在很多网页都采取JavaScript进行动态渲染,其中包括Ajax技术.有的网页 ...

python爬取东方财富网，并将数据导入mysql

python爬取东方财富网，并将数据导入mysql相关推荐

最新文章

热门文章