selenium实战爬取股票

selenium库的使用

项目的灵感

今天准备去码市上找几个实战的项目来练练手，于是就发现了这个项目（这个项目已经结束）

他还有两个需求，后面两个需求都差不多，我就不再去写代码了

必要知识

1.对于一些初级的知识，我之前的博客都有写，你们可以去看看

2.selenium的无界面化操作

self.opt = Options()
self.opt.add_argument('--no-sandbox')  # 解决DevToolsActivePort文件不存在的报错
self.opt.add_argument('window-size=1920x3000')  # 设置浏览器分辨率
self.opt.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bug
self.opt.add_argument('--hide-scrollbars')  # 隐藏滚动条，应对一些特殊页面
self.opt.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片，提升运行速度
self.opt.add_argument('--headless')  # 浏览器不提供可视化界面。Linux下如果系统不支持可视化不加这条会启动失败
# opt.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" # 手动指定使用的浏览器位置
self.driver=Chrome(options=self.opt)
#创建无界面对象

由于我主要是封装到类里面的，所以会有self，不需要的只要删除self就好

3.xlwt的保存数据

# 创建一个workbook 设置编码
workbook = xlwt.Workbook(encoding='utf-8')
# 创建一个worksheet
worksheet = workbook.add_sheet('股票最新价格')
# 写入excel
# 参数对应 行, 列, 值
worksheet.write(0, 0, "个股代码")
worksheet.write(0, 1, "个股名称")
worksheet.write(0, 2, "最新价格")
for i in range(len(number)):worksheet.write(i + 1, 0, number[i])worksheet.write(i + 1, 1, name[i])worksheet.write(i + 1, 2, money[i])
workbook.save('股票最新价格.xls')

完整的代码展示

import xlwt
import parsel
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
import time
class get_gupaio():def __init__(self):url = "http://quote.eastmoney.com/center/gridlist.html"self.opt = Options()self.opt.add_argument('--no-sandbox')  # 解决DevToolsActivePort文件不存在的报错self.opt.add_argument('window-size=1920x3000')  # 设置浏览器分辨率self.opt.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bugself.opt.add_argument('--hide-scrollbars')  # 隐藏滚动条，应对一些特殊页面self.opt.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片，提升运行速度self.opt.add_argument('--headless')  # 浏览器不提供可视化界面。Linux下如果系统不支持可视化不加这条会启动失败# opt.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" # 手动指定使用的浏览器位置self.driver=Chrome(options=self.opt)#创建无界面对象self.driver.implicitly_wait(10)self.driver.get(url)def get_one_page(self,content):# print(content)sel=parsel.Selector(content)number=sel.xpath("//tbody/tr/td[2]/a/text() ").getall()# print(number)# print(len(number))name=sel.xpath("//tbody/tr/td[@class='mywidth']/a/text()").getall()# print(name)money=sel.xpath("//tbody/tr/td[5]/span/text()").getall()# print(money)# print(len(money))return number,name,moneydef save_data(self,number,name,money):# 创建一个workbook 设置编码workbook = xlwt.Workbook(encoding='utf-8')# 创建一个worksheetworksheet = workbook.add_sheet('股票最新价格')# 写入excel# 参数对应 行, 列, 值worksheet.write(0, 0, "个股代码")worksheet.write(0, 1, "个股名称")worksheet.write(0, 2, "最新价格")for i in range(len(number)):worksheet.write(i + 1, 0, number[i])worksheet.write(i + 1, 1, name[i])worksheet.write(i + 1, 2, money[i])workbook.save('股票最新价格.xls')def run(self):number = []name = []money = []for i in range(10):self.driver.find_element_by_xpath("/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/input").clear()self.driver.find_element_by_xpath("/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/input").send_keys(i + 1)self.driver.find_element_by_xpath("/html/body/div[1]/div[2]/div[2]/div[5]/div/div[2]/div/a[3]").click()time.sleep(1)content = self.driver.page_source(a, b, c) = self.get_one_page(content)number.extend(a)name.extend(b)money.extend(c)print(number)print(name)print(money)self.save_data(number, name, money)self.driver.quit()
get_gupaio().run()

selenium实战爬取股票相关推荐

Python爬虫应用实战-爬取股票数据做分析
01 本文涉及到的知识点 1.python字符串:分割.拼接.中文字符判断: 2.python正则表达式: 3.爬虫requests请求库.xpath获取数据.代理服务器: 4.selenium用法: ...
用 Python selenium爬取股票新闻并存入mysql数据库中带翻页功能demo可下载
用 Python selenium爬取实时股票新闻并存入mysql数据库中 1.分析需求 2.创建表 3.分析需要爬取的网页内容 4.python里面selenium进行爬虫操作 1.添加包 2.连接 ...
Python爬虫实战使用scrapy与selenium来爬取数据
系列文章目录实战使用scrapy与selenium来爬取数据文章目录系列文章目录前言一.前期准备二.思路与运行程序 1.思路 2.运行程序三.代码 1.代码下载 2.部分代码总结前言 ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
python项目实战:爬取东方财富热门股票数据
前言今天为大家分享一个用Python爬取股票的今开成交量 ,最高, 涨停, 内盘 ,成交额 ,委比 ,流通市值市盈率MRQ ,每股收益总股本 ,昨收 ,换手率, 跌停等一系列信息,能够帮你更好的分 ...
用Python爬取股票数据，绘制K线和均线并用机器学习预测股价（来自我出的书）
最近我出了一本书,<基于股票大数据分析的Python入门实战视频教学版>,京东链接:https://item.jd.com/69241653952.html,在其中用股票范例讲述Pyth ...
用Python爬取股票数据，绘制K线和均线并用机器学习预测股价
最近我出了一本书,<基于股票大数据分析的Python入门实战视频教学版>,在其中用股票范例讲述Python爬虫.数据分析和机器学习的技术,大家看了我的书,不仅能很快用比较热门的案例学好P ...
爬取股票的历史数据（个股）
股票的历史数据爬取爬取网易财经的个股历史数据爬取链接:http://quotes.money.163.com/trade/lsjysj_000001.html? 先爬取股票的对应的代码爬取股票代 ...
用Python爬取股票数据，绘制K线和均线并用机器学习预测股价（来自我出的书）（转载）
最近我出了一本书,<基于股票大数据分析的Python入门实战视频教学版>,京东链接:https://item.jd.com/69241653952.html,在其中用股票范例讲述Pyth ...
MATLAB爬虫爬取股票数据
近年来,大数据盛行,有关爬虫的教程层次不穷.那么,爬虫到底是什么呢? 什么是爬虫? 百度百科是这样定义的: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种 ...

selenium实战爬取股票

selenium库的使用

项目的灵感

必要知识

1.对于一些初级的知识，我之前的博客都有写，你们可以去看看

2.selenium的无界面化操作

3.xlwt的保存数据

完整的代码展示

selenium实战爬取股票相关推荐

最新文章

热门文章