html股票数据代码,股票数据的网站抓取(4.2)代码优化
#coding=utf-8
from selenium import webdriver
import time
import os
import re
import sys
import threading
import Queue
import Tkinter as tk
from selenium.common.exceptions import NoSuchElementException
def myinit():
reload(sys)
sys.setdefaultencoding('utf8')
#获取屏幕分辨率
def getscreeninfo():
#这个没考虑多显示器的问题
info={}
root = tk.Tk()
info['width_px'] = root.winfo_screenwidth()
info['height_px'] = root.winfo_screenheight()
info['width_mm'] = root.winfo_screenmmwidth()
info['height_mm'] = root.winfo_screenmmheight()
# 2.54 cm = in
info['width_in'] = info['width_mm'] / 25.4
info['height_in'] = info['height_mm'] / 25.4
info['width_dpi'] = info['width_px']/info['width_in']
info['height_dpi'] = info['height_px']/info['height_in']
return info
########################
#生成多个浏览器实例
def makebr(number):
brs=[]
for i in range(number):
br=webdriver.Firefox()
brs.append(br)
return brs
#设置所有浏览器实例大小
def setbrsize(brs,x,y):
for i in brs:
i.set_window_size(200,200)
#排列打开的浏览器
def layoutbrs(brs,x=0,y=0,dx=10,dy=10,mode=0,hang=0):
#mode 0,横向, 1,纵向 2,矩形 3,对角线
#hang 0为尽量按正方形排列
screeninfo=getscreeninfo()
if(mode==0):
dy=0
elif(mode==1):
dx=0
if(mode!=2):
for i in brs:
i.set_window_position(x,y)
x=x+dx
y=y+dy
else:
#这个以后有空再弄
pass
#hang=math.ceil(math.sqrt(len(dbrs)))
#关闭所有浏览器
def closebr(brs):
for i in brs:
i.quit()
#######################
#获得指定股票相关数据
def getinfo(mydriver,gourl):
title='//*[@id="name"]'
code='//*[@id="code"]'
hexinshujuxpath="/html/body/div[14]/div[1]/div[4]/div[1]"
restr=":".decode('utf8')
myre=re.compile(restr,re.I|re.M|re.S)
linetext=""
errorinfo=""
mydriver.get(gourl)
try:
gupiaoming=mydriver.find_element_by_xpath(title).text
gupiaocode=mydriver.find_element_by_xpath(code).text
hexinshuju=mydriver.find_element_by_class_name('pad5')
shujuhang=hexinshuju.find_elements_by_tag_name('tr')
for i in range(len(shujuhang)-2):
shujulie=shujuhang[i].find_elements_by_tag_name('td')
tmpshuju=myre.split(shujulie[0].text)
linetext=linetext+"~"+tmpshuju[1]
shuju=myre.split(shujuhang[8].text)
linetext=linetext+"~"+shuju[1]
tmpshuju=myre.split(shujuhang[9].text)
linetext=linetext+"~"+tmpshuju[1]
linetext="%s~%s%s"%(gupiaoming,gupiaocode,linetext)
#print "数据:",linetext
except NoSuchElementException,e:
#print "不是股票"
pass
except Exception:
errorinfo= "非预期错误"+gourl
print errorinfo
finally:
return linetext,errorinfo
#获得所有股票链接
def geturls(br):
#通过link对象获得链接地址的text文本
def getlinkurl(linklist):
my=[]
for x in linklist:
my.append(x.get_attribute('href'))
return my
sz=[]
sh=[]
br.get("http://quote.eastmoney.com/stocklist.html")
shxpath="/html/body/div[9]/div[2]/div/ul[1]"
szxpath="/html/body/div[9]/div[2]/div/ul[2]"
shgupiao=br.find_element_by_xpath(shxpath)
szgupiao=br.find_element_by_xpath(szxpath)
shgupiaolist=shgupiao.find_elements_by_tag_name('a')
szgupiaolist=szgupiao.find_elements_by_tag_name('a')
sh=getlinkurl(shgupiaolist)
sz=getlinkurl(szgupiaolist)
return sh,sz
#多线程执行用的函数
def thread_getinfo(br,jobslink_queue,jieguo_queue,errorinfo_queue):
while True:
try:
#获得队列里的地址
url=jobslink_queue.get(False) #False =Don't wait
except Queue.Empty:
print "完成退出"
#br.quit()
return
#print url
if(url!=None):
(linetext,errorinfo)=getinfo(br,url)
if(linetext!=""):
jieguo_queue.put(linetext)
if(errorinfo!=""):
errorinfo_queue.put(errorinfo)
#######################
#多线程控制函数
def saveinfoabc(info_filename,error_filename,urllist):
jobslink=Queue.Queue(0)
jieguo=Queue.Queue(0)
errorsinfo=Queue.Queue(0)
for x in urllist[200:250]:#为测试方便这里只取了50,如果要全下载,取消[]就好
jobslink.put(x)
#启动线程
for x in range(THREAD_NUM):
t=threading.Thread(target=thread_getinfo,args=(brs[x],jobslink,jieguo,errorsinfo))
t.start()
f=open(info_filename,'w')
e=open(error_filename,'w')
mycount=0
while (threading.activeCount()>1) or (not jobslink.empty()):
while jieguo.qsize()>0 or errorsinfo.qsize()>0:
if(jieguo.qsize()>0):
jieguotxt=jieguo.get()
f.write(jieguotxt+"\n")
if(errorsinfo.qsize()>0):
error=errorsinfo.get()
e.write(error+"\n")
mycount=mycount+1
if(mycount%100)==0:
print "%d: 活动线程:%d,剩余连接数:%d,结果剩余条数:%d,错误剩余条数:%d"%(mycount,threading.activeCount(),jobslink.qsize(),jieguo.qsize(),errorsinfo.qsize())
time.sleep(0.01)
e.close()
f.close()
print "数据下载完成"
######################
myinit()
br=webdriver.Firefox()
print "获得所有链接地址"
(sh,sz)=geturls(br)
br.quit()
#info_filename='shinfo.txt'
#error_filename='sherror.txt'
THREAD_NUM=10
brs=makebr(THREAD_NUM)
setbrsize(brs,200,300)
layoutbrs(brs ,0,0,80,80,0)
saveinfoabc('shinfo.txt','sherror.txt',sh)
saveinfoabc('szinfo.txt','szerror.txt',sz)
closebr(brs)
html股票数据代码,股票数据的网站抓取(4.2)代码优化相关推荐
- python爬虫怎么爬同一个网站的多页数据-如何用Python爬数据?(一)网页抓取
如何用Python爬数据?(一)网页抓取 你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. 需求 我在公众号后台,经常可以收到 ...
- python爬网站数据实例-如何用Python爬数据?(一)网页抓取
如何用Python爬数据?(一)网页抓取 你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. 需求 我在公众号后台,经常可以收到 ...
- 系统检测到您正在使用网页抓取工具访问_从网站抓取数据的3种最佳方法
halo,大家好,我是特仑苏,今天呢给大家分享一些Python从网站抓取数据的一些方法,希望可以给大家带来一些帮助! 原作者:Octoparse团队 原出处:作品文(从网站抓取数据的3种最佳方法)/网 ...
- mrtrix3处理DTI数据代码——DWI数据进行概率追踪和纤维素追踪
mrtrix3处理DTI数据代码--DWI数据进行概率追踪和纤维素追踪 DWI预处理 1.数据准备 被试DWI和T1数据,均放置在同一文件夹/home/hitlab/hitlab/GS/data/tt ...
- 从网站抓取数据并在 Excel 中整合
从网站抓取数据并在 Excel 中整合 在本文中,我们将看到下一个练习使用 UiPath 的任务. 当您进入公司或作为自由职业者工作时,这将使您了解更多并为实时工作做好准备. 在这项任务中,我们更关注 ...
- asp.net 获取全部在线用户_提取在线数据的9个最佳网页抓取工具
Web Scraping工具专门用于从网站中提取信息.它们也被称为网络收集工具或Web数据提取工具. Web Scraping工具可以在各种场景中用于无限目的. 比如: 1.收集市场研究数据 网络抓取 ...
- vs用Python爬数据?(一)网页抓取
你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. (由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开.如有需要,请 ...
- python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析
大家对股票交易接口并不陌生,那么要想获取股票数据获取,也是可以通过python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析如下: import sys from PyQt5 i ...
- r语言抓取网页数据_使用R进行网页抓取的简介
r语言抓取网页数据 by Hiren Patel 希伦·帕特尔(Hiren Patel) 使用R进行网页抓取的简介 (An introduction to web scraping using R) ...
- oracle 数据库中执行数据库语句能找到数据,但是程序中却抓取不到
oracle 数据库中执行数据库语句能找到数据,但是程序中却抓取不到? 原因:数据库中插入数据时没有commit,执行COMMIT后就可以查询到. 转载于:https://www.cnblogs.co ...
最新文章
- 关于LUA+Unity开发_toLua篇【二】
- Android性能优化之启动优化实战篇,最终入职阿里
- 《系统集成项目管理工程师》必背100个知识点-87系统文档验收
- [Qt入门]模态和非模态对话框创建
- Behavior Language Processing with Graph based Feature Generation for Fraud DetectioninOnline Lending
- python中关于图例legend在图外的画法简析
- Smart3D模型合并
- jdk7 linux 32位 安装包 微云网盘下载
- 【论文解读】AVOD-Net 用于自动驾驶的聚合视图3D对象检测网络
- 十以内加法速算游戏设计
- c语言offset函数,offset偏移量 offset函数怎么用,详细一点…
- CSS解决hover选择器生硬效果
- BootstrapBlazor实战 Menu 导航菜单使用(2)
- Redis原生SET、SETNX、SETEX方法以及RedisTemplate的方法 + 分布式锁的实现
- 访问局域网另外一台电脑虚拟机中CentOS7
- 编译安装nginx并实现反向代理负载均衡和缓存功能
- WPF实现纵向显示TabControl标题及标题字体样式
- 警示灯E-mark认证要怎么办理?
- 计算一幅图像的平均亮度
- pptv图标出现在计算机磁盘,求大神解决!!界面图标全部变成了pptv,如果用其他打开方式打开同理,点哪个都弹出来PPTV说不支持格式...