爬虫系列-雪球网选股策略爬取程序1.0

2024-04-23 09:27:28

个人网站地址：http://www.enjoyown.com/spider-xueqiu/

昨天领导安排我整理知名网站上的选股策略，整理了半天，全部手敲的，因为APP没办法复制文本，很蛋疼，今天闲下来了就写了这个爬虫，将所有的策略抓取并保存到MySQL数据库，这样下次连拷贝都剩了，直接MySQL导出excel，一分钟就解决问题，喜欢请 star，谢谢。

src="https://ghbtns.com/github-btn.html?user=mingliangliang&repo=spider_xueqiu&type=star&count=true&size=large" scrolling="0" width="160px" height="30px">

Git地址

URL https://github.com/mingliangliang/spider_xueqiu

策略截图

{% capture images %}
http://res.cloudinary.com/changzhou-university/image/upload/v1502875478/20170816172354_fzywfu.jpg
http://res.cloudinary.com/changzhou-university/image/upload/v1502875478/20170816172346_q3uyja.jpg
{% endcapture %}
{% include gallery images=images caption=”运行截图和结果” cols=2 %}

MySQL建表

建表语句已经上传git，直接刷一下脚本即可。

运行python

{% capture images %}
http://res.cloudinary.com/changzhou-university/image/upload/v1502875478/2017-08-16_171956_nx2umb.jpg
http://res.cloudinary.com/changzhou-university/image/upload/v1502875479/2017-08-16_172054_cavae2.jpg
{% endcapture %}
{% include gallery images=images caption=”运行截图和结果” cols=2 %}

运行环境

操作系统：Windows7_X64
python版本：python2.7
SQL:MySQL5.7
编译器：Spyder

版本遗留问题

只取了策略的基本信息，没有把此策略包含股票取下来，下一版实现。

爬虫系列-雪球网选股策略爬取程序1.0相关推荐

爬虫系列（四）--全站爬取
爬虫系列(四)--全站爬取全站爬取需要的数据基于一个这样的假设:某网站的页面上存在该网站其他页面的连接,通过这些连接跳转的新的页面进行数据的爬取.在开始这个之前,要先明白栈和队列.本篇中介绍的是单线 ...
爬虫系列4：Requests+Xpath 爬取动态数据
爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参 ...
Python爬虫系列（二）：爬取中国大学排名丁香园-用户名和回复内容淘宝品比价
Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品比价目录 Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品 ...
边学边敲边记之爬虫系列(八)：Scrapy系统爬取伯乐在线
一.前言上一篇边学边敲边记爬虫系列七给大家仔细讲解了如何用Xpath分类爬取医疗信息网站医疗器材名称和介绍图片,以及三种最常用的存储方法. 本篇是本系列的第八篇了,今天给大家讲讲如何用Scrapy分 ...
爬虫系列1：Requests+Xpath 爬取豆瓣电影TOP
爬虫1:Requests+Xpath 爬取豆瓣电影TOP [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]: ...
照葫芦画瓢之python爬虫系列----（2）初次爬取简单的动态网页数据（网易、QQ音乐排行榜）
感谢提供素材的同学,无论好坏,高低,我都真心佩服你:参考文章地址:https://mp.weixin.qq.com/s/AXr8BjR_tU-E9YBo-mLVlg 爬取网易云音乐榜单在上一篇的文章 ...
Python爬虫系列（三）多线程爬取斗图网站（皮皮虾，我们上车）
斗图我不怕最近看了Python多线程的相关内容,并且前几天观看了腾讯课堂潭州学院上面的关于斗图网爬取的公开课,课程内容大致是利用Python多线程爬取斗图(多页),并将图片保存到本地.自己写这篇文章 ...
【python爬虫系列】13.实战二爬取京东信息
实战2 爬取京东 1. 2.设计架构: 每个商品只有100页, 用线程池处理,不需要分区对于耗费时间的评论获取使用Celery分布式获取 Celery使用redis中间件和存储结果写入cs 3.写 ...
爬虫系列之链家的信息爬取及数据分析
关于链家的数据爬取和分析已经实现 1.房屋数据爬取并下载 2.房屋按区域分析 3.房屋按经纪人分析 4.前十经纪人 5.经纪人最有可能的位置分析 6.实现以地区划分房屋目前存在的问题: 1.多线程 ...

最新文章

热门文章