前言:
听说你想要变富?那就沉住气慢慢来吧,没听过这句名言么:“穷人总是不想慢慢的变富”。都想着一夜暴富,中个彩票啥的,可哪有那么幸运呢?总不能像我一样中了78万的彩票,然后自己偷偷的花吧。

正文
本文就是利用python对某一财经网站的基金进行了爬取,爬取了5000+个基金所持有的股票,并进行了处理。

前阵因为爬取数据导致整个公司被抓的案例有不少,所以在此说明:拒绝利用爬虫进行违法的行为,坚决爱国爱民,做好事不留名,多扶老奶奶过马路,希望警察叔叔不要因为这篇爬虫文章把me带走。

"""
当然在学习Python的道路上肯定会困难,没有好的学习资料,怎么去学习呢?
学习Python中有不明白推荐加入交流Q群号:928946953
群里有志同道合的小伙伴,互帮互助, 群里有不错的视频学习教程和PDF!
还有大牛解答!
"""

本文涉及到的知识点:
1、python字符串:分割、拼接、中文字符判断;
2、python正则表达式;
3、爬虫requests请求库、xpath获取数据、代{过}{滤}理服务器;
4、selenium用法:无头浏览器、元素定位、显式等待、数据获取;
5、python操作mongodb
网站分析
代码和数据我们到后面再贴上,先来分析下目标网站,这样有利于我们爬取过程更加清晰;
目标网站:

http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;szzf;pn50;ddesc;qsd20181126;qed20191126;qdii;zq;gg;gzbd;gzfs;bbzt;sfbb

我们爬取的就是【开放式基金】里的数据:

我们随便点开一个基金,就可以进入其详情页面,不知道你发现没有,该基金详情页面的url

就是首页该基金的基金代码和
http://fund.eastmoney.com/的一个组合,比如:
040011 --- 华安核心优选混合的url:
http://fund.eastmoney.com/040011.html
005660 --- 嘉实资源精选股票A的url:
http://fund.eastmoney.com/005660.html

ok,好,我们在基金详情页面往下拉就可以找到该基金的股票持仓信息,,也就是该基金买了哪些股票:

然后点击 更多 进入该基金持股的详情页,往下拉就会看到,该基金三个季度的股票持仓信息:

对,这就是目标数据,要爬取的数据;
ok,我们先不爬取,再分析这个基金持仓的详情页,这个url也是有规律的,它是用
http://fundf10.eastmoney.com/ccmx_ 和该基金的基金代码组合成的,比如:

005660 ,嘉实资源精选股票A 的持仓详情页面url:
http://fundf10.eastmoney.com/ccmx_005660.html
006921,南方智诚混合 的持仓详情页面url:
http://fundf10.eastmoney.com/ccmx_006921.html

因为这些数据是用js动态加载的,如果使用requests爬取的话难度很大,这种情况下一般会使用selenium模拟浏览器行为进行爬取。但是selenium爬取的效率确实比较低。其实我们依旧是可以使用requests进行爬取的,js动态加载是html页面中的js代码执行了一段操作,从服务端自动加载了数据,所以数据在一开始爬取的页面上是看不到的,除非一些特别难爬的数据才需要selenium,因为selenium号称:只要是你看得到的数据就都可以获取。毕竟selenium是模仿人操作浏览器的行为的。这里我们分析js动态加载,然后利用requests来爬取,后面进行二次爬取的时候再用selenium。
在首页按F12打开开发者工具,然后再刷新一下

可以看到右边蓝色框里的数据了吧,这是js动态加载之后返回的数据,然后经过加工后呈现在页面上的,其实只要获取这些数据就可以了,不用去爬取首页了;
我们再点击 Headers ,这个 Request URL 就是js请求的url了,你可以试试把这个url直接用浏览器回车下,会给你返回一堆的数据;上面分析了基金持仓股票页面url的组成,所以只要需要这些数据里的六位基金代码就可以了,本篇代码中是用python正则进行了六位数字的提取,然后组成的基金持仓股票页面的url;然后再在基金持仓股票页面对该基金持有的股票进行爬取、存储;
爬取流程:
1、首先从首页中请求js动态加载数据时请求的那个url,从中获取六位数字的基金代码,

然后
http://fundf10.eastmoney.com/ccmx_ + 基金代码 + .html 组成的基金持仓股票的详情页url;

2、针对 基金持仓股票的详情页url 进行爬取,因为也是js动态加载的(加载速度较快),并且需要判断该基金是否有持仓的股票(有的基金没有买股票,也不知道他们干啥了),所以使用selenium来爬取,同时也使用了显式等待的方式来等待数据加载完成;
3、将数据整理,存储到mongodb中;
代码讲解---数据爬取:
这次我们将代码分段放上来,分段说明;
需要的库:

import requests
import re
from lxml import etree
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pymongo

准备的一些常用方法:

#判断字符串中是否含有中文
def is_contain_chinese(check_str):"""判断字符串中是否包含中文:param check_str: {str} 需要检测的字符串:return: {bool} 包含返回True, 不包含返回False"""for ch in check_str:if u'\u4e00' <= ch <= u'\u9fff':return Truereturn False
#selenium通过class name判断元素是否存在,用于判断基金持仓股票详情页中该基金是否有持仓股票;
def is_element(driver,element_class):try:WebDriverWait(driver,2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))except:return Falseelse:return True
#requests请求url的方法,处理后返回text文本
def get_one_page(url):headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',}proxies = {"http": "http://XXX.XXX.XXX.XXX:XXXX"}response = requests.get(url,headers=headers,proxies=proxies)response.encoding = 'utf-8'if response.status_code == 200:return response.textelse:print("请求状态码 != 200,url错误.")return None
#该方法直接将首页的数据请求、返回、处理,组成持仓信息url和股票名字并存储到数组中;
def page_url():stock_url = []      #定义一个数组,存储基金持仓股票详情页面的urlstock_name = []     #定义一个数组,存储基金的名称url = "http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,,,,,&pi=1&pn=10000&dx=1&v=0.234190661250681"result_text = get_one_page(url)# print(result_text.replace('\"',','))    #将"替换为,# print(result_text.replace('\"',',').split(','))    #以,为分割# print(re.findall(r"\d{6}",result_text))     #输出股票的6位代码返回数组;for i in result_text.replace('\"',',').split(','):  #将"替换为,再以,进行分割,遍历筛选出含有中文的字符(股票的名字)result_chinese = is_contain_chinese(i)if result_chinese == True:stock_name.append(i)for numbers in re.findall(r"\d{6}",result_text):stock_url.append("http://fundf10.eastmoney.com/ccmx_%s.html" % (numbers))    #将拼接后的url存入列表;return stock_url,stock_name
#selenium请求[基金持仓股票详情页面url]的方法,爬取基金的持仓股票名称;
def hold_a_position(url):driver.get(url)  # 请求基金持仓的信息element_result = is_element(driver, "tol")  # 是否存在这个元素,用于判断是否有持仓信息;if element_result == True:  # 如果有持仓信息则爬取;wait = WebDriverWait(driver, 3)  # 设置一个等待时间input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'tol')))  # 等待这个class的出现;ccmx_page = driver.page_source  # 获取页面的源码ccmx_xpath = etree.HTML(ccmx_page)  # 转换成成 xpath 格式ccmx_result = ccmx_xpath.xpath("//div[@class='txt_cont']//div[@id='cctable']//div[@class='box'][1]//td[3]//text()")return ccmx_resultelse:   #如果没有持仓信息,则返回null字符;return "null"

注意 page_url() 方法,里面的url就是上面分析js动态加载数据时请求的url,需要注意的是该url后面的参数,pi是第几页,pn是每页多少条数据,我这里pi=1,pn=10000,意思就是第一页,显示10000条数据(实际数据肯定没这么多,首页才5000+),就一次性的显示出所有的数据了;
程序开始:

if __name__ == '__main__':# 创建连接mongodb数据库client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX', port=XXXXX)  # 连接mongodb,host是ip,port是端口db = client.db_spider  # 使用(创建)数据库db.authenticate("用户名", "密码")  # mongodb的用户名、密码连接;collection = db.tb_stock  # 使用(创建)一个集合(表)stock_url, stock_name = page_url()     #获取首页数据,返回基金url的数组和基金名称的数组;#浏览器动作chrome_options = Options()chrome_options.add_argument('--headless')driver = webdriver.Chrome(options=chrome_options)    #初始化浏览器,无浏览器界面的;if len(stock_url) == len(stock_name):       #判断获取的基金url和基金名称数量是否一致for i in range(len(stock_url)):return_result = hold_a_position(stock_url[i])  # 遍历持仓信息,返回持仓股票的名称---数组dic_data = {'fund_url':stock_url[i],'fund_name':stock_name[i],'stock_name':return_result}        #dic_data 为组成的字典数据,为存储到mongodb中做准备;print(dic_data)collection.insert_one(dic_data)     #将dic_data插入mongodb数据库else:print("基金url和基金name数组数量不一致,退出。")exit()driver.close()              #关闭浏览器#查询:过滤出非null的数据find_stock = collection.find({'stock_name': {'$ne': 'null'}})  # 查询 stock_name 不等于 null 的数据(排除那些没有持仓股票的基金机构);for i in find_stock:print(i)

好,至此,爬取数据的代码交代完毕,运行后坐等即可;该项目单进程运行,所以爬取速度略慢,同时也受网速影响,后期会继续改进成多线程。代码讲解---数据处理:上面已经把数据爬取并存储到数据库中,这里对数据进行处理,将其变成可用的;首先说明思路:1、我们需要知道这些基金所有持仓的股票的综合数据,也包括基金持仓中有重复的股票;2、需要知道哪些股票重复了,有多少个重复的,重复了多少次;这样,重复数最多的那只股票就肯定是最好的了,因为这证明有很多的基金都购买了这支股票;具体看代码,注释说得已经很清楚了:

import pymongo#一、数据库:连接库、使用集合、创建文档;#
client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX',port=XXXXX)  #连接mongodb数据库db = client.db_spider       #使用(创建)数据库
db.authenticate("用户名","密码")      #认证用户名、密码collection = db.tb_stock    #使用(创建)一个集合(表),里面已经存储着上面程序爬取的数据了;
tb_result = db.tb_data      #使用(创建)一个集合(表),用于存储最后处理完毕的数据;#查询 stock_name 不等于 null 的数据,即:排除那些没有持仓股票的基金;
find_stock = collection.find({'stock_name':{'$ne':'null'}})#二、处理数据,将所有的股票数组累加成一个数组---list_stock_all #
list_stock_all = []     #定义一个数组,存储所有的股票名称,包括重复的;
for i in find_stock:print(i['stock_name'])    #输出基金的持仓股票(类型为数组)list_stock_all = list_stock_all + i['stock_name']   #综合所有的股票数组为一个数组;
print("股票总数:" + str(len(list_stock_all)))#三、处理数据,股票去重#
list_stock_repetition = []  #定义一个数组,存放去重之后的股票
for n in list_stock_all:if n not in list_stock_repetition:        #如果不存在list_stock_repetition.append(n)        #则添加进该数组,去重;
print("去重后的股票数量:" + str(len(list_stock_repetition)))#四、综合二、三中的得出的两个数组进行数据筛选#
for u in list_stock_repetition:        #遍历去重后股票的数组if list_stock_all.count(u) > 10:   #在未去重股票的数组中查找股票的重复数,如果重复数大于10#将数据组成字典,用于存储到mongodb中;data_stock = {"name":u,"numbers":list_stock_all.count(u)}insert_result = tb_result.insert_one(data_stock)    #存储至mongodb中print("股票名称:" + u + " , 重复数:" + str(list_stock_all.count(u)))

这样,就将数据稍微处理了一下存入了 tb_data 的集合中;下面只披露部分处理的数据:

{'_id': ObjectId('5e0b5ecc7479db5ac2ec62c9'), 'name': '水晶光电', 'numbers': 61}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ca'), 'name': '老百姓', 'numbers': 77}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cb'), 'name': '北方华创', 'numbers': 52}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cc'), 'name': '金风科技', 'numbers': 84}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cd'), 'name': '天顺风能', 'numbers': 39}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ce'), 'name': '石大胜华', 'numbers': 13}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cf'), 'name': '国投电力', 'numbers': 55}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d0'), 'name': '中国石化', 'numbers': 99}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d1'), 'name': '中国石油', 'numbers': 54}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d2'), 'name': '中国平安', 'numbers': 1517}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d3'), 'name': '贵州茅台', 'numbers': 1573}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d4'), 'name': '招商银行', 'numbers': 910}

该数据还未做排序,排名不分先后;数据中:中国石化 的numbers是54,说明在5000+家的基金中有54家买了中国石化的股票;招商银行的numbers为910,说明在5000+家的基金中有910家基金买了招商银行的股票......额,好了,到此也没什python教程么好说的了;最后,入市需谨慎,股票有风险;文章仅供学习,盈亏自负,概不负责;

股价翻番,人生赢家!python爬取基金,筛选股票相关推荐

  1. 股价翻番 人生赢家,python爬取基金 筛选股票

    前言: 听说你想要变富?那就沉住气慢慢来吧,没听过这句名言么:"穷人总是不想慢慢的变富".都想着一夜暴富,中个彩票啥的,可哪有那么幸运呢?总不能像我一样中了78万的彩票,然后自己偷 ...

  2. python基金筛选_入Python第一步,从贴“python爬取基金 筛选股票 ”

    [Python] 纯文本查看 复制代码# selenium请求[基金持仓股票详情页面url]的方法,爬取基金的持仓股票名称.持仓量: def hold_a_position(url): stock_n ...

  3. 如何使用Python爬取基金数据,并可视化显示

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于Will的大食堂,作者打饭大叔 前言 美国疫情越来越严峻,大选也进入 ...

  4. 轻松入门Python爬取基金数据

    美国疫情越来越严峻,大选也进入了最后阶段,受之影响美股指数也在在下行中.最近的A股也在跟随美股没有什么起色,一直在动荡整理之中.玩股票基金的同学们,最近大家的仓位控制的怎么样?为了更好的科学分析基金, ...

  5. 用python爬取基金网信息数据,保存到表格,并做成四种简单可视化。(爬虫之路,永无止境!)

    用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...

  6. Python爬取基金数据案例

    爬取基金数据案例 爬虫常规思路: 1.分析网页 2.对网页发送请求,获取响应 3.提取解析数据 4.保存数据 本案例所用到的模块: import requests import time import ...

  7. python 爬取财经新闻股票_70行python代码爬取新浪财经中股票历史成交明细

    70行python代码爬取新浪财经中股票历史成交明细 发布时间:2018-07-28 01:55, 浏览次数:635 , 标签: python 最近在研究股票量化,想从每笔成交的明细着手,但历史数据的 ...

  8. 钱袋子往哪走?教你用Python爬取基金数据

    年关将至,钱袋子往哪走? 有人买了定期存款,3年,年利率:3.987. 按存50w计算 0.0385 50万,3年息:6万,月息:1666.72元 0.039785 50万,3年息:6.21万,月息: ...

  9. 数据分析都不会,你敢玩基金?Python爬取基金并进行对比!

    IHO在新浪财经爬取 上证50在东方财富网爬取 另外两个上证ETF基金编号分别为510100, 510050在同花顺上爬取 这些网站的图表数据都是通过json传递的 所以找到对应的api即可抓取数据 ...

最新文章

  1. POJ 3268 D-Silver Cow Party
  2. 查看mysql数据库大小、表大小和最后修改时间
  3. python教程第四版pdf下载-笨办法学python 第四版 中文pdf高清版
  4. 《银翼杀手2049》:活着不只为了“存在”
  5. 长文 | 从发展轨迹、社会变迁和人口数据变化来看工具类产品的发展出路有哪些(1)
  6. npm命令,开发依赖,版本号【正解】
  7. wex5中win8或者win10操作系统studio中新建.w向导或其他的编辑窗口显示不全
  8. 吉他谱——有多少爱可以重来
  9. fiddler汉化版可以改成英文吗_可以把推拉门改成平开窗吗?推拉门和平开窗哪个更好?...
  10. IE浏览器自带打印控件WebBrowser
  11. 第二人生的源码分析(3)程序入口点
  12. 写HTML为什么骨架生成不了,HTML骨架
  13. stm32L151低功耗学习——Alarm闹钟周期唤醒(10s/10min/10h)
  14. 119全国消防日,我们要注意用火安全
  15. VMware Workstation虚拟机显示屏幕太小问题解决方法
  16. boost:lexical_cast
  17. oracle 主要特点是,Oracle PL/sql 主要特点
  18. 武田2020财年上半年业绩展示出其产品组合的韧性;确认全年管理层指引,上调对自由现金流、列报营业利润和列报每股盈利的预测
  19. NCJLQCJT邮件系统建设方案
  20. 计算机毕业设计Java电子病历系统(源码+系统+mysql数据库+lw文档)

热门文章

  1. 基于采样的规划算法之RRT家族(二):RRT-Connect
  2. html幽灵空白节点
  3. 主线程和子线程的区别,线程之间的通信
  4. 技术分享 | 基于 mongo cluster 的 PITR 恢复案例一则
  5. CSS3自定义滚动条样式实战 -webkit-scrollbar
  6. python中pil教程
  7. 小程序统一服务消息实现
  8. 国庆充电:从容器到容器云,什么才是Kubernetes的本质?
  9. 微博回应争议条款 今日头条再次“中枪”
  10. 使用阿里云OSS实现文件上传