基于python，实现简单的爬取基金净值的爬虫

基于python的requests和进程池实现了简单的基金数据爬取脚本：

import requests
from multiprocessing.dummy import Pool
from time import sleep
import prettytable as pttb = pt.PrettyTable()
tb.field_names = ['name', '基金编号', '净值', '净值估算', '估算涨幅', '时间']def get_fund_info(fund_code):# fund_code:基金编号headers = {"User_Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}url = f'http://fundgz.1234567.com.cn/js/{fund_code}.js?rt=1613977070725'res = requests.get(url=url, headers=headers)ttjj_json = eval(res.text[8:-2])tb.add_row([ttjj_json['name'], fund_code, ttjj_json['dwjz'], ttjj_json['gsz'], ttjj_json['gszzl'] + '%', ttjj_json['gztime']])sleep(0.5)return# 基金代码列表
fund_code_list = [ '005827', '501009', '003095', '163406']
pool = Pool(6)
pool.map(get_fund_info, fund_code_list)
pool.close()
pool.join()
print(tb)

运行结果:

基于python，实现简单的爬取基金净值的爬虫相关推荐

基于python的汽车信息爬取与可视化分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介本项目利用网络爬虫技术从某汽车门户网站采集汽车数据,并利用 Flask + Echarts 前后端框 ...
基于python的汽车销售_基于Python的汽车信息爬取与分析
二.<基于Python的汽车数据爬取与分析> 1 课题内容和要求 1.1问题的提出 1)用Python 语言自行编写爬虫框架或使用Scrapy 框架,爬取汽车之家或易车网的车辆相关数据,按 ...
基于python的数据爬取与分析_基于Python的网站数据爬取与分析的技术实现策略
欧阳元东摘要:Python为网页数据爬取和数据分析提供了很多工具包.基于Python的BeautifulSoup可以快速高效地爬取网站数据,Pandas工具能方便灵活地清洗分析数据,调用Python ...
基于python多线程和Scrapy爬取链家网房价成交信息
文章目录知识背景 Scrapy- spider 爬虫框架 SQLite数据库 python多线程爬取流程详解爬取房价信息封装数据库类,方便多线程操作数据库插入操作构建爬虫爬取数据基于百度 ...
基于python+selenium+Chrome自动化爬取巨潮资讯网A股财务报表
转自同学的博客引言: 网页爬虫分为静态网页爬虫和动态网页爬虫,前者是指索要获取的网页内容不需要经过js运算或者人工交互, 后者是指获取的内容必须要经过js运算或者人工交互.这里的js运算可能是aja ...
python爬取图片-Python超简单的爬取网站中图片
1.首先导入相关库 importrequestsimportbs4importthreading #用于多线程爬虫,爬取速度快,可以完成多页爬取import os 2.使用bs4获取html中的内容 ...
python最简单的爬取邮箱地址_python3爬取网页中的邮箱地址
1.爬虫分析分析结果对: http://xxx.com?method=getrequest&gesnum=00000001 http://xxx.com?method=getrequest& ...
python最简单的爬取邮箱地址_python爬取邮箱的实例代码
1 # -*- coding: cp936 -*- 2 import urllib2 3 import re 4 from pyquery import PyQuery as pq 5 from lx ...
python动态页面元素爬取_Python开发爬虫之动态网页抓取篇：爬取博客评论数据——通过浏览器审查元素解析真实网页地址...
由于主流网站都使用JavaScript展示网页内容,和前面简单抓取静态网页不同的是,在使用JavaScript时,很多内容并不会出现在HTML源代码中,而是在HTML源码位置放上一段JavaScrip ...

基于python，实现简单的爬取基金净值的爬虫

Python 基金爬虫

基于python，实现简单的爬取基金净值的爬虫

基于python，实现简单的爬取基金净值的爬虫相关推荐

最新文章

热门文章