python分组求和_Python学习笔记之pandas索引列、过滤、分组、求和功能示例
本文实例讲述了Python学习笔记之pandas索引列、过滤、分组、求和功能。分享给大家供大家参考,具体如下:
前面我们已经把519961(基金编码)这种基金的历史净值明细表html内容抓取到了本地,现在我们还是需要 解析html,取出相关的值,然后保存为csv文件以便pandas来统计分析。
from bs4 import BeautifulSoup
import os
import csv
# 使用 BeautifulSoup 解析html内容
def getFundDetailData(html):
soup = BeautifulSoup(html,"html.parser")
rows = soup.find("table").tbody.find_all("tr")
result = []
for row in rows:
tds=row.find_all('td')
result.append({"fcode": '519961'
,"fdate": tds[0].get_text()
, "NAV": tds[1].get_text()
, "ACCNAV": tds[2].get_text()
, "DGR": tds[3].get_text()
, "pstate":tds[4].get_text()
, "rstate": tds[5].get_text()
}
)
return result
# 把解析之后的数据写入到csv文件
def writeToCSV():
data_dir = "../htmls/details"
all_path = os.listdir(data_dir)
all_result = []
for path in all_path:
if os.path.isfile(os.path.join(data_dir,path)):
with open(os.path.join(data_dir,path),"rb") as f:
content = f.read().decode("utf-8")
f.close()
all_result = all_result + getFundDetailData(content)
with open("../csv/519961.csv","w",encoding="utf-8",newline="") as f:
writer = csv.writer(f)
writer.writerow(['fcode', 'fdate', 'NAV', "ACCNAV", 'DGR', 'pstate', "rstate"])
for r in all_result:
writer.writerow([r["fcode"], r["fdate"], r["NAV"], r["ACCNAV"], r["DGR"], r["pstate"], r["rstate"]])
f.close()
# 执行
writeToCSV()
pandas 排序、索引列
# coding: utf-8
import pandas
if __name__ == "__main__" :
# 读取csv文件 创建pandas对象
pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 这列设置为 索引列
# 根据索引列 倒序
print(pd.sort_index(ascending=False))
既然fdate列设置为了索引列,那么如果根据索引获取呢?
# 读取csv文件 创建pandas对象
pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 这列设置为 索引列
pd.index = pandas.to_datetime(pd.index)
print(pd["2017-11-29 "]) # 2017-11-29 519961 1.189 1.189 -1.00% 限制大额申购 开放赎回
2、直接指定fdate列就是日期类型
# 读取csv文件 创建pandas对象
pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate", parse_dates=["fdate"]) # 指明fdate是日期类型
print(pd["2017-11-29 "]) # 2017-11-29 519961 1.189 1.189 -1.00% 限制大额申购 开放赎回
打印索引:
print(pd.index) # 打印 索引
可以看出是DatetimeIndex的索引:
DatetimeIndex(['2015-08-13', '2015-08-12', '2015-08-11', '2015-08-10',
'2015-08-07', '2015-08-06', '2015-08-05', '2015-08-04',
'2015-08-03', '2015-07-31',
...
'2015-07-02', '2015-07-01', '2015-06-30', '2015-06-29',
'2015-06-26', '2015-06-25', '2015-06-24', '2015-06-23',
'2015-06-19', '2015-06-18'],
dtype='datetime64[ns]', name='fdate', length=603, freq=None)
3、索引的高级用法
# 取出 2017年7月的 全部数据
print(pd["2017-07"])
# 取出 2017年7月到9月的 数据
print(pd["2017-07":"2017-09"])
# 到2015-07的数据
print(pd[:"2015-07"])
# 取出截至到2015-07的数据
# 然后 倒序
print(pd[:"2015-7"].sort_index(ascending=False))
获取基金日增长率下跌次数最多的月份
result = pd[pd["DGR"].notnull()] # DGR一定要有值
# 过滤掉DGR值里的%号,最后取出小于0的值(负数就表示增长率下跌了 )
result = result[result['DGR'].str.strip("%").astype(pandas.np.float)<0]
# 按照月份 统计DGR跌的次数
result = result.groupby(lambda d:d.strftime("%Y-%m")).size()
# 对DGR跌的次数 倒序,然后取出前面第一个
result = result.sort_values(ascending=False).head(1)
print(result) # 2016-04 12 意思就是2016年4月份 是该基金DGR下跌次数最多的月份
希望本文所述对大家Python程序设计有所帮助。
python分组求和_Python学习笔记之pandas索引列、过滤、分组、求和功能示例相关推荐
- python pow和**_Python学习笔记 | 实例3:天天向上的力量
本文为中国大学MOOC<Python语言程序设计>课程学习笔记,课程主讲:嵩天老师,练习平台:Python123,参考教材:<Python语言程序设计基础> 天天向上的力量 加 ...
- python eval 入门_Python学习笔记整理3之输入输出、python eval函数
Python学习笔记整理3之输入输出.python eval函数 来源:中文源码网 浏览: 次 日期:2018年9月2日 Python学习笔记整理3之输入输出.python eval函数 ...
- python图形设置_python学习笔记——基本图形绘制
1.python蟒蛇python蟒蛇代码 #PythonDraw.py import turtle turtle.setup(650,350,200,200)# 设置画布的长.宽.起点 turtle. ...
- python dict遍历_Python学习笔记:19个pythonic编程习惯,让你的Python入门更优雅
Python最大的优点之一就是语法简洁,好的代码就像伪代码一样,干净.整洁.一目了然. 要写出 Pythonic(优雅的.地道的.整洁的)代码,需要多看多学大牛们写的代码,github 上有很多非常优 ...
- python通信信号处理_python学习笔记——信号模块signal(示例代码)
基于python学习笔记--多进程间通信--Linux信号基础的学习基础,进一步学习Python标准库中的signal模块. 尽管signal是python中的模块,但是主要针对UNIX平台(比如Li ...
- python编程计算器_Python学习笔记:用Python开发一个计算器项目
最近抽空看了下python的学习文档,发现开发工具以及资料支持对开发者相当的友好,相比之下,以前用TCL&Tk做的项目主要缺点有两个:1,开发难度大,调试手段只有靠print一种,而且语法错误 ...
- python tkinter 表格_python学习笔记(Tkinter编程利用Treeview实现表格自动更新)
博主今天总结这段时间抽空写的一个GUI编程项目 功能是查看本地打印机队列,可选择指定队列重新打印 直接上图 UI设计包括3个区域左上方,右上方和下方列表区域 使用网格grid方法来分配位置 下面是界面 ...
- python perl正则表达式_python学习笔记(正则表达式)
什么是正则表达式 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配.最简单的正则表达式就是普通字符串,可以匹配其自身.换包话说,正则表达式'python' 可以匹配字符 ...
- python elseif用法_python学习笔记(一)
0.前言 本文是根据廖雪峰python教程学习总结而来. 参考<python学习手册>,<流畅的python>以及python官方手册等网络资料 略过了与C和C++ 语言相同的 ...
最新文章
- NSight Compute 用户手册(中)
- 宅家学习,如何进行Kubernetes Ingress控制器的技术选型?
- asp.net core系列 59 Ocelot 构建基础项目示例
- 【Linux】一步一步学Linux——at命令(133)
- 在Docker中运行SpringBoot程序
- 单例模式以及在C#中的使用
- win2008R2管理员密码修改文档
- 操作系统ppt_华为车BU王军:华为三大汽车操作系统,及跨域集成软件框架(内含PPT)...
- 【动态规划】记录每步选择:牛客网:连续子数组的最大和(二)
- 自然语言处理——语言模型(二)
- 给定一个数组A[0,1,...,n-1],请构建一个数组B[0,1,...,n-1],其中B中的元素B[i]=A[0]*A[1]*...*A[i-1]*A[i+1]*...*A[n-1](简单易懂)
- 如何在html中加入背景,html中如何加入背景图片
- win7 计算机设置命令,Win7设置开机启动项命令的方法
- Leetcode 809. Expressive Words
- 音频编码(PCM、G711A、G711U、AAC)理解
- css3的坐标轴是相对于电脑屏幕还是物体自身?
- 杭电出了“王炸班”!考研3个清北8个浙大,就业人均起薪30万+
- 选择什么样的Linux操作系统好?
- 运维实践 | 使用K3S之快速搭建精简版本K8S集群环境,助力开发测试环境!
- 盗版系统惹的祸?Windows 7安装KB3146706会出现蓝屏