需求：

1.读取数据
2.查看是否有缺失数据
3.用统计学指标快速描述数值型属性的概要
4.空值处理。可能因为忘记填写保密等原因，相关字段出现了空值，将其填充为NOT PROVIDE
df.fillna(value = 'NOT PROVIDE',inplace=True)
5.异常值的处理。将捐赠金额<=0的数据删除
df.drop(labels=drop_indexs,axis=0,inplace=True)
axis=0是行，唯一一个特殊的
6.新建一列为各个候选人所在党派的party
7.查看party这一列中有哪些不同的元素
8.统计party列中各个元素出现的次数
9.查看各个党派收到的政治献金总数
10.查看具体每天各个党派收到的政治献金总数
11.将表中的时期格式转变为"yyyy-mm-dd"
12.查看老兵(捐赠者职业)主要支持谁

1、2、读取数据、查看是否有缺失数据

import pandas as pd
from pandas import DataFrame
import numpy as np
df=pd.read_csv("C:\\Users\\zoutong\\Desktop\\programming\\case\\usa_election .txt")
df.head()
parties = {'Bachmann, Michelle':'Republican','Romney, Mitt':'Republican','Obama, Barack':'Democrat',"Roemer, Charles E. 'Buddy' III":'Reform','Pawlenty, Timothy':'Republican','Johnson, Gary Earl':'Libertarian','Paul, Ron':'Republican','Santorum, Rick':'Republican','Cain, Herman':'Republican','Gingrich, Newt':'Republican','McCotter, Thaddeus G':'Republican','Huntsman, Jon':'Republican','Perry, Rick':'Republican'}
months = {'JAN':1,'FEB':2,'MAR':3,'APR':4,'MAY':5,'JUN':6,'JUL':7,'AUG':8,'SEP':9,'OCT':10,'NOV':11,'DEC':12}

##对新数据进行总览，查看是否缺失存在数据
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):#   Column             Non-Null Count   Dtype
---  ------             --------------   -----  0   cmte_id            536041 non-null  object 1   cand_id            536041 non-null  object 2   cand_nm            536041 non-null  object 3   contbr_nm          536041 non-null  object 4   contbr_city        536026 non-null  object 5   contbr_st          536040 non-null  object 6   contbr_zip         535973 non-null  object 7   contbr_employer    525088 non-null  object 8   contbr_occupation  530520 non-null  object 9   contb_receipt_amt  536041 non-null  float6410  contb_receipt_dt   536041 non-null  object 11  receipt_desc       8479 non-null    object 12  memo_cd            49718 non-null   object 13  memo_text          52740 non-null   object 14  form_tp            536041 non-null  object 15  file_num           536041 non-null  int64
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

3、用统计学指标快速描述数值型属性的概要

describe()函数

include：包含哪类数据。默认只包含连续值，不包含离散值；include = ‘all’ 设置全部类型
percentiles：设置输出的百分位数，默认为[.25,.50,.75]，返回第25，50，75百分位数

df.describe()##对数值行数据进行分析

4、空值处理。可能因为忘记填写保密等原因，相关字段出现了空值，将其填充为NOT PROVIDE。

df.fillna()

1.df.fillna()函数的功能:该函数的功能是用指定的值去填充dataframe中的缺失值。
2.df.fillna()函数的基本语法:df.fillna(a,[inplace=False]),其中参数a表示的是常数或字典，若a为常数，则用常数a填充缺失值，若a为字典，则表示第key列的缺失值用key对应的value值填充，如：df.fillna({0:10,1:20}),表示用10去填充第0列的缺失值，用20去填充第1列的缺失值；inplace为可选参数，默认为False，表示不修改原对象，若指定inplace=True,则直接修改原对象。
3.df.fillna()函数的返回值：若指定inplace=True，则函数返回值为None，若未指定，则函数返回填充缺失值后的数据。

df.fillna(value="NOT PROVISED",inplace=True)
df.info()
###用value=NOT PROVISED 来填充空值

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
#   Column             Non-Null Count   Dtype
--- ------             --------------   -----
0   cmte_id            536041 non-null object
1   cand_id            536041 non-null object
2   cand_nm            536041 non-null object
3   contbr_nm          536041 non-null object
4   contbr_city        536041 non-null object
5   contbr_st          536041 non-null object
6   contbr_zip         536041 non-null object
7   contbr_employer    536041 non-null object
8   contbr_occupation 536041 non-null object
9   contb_receipt_amt 536041 non-null float64
10 contb_receipt_dt   536041 non-null object
11 receipt_desc       536041 non-null object
12 memo_cd            536041 non-null object
13 memo_text          536041 non-null object
14 form_tp            536041 non-null object
15 file_num           536041 non-null int64
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

5、异常值的处理。将捐赠金额<=0的数据删除

df.drop(labels=drop_indexs,axis=0,inplace=True)

只有在df.drop()里面的axis=0表示行，labels=drop_indexes表示删除这一列

#异常值的处理。将捐赠金额<=0的数据删除
df["contb_receipt_amt"]<=0
df.loc[df["contb_receipt_amt"]<=0]
drop_indexs=df.loc[df["contb_receipt_amt"]<=0].index
df.drop(labels=drop_indexs,axis=0,inplace=True)

6、新建一列为各个候选人所在党派的party

map函数作用： 根据提供的函数对指定的序列做映射。通俗地讲就是以参数序列中的每个元素分别调用参数中的函数（func（）），把每次调用后返回的结果保存到返回值中

#新建一列为各个候选人所在党派的party
#新建一列为各个候选人所在党派的party
#根据名字去百度查询，各个候选人所在的党派，写成一个字典
"""字典形式为：
partise={
"人名，人名":"所在的党派",
"人名，人名":"所在的党派",
"人名，人名":"所在的党派",
}"""

df['party'] = df['cand_nm'].map(parties)

7、查看party这一列中有哪些不同的元素

df["party"].unique()

array(['Republican', 'Democrat', 'Reform', 'Libertarian'], dtype=object)

8、统计party列中各个元素出现的次数

value_counts()函数

value_counts() 方法返回一个序列 Series，该序列包含每个值的数量。也就是说，对于数据框中的任何列，value-counts () 方法会返回该列每个项的计数。

#统计party列中各个元素出现的次数
df["party"].value_counts()

9、查看各个党派收到的政治献金总数

#查看各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by='party')["contb_receipt_amt"].sum()

10、查看具体每天各个党派收到的政治献金总数

df.group()函数

df.groupby() 函数返回的对象是一系列键值对，其中键是分组的字段值，值是该字段值下的数据表。分组的结果是无法直接输出的，print()只能看到该结果的数据类型。可以用循环对分组后的结果进行遍历。

#查看具体每天各个党派收到的政治献金总数
df.groupby(by=["contb_receipt_dt","party"])["contb_receipt_amt"].sum()

11、将表中的时期格式转变为"yyyy-mm-dd"

##将表中日期格式转换为："yyyy_mm_dd"
def trandformData(d):day,month,year = d.split('-')month = months[month]#将英文月份转换为中文月份return '20'+year+'-'+str(month)+'-'+day
df['contb_receipt_dt'] = df['contb_receipt_dt'].map(trandformData)

12、查看老兵(捐赠者职业)主要支持谁

#查看老兵(捐赠者职业)DISABLED VETERAN主要支持谁,给谁捐赠的钱越多表示越支持谁
#可以先将源数据中的老兵这个职业对应的行数据取出
df["contbr_occupation"]=="DISABLED VETERAN"
df_old=df.loc[df["contbr_occupation"]=="DISABLED VETERAN"]
#分组：以候选人分组，对捐赠金额求和
df_old.groupby(by='cand_nm')['contb_receipt_amt'].sum()

cand_nm
Cain, Herman       300.00
Obama, Barack     4205.00
Paul, Ron         2425.49
Santorum, Rick     250.00
Name: contb_receipt_amt, dtype: float64

复习

df.describe()	对数据进行统计描述形分析
df.fillna(value=“”，inplace=True)	对缺失值进行填充，填充值是value的值
df[].map()	提供的函数对指定的序列做映射
df.groupby(by="")[]	通过by里面的关键字进行分组
df.value_counts()	统计各个元素出现的次数
df[].unique()	看某一列有几个元素

Dataframe基础操作巩固——美国大选献金项目相关推荐

2012美国大选献金项目数据分析
文章目录 1.数据载入与预览 1.1 数据加载 1.2 数据合并 1.3 数据预览 1.3.1 查看是否有空值 1.3.2用统计学指标快速描述数值型属性的概要 2.数据的预处理 2.1 数据清洗 2. ...
【数据分析】使用pandas和numpy分析美国大选献金项目
1. 数据载入与总览 1.1 数据加载 #绘图工具 import matplotlib.pyplot as plt %matplotlib inline #数据处理工具 import numpy as ...
2012美国大选献金项目（最详细解释）
1. 数据载入和总览 import numpy as npimport pandas as pdfrom pandas import Series,DataFrame 1.1 数据载入 df1 = p ...
数据分析---2012美国大选献金项目数据分析
需求: 1. 加载数据 df = pd.read_csv('./data/usa_election.txt') 2. 对新数据进行总览,查看是否存在缺失数据: 方法一:isnull.notnull.a ...
美国大选献金项目学习笔记
目录要求代码: 要求代码: import numpy as np import pandas as pddf = pd.read_csv('./data/usa_election.txt')# ...
3 Python数据分析美国各州人口分析案例 Pandas高级操作美国大选献金案例 matplotlib
Python数据分析 1 案例美国各州人口分析 1.1 数据介绍数据来源:https://github.com/jakevdp/data-USstates/ 1.1.1 州人口数量表 state- ...
项目3：美国大选献金目数据分析
""" 需求: 1.读取数据 2.查看是否有缺失数据 3.用统计学指标快速描述数值型属性的概要 4.空值处理.可能因为忘记填写保密等原因,相关字段出现了空值,将其填充为N ...
学习笔记Spark（七）—— Spark SQL应用（2）—— Spark DataFrame基础操作
二.Spark DataFrame基础操作 2.1.DataFrame DataFrame是一种不可变的分布式数据集,这种数据集被组织成指定的列,类似于关系数据库中的表. 数据集的每一列都带有名称和类 ...
数据分析项目3-美国大选献金分析
需求加载数据查看数据的基本信息指定数据截取,将如下字段的数据进行提取,其他数据舍弃 cand_nm: 候选人姓名 contbr_nm:捐赠人所在州 ...
[pandas基础]Pandas Series和Pandas DataFrame基础操作
目录 Series基础创建Series 通过索引获取数据指定Series的索引值根据索引值读取数据使用key/value对象(类似字典)来创建Seires DataFrame基础使用列表创建 ...

Dataframe基础操作巩固——美国大选献金项目

需求：