数据采集习题参考答案,会持续更新,点个关注防丢失。

创作不易,一键三连给博主一个支持呗。

为了方便查找,已按照头歌重新排版,朋友们按照头歌所属门类查找实训哦,该篇为Pandas。

文章目录

实训一:Pandas初体验

第一关:了解数据处理对象--Series

编程要求

Pandas中的数据结构

第一关答案

第二关:了解数据处理对象-DataFrame

编程要求

相关知识

第二关答案

第三关:读取CSV格式数据

编程要求

相关知识

第三关答案

第四关:数据的基本操作——排序

编程要求

相关知识

第四关答案

第五关:数据的基本操作——删除

编程要求

相关知识

第五关答案

第六关:数据的基本操作——算术运算

编程要求

相关知识

第六关答案

第七关:数据的基本操作——去重

编程要求

相关知识

第七关答案

第八关:层次化索引

编程要求

相关知识

第八关答案


实训一:Pandas初体验

第一关:了解数据处理对象--Series

编程要求

  • 创建一个名为series_aseries数组,当中值为[1,2,5,7],对应的索引为['nu', 'li', 'xue', 'xi']

  • 创建一个名为dict_a的字典,字典中包含如下内容{'ting':1, 'shuo':2, 'du':32, 'xie':44}

  • dict_a字典转化成名为series_bseries数组。

相关知识

Pandas是为了解决数据分析任务而创建的,纳入了大量的库和标准数据模型,提供了高效地操作大型数据集所需的工具。 对于Pandas包,在Python中常见的导入方法如下:

from pandas import Series,DataFrame

import pandas as pd

Pandas中的数据结构

  • Series: 一维数组,类似于Python中的基本数据结构list,区别是Series只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。就像数据库中的列数据;
  • DataFrame: 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器;
  • Panel:三维的数组,可以理解为DataFrame的容器。

了解Series

为了开始使用Pandas,我们必需熟悉它的两个重要的数据结构:SeriesDataFrame。虽然它们不是每一个问题的通用解决方案,但可以提供一个坚实的,易于使用的大多数应用程序的基础。 Series是一个一维的类似的数组对象,包含一个数组的数据(任何NumPy的数据类型)和一个与数组关联的数据标签,被叫做索引 。最简单的Series是由一个数组的数据构成:

  1. In [1]:obj=Series([4,7,-5,3])
  2. In [2]:obj
  3. Out[2]:
  4. 0 4
  5. 1 7
  6. 2 -5
  7. 3 3

Series的交互式显示的字符串表示形式是索引在左边,值在右边。因为我们没有给数据指定索引,一个包含整数0N-1这里N是数据的长度)的默认索引被创建。你可以分别的通过它的valuesindex属性来获取 Series的数组表示和索引对象:

  1. In [3]: obj.values
  2. Out[3]:array([4,7,-5,3])
  3. In [4]: obj.index
  4. Out[4]:Int64Index([0,1,2,3])

通常,需要创建一个带有索引来确定每一个数据点的Series

  1. In [5]:obj2=Series([4,7,-5,3],index=['d','b','a','c'])
  2. In [6]:obj2
  3. Out[6]:
  4. d 4
  5. b 7
  6. a -5
  7. c 3

如果你有一些数据在一个Python字典中,你可以通过传递字典来从这些数据创建一个Series,只传递一个字典的时候,结果Series中的索引将是排序后的字典的键。

第一关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pddef create_series():'''返回值:series_a: 一个Series类型数据series_b: 一个Series类型数据dict_a:  一个字典类型数据'''# 请在此添加代码 完成本关任务# ********** Begin *********#series_a=Series([1,2,5,7],index=['nu','li','xue','xi'])dict_a={'ting':1,'shuo':2,'du':32,'xie':44}series_b=Series(dict_a)# ********** End **********## 返回series_a,dict_a,series_breturn series_a,dict_a,series_b

第二关:了解数据处理对象-DataFrame

编程要求

  • 创建一个五行三列的名为df1DataFrame数组,列名为 [states,years,pops],行名['one','two','three','four','five']

  • df1添加新列,列名为new_add,值为[7,4,5,8,2]

相关知识

DataFrame是一个表格型的数据结构,是以一个或多个二维块存放的数据表格(层次化索引),DataFrame既有行索引还有列索引,它有一组有序的列,每列既可以是不同类型(数值、字符串、布尔型)的数据,或者可以看做由Series组成的字典。 DataFrame创建:

  1. dictionary = {'state':['0hio','0hio','0hio','Nevada','Nevada'],
  2. 'year':[2000,2001,2002,2001,2002],
  3. 'pop':[1.5,1.7,3.6,2.4,2.9]}
  4. frame = DataFrame(dictionary)

修改行名:

  1. frame=DataFrame(dictionary,index=['one','two','three','four','five'])

添加修改:

  1. frame['add']=[0,0,0,0,0]

添加Series类型:

  1. value = Series([1,3,1,4,6,8],index = [0,1,2,3,4,5])
  2. frame['add1'] = value

第二关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pddef create_dataframe():'''返回值:df1: 一个DataFrame类型数据'''# 请在此添加代码 完成本关任务# ********** Begin *********#data={'states':['Ohio','Ohio','Ohio','Nevada','Nevada'],'years':[2000,2001,2002,2001,2002],'pops':[1.5,1.7,3.6,2.4,2.9]}df1=DataFrame(data,index=['one','two','three','four','five'])df1['new_add'] = [7,4,5,8,2]# ********** End **********##返回df1return df1

第三关:读取CSV格式数据

编程要求

  • test3/uk_rain_2014.csv中的数据导入到df1中;

  • 将列名修改为['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']

  • 计算df1的总行数并存储在length1中。

相关知识

在使用机器学习工具包对数据进行修改、探索和分析之前,我们必须先讲外部数据导入。使用Pandas导入数据比Numpy要容易。在这里我们将使用英国降雨数据,数据已下好并放在本实训的当前文件夹。

读取CSV

# Reading a csv into Pandas.

# 如果数据集中有中文的话,最好在里面加上 encoding = 'gbk' ,以避免乱码问题。后面的导出数据的时候也一样。

df = pd.read_csv('uk_rain_2014.csv', header=0)

这里我们从csv文件里导入了数据,并储存在DataFrame中。这一步非常简单,你只需要调用read_csv然后将文件的路径传进去就行了。header 关键字告诉Pandas哪些是数据的列名。如果没有列名的话就将它设定为 None。 数据导入pandas之后,我们该怎么查看数据呢?

查看前n行

  1. # Getting first x rows.
  2. df.head(5)

查看后n行

  1. # Getting last x rows.
  2. df.tail(5)

查看总行数

  1. # Finding out how many rows dataset has.
  2. len(df)

修改列名

我们通常使用列的名字来在Pandas中查找列。这一点很好而且易于使用,但是有时列名太长,我们需要缩短列名。

  1. # Changing column labels.
  2. df.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']

第三关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
def read_csv_data():'''返回值:df1: 一个DataFrame类型数据length1: 一个int类型数据'''# 请在此添加代码 完成本关任务# ********** Begin *********#df1=pd.read_csv('test3/uk_rain_2014.csv', header=0,encoding = 'gbk')df1.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']length1=len(df1)# ********** End **********##返回df1,length1return df1,length1

第四关:数据的基本操作——排序

编程要求

  • 对代码中s1进行按索引排序,并将结果存储到s2

  • 对代码中d1进行按值排序(indexf),并将结果存储到d2

相关知识

本关我们将学习处理SeriesDataFrame中的数据的基本手段,我们将会探讨Pandas最为重要的一些功能。

对索引进行排序

Seriessort_index()按索引排序,sort_values()按值排序; DataFrame也是用sort_index()sort_values()

  1. In[73]: obj = Series(range(4), index=['d','a','b','c'])
  2. In[74]: obj.sort_index()
  3. Out[74]:
  4. a 1
  5. b 2
  6. c 3
  7. d 0
  8. dtype: int64
  9. In[78]: frame = DataFrame(np.arange(8).reshape((2,4)),index=['three', 'one'],columns=['d','a','b','c'])
  10. In[79]: frame
  11. Out[79]:
  12. d a b c
  13. three 0 1 2 3
  14. one 4 5 6 7
  15. In[86]: frame.sort_index()
  16. Out[86]:
  17. d a b c
  18. one 4 5 6 7
  19. three 0 1 2 3

按行排序

  1. In[89]: frame.sort_index(axis=1, ascending=False)
  2. Out[89]:
  3. d c b a
  4. three 0 3 2 1
  5. one 4 7 6 5

按值排序

Series:

  1. In[92]: obj = Series([4, 7, -3, 2])
  2. In[94]: obj.sort_values()
  3. Out[94]:
  4. 2 -3
  5. 3 2
  6. 0 4
  7. 1 7
  8. dtype: int64

DataFrame:

  1. In[95]: frame = DataFrame({'b':[4, 7, -3, 2], 'a':[0, 1, 0, 1]})
  2. In[97]: frame.sort_values(by='b') #DataFrame必须传一个by参数表示要排序的列
  3. Out[97]:
  4. a b
  5. 2 0 -3
  6. 3 1 2
  7. 0 0 4
  8. 1 1 7

第四关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
def sort_gate():'''返回值:s2: 一个Series类型数据d2: 一个DataFrame类型数据'''# s1是Series类型数据,d1是DataFrame类型数据s1 = Series([4, 3, 7, 2, 8], index=['z', 'y', 'j', 'i', 'e'])d1 = DataFrame({'e': [4, 2, 6, 1], 'f': [0, 5, 4, 2]})# 请在此添加代码 完成本关任务# ********** Begin *********#s2=s1.sort_index()d2=d1.sort_values(by='f')# ********** End **********##返回s2,d2return s2,d2

第五关:数据的基本操作——删除

编程要求

  • s1中删除z行,并赋值到s2

  • d1中删除yy列,并赋值到d2

相关知识

删除指定轴上的项

即删除Series的元素或DataFrame的某一行(列)的意思,我们可以通过对象的drop(labels, axis=0)方法实现此功能。

删除Series的一个元素:

  1. In[11]: ser = Series([4.5,7.2,-5.3,3.6], index=['d','b','a','c'])
  2. In[13]: ser.drop('c')
  3. Out[13]:
  4. d 4.5
  5. b 7.2
  6. a -5.3
  7. dtype: float64

删除DataFrame的行或列:

  1. In[17]: df = DataFrame(np.arange(9).reshape(3,3), index=['a','c','d'], columns=['oh','te','ca'])
  2. In[18]: df
  3. Out[18]:
  4. oh te ca
  5. a 0 1 2
  6. c 3 4 5
  7. d 6 7 8
  8. In[19]: df.drop('a')
  9. Out[19]:
  10. oh te ca
  11. c 3 4 5
  12. d 6 7 8
  13. In[20]: df.drop(['oh','te'],axis=1)
  14. Out[20]:
  15. ca
  16. a 2
  17. c 5
  18. d 8

需要注意的是drop()返回的是一个新对象,原对象不会被改变。

第五关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import  pandas as pddef delete_data():'''返回值:s2: 一个Series类型数据d2: 一个DataFrame类型数据'''# s1是Series类型数据,d1是DataFrame类型数据s1 = Series([5, 2, 4, 1], index=['v', 'x', 'y', 'z'])d1=DataFrame(np.arange(9).reshape(3,3), columns=['xx','yy','zz'])# 请在此添加代码 完成本关任务# ********** Begin *********#s2=s1.drop('z')d2=d1.drop(['yy'],axis=1)# ********** End **********## 返回s2,d2return s2, d2

第六关:数据的基本操作——算术运算

编程要求

  • df1df2相加得到df3,并设置默认填充值为4

相关知识

算术运算(+,-,*,/)

DataFrame中的算术运算是df中对应位置的元素的算术运算,如果没有共同的元素,则用NaN代替。

  1. In[5]: df1 = DataFrame(np.arange(12.).reshape((3,4)),columns=list('abcd'))
  2. In[6]: df2 = DataFrame(np.arange(20.).reshape((4,5)),columns=list('abcde'))
  3. In[9]: df1+df2
  4. Out[9]:
  5. a b c d e
  6. 0 0 2 4 6 NaN
  7. 1 9 11 13 15 NaN
  8. 2 18 20 22 24 NaN
  9. 3 NaN NaN NaN NaN NaN

此外,如果我们想设置默认的其他填充值,而非NaN的话,可以传入填充值。

  1. In[11]: df1.add(df2, fill_value=0)
  2. Out[11]:
  3. a b c d e
  4. 0 0 2 4 6 4
  5. 1 9 11 13 15 9
  6. 2 18 20 22 24 14
  7. 3 15 16 17 18 19

第六关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import  pandas as pddef add_way():'''返回值:df3: 一个DataFrame类型数据'''# df1,df2是DataFrame类型数据df1 = DataFrame(np.arange(12.).reshape((3, 4)), columns=list('abcd'))df2 = DataFrame(np.arange(20.).reshape((4, 5)), columns=list('abcde'))# 请在此添加代码 完成本关任务# ********** Begin *********#df3=df1.add(df2,fill_value=4)# ********** End **********## 返回df3return df3

第七关:数据的基本操作——去重

编程要求

  • 去除df1中重复的行,并把结果保存到df2中。

相关知识

duplicated()

DataFrameduplicated方法返回一个布尔型Series,表示各行是否是重复行。具体用法如下:

  1. In[1]: df = DataFrame({'k1':['one']*3 + ['two']*4, 'k2':[1,1,2,3,3,4,4]})
  2. In[2]: df
  3. Out[2]:
  4. k1 k2
  5. 0 one 1
  6. 1 one 1
  7. 2 one 2
  8. 3 two 3
  9. 4 two 3
  10. 5 two 4
  11. 6 two 4
  12. In[3]: df.duplicated()
  13. Out[3]:
  14. 0 False
  15. 1 True
  16. 2 False
  17. 3 False
  18. 4 True
  19. 5 False
  20. 6 True
  21. dtype: bool

drop_duplicates()

drop_duplicates()用于去除重复的行数,具体用法如下:

  1. In[4]: df.drop_duplicates()
  2. Out[4]:
  3. k1 k2
  4. 0 one 1
  5. 2 one 2
  6. 3 two 3
  7. 5 two 4

第七关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pddef delete_duplicated():'''返回值:df2: 一个DataFrame类型数据'''# df1是DataFrame类型数据df1 = DataFrame({'k1': ['one'] * 3 + ['two'] * 4, 'k2': [1, 1, 2, 3, 3, 4, 4]})# 请在此添加代码 完成本关任务# ********** Begin *********#df2=df1.drop_duplicates()# ********** End **********## 返回df2return df2

第八关:层次化索引

编程要求

  • s1进行数据重塑,转化成DataFrame类型,并复制到d1

相关知识

层次化索引

层次化索引(hierarchical indexing)是pandas的一项重要功能,它使我们能在一个轴上拥有多个(两个以上)索引级别。请看以下例子:

  1. In[1]:data = Series(np.random.randn(10), index = [['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd' ],[1,2,3,1,2,3,1,2,2,3]])
  2. In[2]:data
  3. Out[2]:
  4. a 1 0.169239
  5. 2 0.689271
  6. 3 0.879309
  7. b 1 -0.699176
  8. 2 0.260446
  9. 3 -0.321751
  10. c 1 0.893105
  11. 2 0.757505
  12. d 2 -1.223344
  13. 3 -0.802812
  14. dtype: float64

索引方式

  1. In[3]:data['b':'d']
  2. Out[3]:
  3. b 1 -0.699176
  4. 2 0.260446
  5. 3 -0.321751
  6. c 1 0.893105
  7. 2 0.757505
  8. d 2 -1.223344
  9. 3 -0.802812
  10. dtype: float64

内层选取

  1. In[4]:data[:, 2]
  2. Out[4]:
  3. a 0.689271
  4. b 0.260446
  5. c 0.757505
  6. d -1.223344
  7. dtype: float64

数据重塑

Series转化成DataFrame:

  1. in[5]:data.unstack()
  2. Out[5]:
  3. 1 2 3
  4. a 0.169239 0.689271 0.879309
  5. b -0.699176 0.260446 -0.321751
  6. c 0.893105 0.757505 NaN
  7. d NaN -1.223344 -0.802812

第八关答案

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
import numpy as np
def suoying():'''返回值:d1: 一个DataFrame类型数据'''#s1是Series类型数据s1=Series(np.random.randn(10),index=[['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd'], [1, 2, 3, 1, 2, 3, 1, 2, 2, 3]])# 请在此添加代码 完成本关任务# ********** Begin *********#d1=s1.unstack()# ********** End **********## 返回d1return d1suoying()

数据采集习题参考答案,会持续更新,点个关注防丢失。

创作不易,一键三连给博主一个支持呗。

数据采集与清洗基础习题(四)Pandas初体验,头歌参考答案相关推荐

  1. Pandas初体验——头歌平台答案

    第1关 了解数据处理对象--Series # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd ...

  2. 两万字详细爬虫知识储备,数据采集与清洗基础习题(一)头歌参考答案

    数据采集习题参考答案,会持续更新,点个关注防丢失.为了方便寻找,按照头歌的门类从新整理了实训的分类,朋友们记得看标题哦,按标题寻找! 该篇为爬虫知识储备! 文章目录 实训一:HTML基础 第一关:初识 ...

  3. 数据采集与清洗基础习题(二)Python爬虫常用模块,头歌参考答案

    数据采集习题参考答案,会持续更新,点个关注防丢失.为了方便查找,已按照头歌重新排版,朋友们按照头歌所属门类查找实训哦,该篇为Python爬虫常用模块. 创作不易,一键三连给博主一个支持呗. 文章目录 ...

  4. Python学习笔记:pandas初体验

    Python学习笔记:pandas初体验 一.安装pandas模块 1.安装Python3.7 注意:必须勾选pip(python install package). 2.配置环境变量 3.下载 pa ...

  5. python初体验-hello world答案_Python基础学习之Python初体验

    一.前期准备对于python的学习,首先的有一个硬件电脑,软件python的运行环境.说了一句废话,对于很多初学者而言,安装运行环 境配置环境变量的什么的各种头疼,常常在第一步就被卡死了,对于pyth ...

  6. python内置函数用来打开或创建文件_2020年《python程序设计》基础知识及程序设计598题XS[含参考答案]...

    2020年<python程序设计>基础知识及程序设计 598题[含参考答案] 一.填空题 1.表达式 len('中国'.encode('utf-8')) 的值为___________.(6 ...

  7. aic准则python_2020年《python程序设计》基础知识及程序设计598题AIC[含参考答案]

    2020 年< python 程序设计>基础知识及程序设计 598 题 [ 含参考答案 ] 一.填空题 1 . 表达式 len('abcdefg'.ljust(3)) 的值为 ______ ...

  8. python数列求和1+11+111前n项_2020年《python程序设计》基础知识及程序设计598题IQ[含参考答案]...

    2020年<python程序设计>基础知识及程序设计 598题[含参考答案] 一.填空题 1.表达式 len('abc'.ljust(20)) 的值为______________.(20) ...

  9. python中、不论类的名字是什么、构造方法的名字都是( )_2020年《python程序设计》基础知识及程序设计598题GA[含参考答案]...

    2020年<python程序设计>基础知识及程序设计 598题[含参考答案] 一.填空题 1.表达式 len('abcdefg'.ljust(3)) 的值为_________.(7) 2. ...

  10. Java基础学习之hibernate初体验

    Hibernate 简介 : 简介: Hibernate 是由 Gavin King 于 2001 年创建的开放源代码的对象关系框架.它强大且高效的构建具有关系对象持久性和查询服务的 Java 应用程 ...

最新文章

  1. Django 缓存6.2
  2. 【Python基础】python必会的10个知识点
  3. YbtOJ-毒瘤染色【LCT】
  4. 基于S2SH的电子商务网站系统性能优化
  5. ES6 import export
  6. Struts2之HttpServletRequest、HttpServletResponse,HttpSession,Parameters处理
  7. OpenCV的第一个小程序:读取图像并显示
  8. 【2019杭电多校第五场1007=HDU6630】permutation 2(打表找规律+分情况讨论)
  9. 模拟器计算机内存不足,网易mumu模拟器
  10. 怎么测试电脑的机械硬盘或SSD固态硬盘的读写速度?
  11. 找不到罗技鼠标键盘的接收器头:重新连接配对“对码”教程
  12. android 上运行python脚本,Android上执行python脚本-QPython
  13. 算法笔记002_我读《The Emperor’s New Mind》
  14. 自建CA然后颁发证书给搭建的httpd用
  15. 派对屋3000效果器怎样调试_音响效果器的调试和使用技巧
  16. 模数转换器ADC的常用术语和主要技术s指标(完)
  17. 钢条切割(记忆型递归)dp
  18. 许啸宇:从内部研发到开源开发之路|OneFlow U
  19. 性能诊断定位之内存问题排查(一):监控年轻代、年老代、元数据空间变化情况
  20. Ubuntu系统下解决中文显示异常问题

热门文章

  1. 不用找,你想要的餐饮酒店word模板素材都在这里
  2. python语法详解大全_Python语法大全
  3. Git学习笔记之廖雪峰Git教程
  4. 语言学句法分析树形图怎么画_哇,好大一棵树! 如何优雅地画句法树形图 丨语言学午餐...
  5. win8.1安装马上6,连不上
  6. 手机写代码 termux
  7. 【第七课】Smart 3D集群教程
  8. word宏加密的破解
  9. 【麦子学院 彭亮 机器学习】3.2决策树应用(准备篇)
  10. 考研高等数学张宇30讲笔记——第六讲 中值定理