一、长宽表的变形

什么是长表?什么是宽表?这个概念是对于某一个特征而言的。

pd.DataFrame({'Gender': ['F','F','M','M'],'Height':[163, 160, 175, 180]})Gender  Height
0   F   163
1   F   160
2   M   175
3   M   180
pd.DataFrame({'Height: F':[163, 160],'Height: M':[175, 180]})Height: F   Height: M
0   163         175
1   160         180

1. pivot

pivot 是一种典型的长表变宽表的函数

df = pd.DataFrame({'Class':[1,1,2,2],'Name':['San Zhang','San Zhang','Si Li','Si Li'],'Subject':['Chinese','Math','Chinese','Math'],'Grade':[80,75,90,85]})
dfClass  Name        Subject Grade
0   1       San Zhang   Chinese 80
1   1       San Zhang   Math    75
2   2       Si Li       Chinese 90
3   2       Si Li       Math    85
# 现在想要把语文和数学分数作为列来展示
df.pivot(index = 'Name', columns = 'Subject', values = 'Grade')Subject     Chinese Math
Name
San Zhang   80      75
Si Li       90      85

对于一个基本的长变宽的操作而言,最重要的有三个要素,分别是变形后的行索引、需要转到列索引的列,以及这些列和行索引对应的数值,它们分别对应了 pivot 方法中的 index, columns, values 参数。新生成表的列索引是 columns 对应列的 unique 值,而新表的行索引是 index 对应列的 unique 值,而 values 对应了想要展示的数值列。

利用 pivot 进行变形操作需要满足唯一性的要求,即由于在新表中的行列索引对应了唯一的 value ,因此原表中的 index 和 columns 对应两个列的行组合必须唯一。

df.loc[1, 'Subject'] = 'Chinese'
dfClass Name        Subject Grade
0   1       San Zhang   Chinese 80
1   1       San Zhang   Chinese 75
2   2       Si Li       Chinese 90
3   2       Si Li       Math    85
df.pivot(index='Name', columns='Subject', values='Grade')
>>> ValueError: Index contains duplicate entries, cannot reshape

pandas 从 1.1.0 开始, pivot 相关的三个参数允许被设置为列表,这也意味着会返回多级索引。

df = pd.DataFrame({'Class':[1, 1, 2, 2, 1, 1, 2, 2],'Name':['San Zhang', 'San Zhang', 'Si Li', 'Si Li', 'San Zhang', 'San Zhang', 'Si Li', 'Si Li'],'Examination': ['Mid', 'Final', 'Mid', 'Final', 'Mid', 'Final', 'Mid', 'Final'],'Subject':['Chinese', 'Chinese', 'Chinese', 'Chinese', 'Math', 'Math', 'Math', 'Math'],'Grade':[80, 75, 85, 65, 90, 85, 92, 88],'rank':[10, 15, 21, 15, 20, 7, 6, 2]})
dfClass  Name        Examination Subject Grade   rank
0   1       San Zhang   Mid         Chinese 80      10
1   1       San Zhang   Final       Chinese 75      15
2   2       Si Li       Mid         Chinese 85      21
3   2       Si Li       Final       Chinese 65      15
4   1       San Zhang   Mid         Math    90      20
5   1       San Zhang   Final       Math    85      7
6   2       Si Li       Mid         Math    92      6
7   2       Si Li       Final       Math    88      2
# 现在想要把测试类型和科目联合组成的四个类别(期中语文、期末语文、期中数学、期末数学)转到列索引,并且同时统计成绩和排名
pivot_multi = df.pivot(index = ['Class', 'Name'],columns = ['Subject', 'Examination'],values = ['Grade', 'rank'])
pivot_multiGrade                 rankSubject     Chinese     Math        Chinese     MathExamination Mid Final   Mid Final   Mid Final   Mid Final
Class   Name
1       San Zhang   80  75      90  85      10  15      20  7
2       Si Li       85  65      92  88      21  15      6   2

根据唯一性原则,新表的行索引等价于对 index 中的多列使用 drop_duplicates ,而列索引的长度为 values 中的元素个数乘以 columns 的唯一组合数量(与 index 类似) 。

2. pivot_table

pivot 的使用依赖于唯一性条件,那如果不满足唯一性条件,那么必须通过聚合操作使得相同行列组合对应的多个值变为一个值。

df = pd.DataFrame({'Name':['San Zhang', 'San Zhang', 'San Zhang', 'San Zhang', 'Si Li', 'Si Li', 'Si Li', 'Si Li'],'Subject':['Chinese', 'Chinese', 'Math', 'Math', 'Chinese', 'Chinese', 'Math', 'Math'],'Grade':[80, 90, 100, 90, 70, 80, 85, 95]})
dfName       Subject Grade
0   San Zhang   Chinese 80
1   San Zhang   Chinese 90
2   San Zhang   Math    100
3   San Zhang   Math    90
4   Si Li       Chinese 70
5   Si Li       Chinese 80
6   Si Li       Math    85
7   Si Li       Math    95

pandas 中提供了pivot_table 来实现,其中的 aggfunc参数就是使用的聚合函数。

df.pivot_table(index = 'Name',columns = 'Subject',values = 'Grade',aggfunc = 'mean')Subject      Chinese Math
Name
San Zhang   85      95
Si Li       75      90

这里传入 aggfunc 包含了上一章中介绍的所有合法聚合字符串,此外还可以传入以序列为输入标量为输出的聚合函数来实现自定义操作。

df.pivot_table(index = 'Name',columns = 'Subject',values = 'Grade',aggfunc = lambda x: x.mean())Subject        Chinese Math
Name
San Zhang   85      95
Si Li       75      90

此外, pivot_table 具有边际汇总的功能,可以通过设置 margins=True 来实现,其中边际的聚合方式与 aggfunc 中给出的聚合方法一致。

df.pivot_table(index = 'Name',columns = 'Subject',values = 'Grade',aggfunc = 'mean',margins = True)Subject      Chinese Math    All
Name
San Zhang   85      95.0    90.00
Si Li       75      90.0    82.50
All         80      92.5    86.25

3. melt

melt 函数是一种典型的宽表变长表的函数,参数为pandas.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)

参数解释:

  • frame:要处理的数据集。
  • id_vars:不需要被转换的列名。
  • value_vars:需要转换的列名,如果剩下的列全部都要转换,就不用写了。
  • var_name和value_name是自定义设置对应的列名。
  • col_level :如果列是MultiIndex,则使用此级别。
df = pd.DataFrame({'Class':[1,2],'Name':['San Zhang', 'Si Li'],'Chinese':[80, 90],'Math':[80, 75]})dfClass  Name        Chinese Math
0   1       San Zhang   80      80
1   2       Si Li       90      75
df_melted = df.melt(id_vars = ['Class', 'Name'],value_vars = ['Chinese', 'Math'],var_name = 'Subject',value_name = 'Grade')df_meltedClass   Name        Subject Grade
0   1       San Zhang   Chinese 80
1   2       Si Li       Chinese 90
2   1       San Zhang   Math    80
3   2       Si Li       Math    75

前面提到了 meltpivot 是一组互逆过程,那么就一定可以通过 pivot 操作把 df_melted 转回 df 的形式

df_unmelted = df_melted.pivot(index = ['Class', 'Name'],columns='Subject',values='Grade')df_unmeltedSubject          Chinese Math
Class   Name
1       San Zhang   80      80
2       Si Li       90      75
# 恢复索引,并且重命名列索引名称
df_unmelted = df_unmelted.reset_index().rename_axis(columns={'Subject':''})df_unmeltedClass   Name        Chinese Math
0   1       San Zhang   80      80
1   2       Si Li       90      75

4. wide_to_long

melt方法中,在列索引中被压缩的一组值对应的列元素只能代表同一层次的含义,即values_name 。现在如果列中包含了交叉类别,比如期中期末的类别和语文数学的类别,那么想要把 values_name 对应的 Grade 扩充为两列分别对应语文分数和数学分数,只把期中期末的信息压缩,这种需求下就要使用 wide_to_long 函数来完成。

df = pd.DataFrame({'Class':[1,2],'Name':['San Zhang', 'Si Li'],'Chinese_Mid':[80, 75],'Math_Mid':[90, 85],'Chinese_Final':[80, 75],'Math_Final':[90, 85]})dfClass   Name        Chinese_Mid Math_Mid    Chinese_Final   Math_Final
0   1       San Zhang   80          90          80              90
1   2       Si Li       75          85          75              85

pd.wide_to_long(df,stubnames, i, j, sep, suffix)

参数解释:

  • stubnames:提取以指定字符串开头的列
  • i:用作索引的列
  • j:提取开头后剩余的部分会成一列,在此指定列名
  • sep:分隔符
  • suffix:捕获正则表达式匹配的后缀
pd.wide_to_long(df,stubnames = ['Chinese', 'Math'],i = ['Class', 'Name'],j = 'Examination',sep = '_',suffix = '.+')Chinese   Math
Class   Name        Examination
1       San Zhang   Mid         80      90Final     80      90
2       Si Li       Mid         75      85Final     75      85

把之前在 pivot 一节中多列操作的结果(产生了多级索引),利用 wide_to_long 函数,将其转为原来的形态。

res = pivot_multi.copy()
resGrade                    rankSubject     Chinese     Math        Chinese     MathExamination Mid Final   Mid Final   Mid Final   Mid Final
Class   Name
1       San Zhang   80  75      90  85      10  15      20  7
2       Si Li       85  65      92  88      21  15      6   2
res.columns = res.columns.map(lambda x:'_'.join(x))
res.columns
>>> Index(['Grade_Chinese_Mid', 'Grade_Chinese_Final', 'Grade_Math_Mid','Grade_Math_Final', 'rank_Chinese_Mid', 'rank_Chinese_Final','rank_Math_Mid', 'rank_Math_Final'],dtype='object')
res = res.reset_index()
resClass    Name        Grade_Chinese_Mid   Grade_Chinese_Final Grade_Math_Mid  Grade_Math_Final    rank_Chinese_Mid    rank_Chinese_Final  rank_Math_Mid   rank_Math_Final
0   1       San Zhang   80                  75                  90              85                  10                  15                  20              7
1   2       Si Li       85                  65                  92              88                  21                  15                  6               2
res = pd.wide_to_long(res, stubnames=['Grade', 'rank'],i = ['Class', 'Name'],j = 'Subject_Examination',sep = '_',suffix = '.+')
resGrade    rank
Class   Name        Subject_Examination
1       San Zhang   Chinese_Mid         80      10Chinese_Final     75      15Math_Mid          90      20Math_Final            85      7
2       Si Li       Chinese_Mid         85      21Chinese_Final     65      15Math_Mid          92      6Math_Final         88      2
res = res.reset_index()
resClass    Name        Subject_Examination Grade   rank
0   1       San Zhang   Chinese_Mid         80      10
1   1       San Zhang   Chinese_Final       75      15
2   1       San Zhang   Math_Mid            90      20
3   1       San Zhang   Math_Final          85      7
4   2       Si Li       Chinese_Mid         85      21
5   2       Si Li       Chinese_Final       65      15
6   2       Si Li       Math_Mid            92      6
7   2       Si Li       Math_Final          88      2
res[['Subject', 'Examination']] = res['Subject_Examination'].str.split('_', expand=True)
res = res[['Class', 'Name', 'Examination', 'Subject', 'Grade', 'rank']].sort_values('Subject')
resClass    Name        Examination Subject Grade   rank
0   1       San Zhang   Mid         Chinese 80      10
1   1       San Zhang   Final       Chinese 75      15
4   2       Si Li       Mid         Chinese 85      21
5   2       Si Li       Final       Chinese 65      15
2   1       San Zhang   Mid         Math    90      20
3   1       San Zhang   Final       Math    85      7
6   2       Si Li       Mid         Math    92      6
7   2       Si Li       Final       Math    88      2
res = res.reset_index(drop=True)
resClass    Name        Examination Subject Grade   rank
0   1       San Zhang   Mid         Chinese 80      10
1   1       San Zhang   Final       Chinese 75      15
2   2       Si Li       Mid         Chinese 85      21
3   2       Si Li       Final       Chinese 65      15
4   1       San Zhang   Mid         Math    90      20
5   1       San Zhang   Final       Math    85      7
6   2       Si Li       Mid         Math    92      6
7   2       Si Li       Final       Math    88      2

二、索引的变形

1. stack与unstack

在第二章中提到了利用 swaplevel 或者 reorder_levels 进行索引内部的层交换,下面就要讨论 行列索引之间 的交换,由于这种交换带来了 DataFrame 维度上的变化,因此属于变形操作。

unstack 函数的作用是把行索引转为列索引

df = pd.DataFrame(np.ones((4,2)),index = pd.Index([('A', 'cat', 'big'), ('A', 'dog', 'small'), ('B', 'cat', 'big'), ('B', 'dog', 'small')]),columns=['col_1', 'col_2'])dfcol_1    col_2
A   cat big     1.0     1.0dog  small   1.0     1.0
B   cat big     1.0     1.0dog  small   1.0     1.0
df.unstack()col_1        col_2big    small   big small
A   cat 1.0 NaN     1.0 NaNdog  NaN 1.0     NaN 1.0
B   cat 1.0 NaN     1.0 NaNdog  NaN 1.0     NaN 1.0

unstack 的主要参数是移动的层号,默认转化最内层,移动到列索引的最内层,同时支持同时转化多个层:

df.unstack(2)col_1       col_2big    small   big small
A   cat 1.0 NaN     1.0 NaNdog  NaN 1.0     NaN 1.0
B   cat 1.0 NaN     1.0 NaNdog  NaN 1.0     NaN 1.0
df.unstack([0,2])col_1                   col_2A          B           A           Bbig    small   big small   big small   big small
cat 1.0 NaN     1.0 NaN     1.0 NaN     1.0 NaN
dog NaN 1.0     NaN 1.0     NaN 1.0     NaN 1.0
df.unstack([1,2])col_1       col_2cat    dog     cat dogbig  small   big small
A   1.0 1.0     1.0 1.0
B   1.0 1.0     1.0 1.0

类似于 pivot 中的唯一性要求,在 unstack 中必须保证 被转为列索引的行索引层被保留的行索引层 构成的组合是唯一的。

my_index = df.index.to_list()
my_index[('A', 'cat', 'big'),('A', 'dog', 'small'),('B', 'cat', 'big'),('B', 'dog', 'small')]
my_index[1] = my_index[0]
df.index = pd.Index(my_index)
dfcol_1 col_2
A   cat big     1.0     1.0big      1.0     1.0
B   cat big     1.0     1.0dog  small   1.0     1.0
df.unstack()
>>> ValueError: Index contains duplicate entries, cannot reshape

unstack 相反, stack 的作用就是把列索引的层压入行索引,其用法完全类似。

df = pd.DataFrame(np.ones((4,2)),index = pd.Index([('A', 'cat', 'big'), ('A', 'dog', 'small'), ('B', 'cat', 'big'), ('B', 'dog', 'small')]),columns=['index_1', 'index_2']).TdfA          Bcat    dog     cat dogbig  small   big small
index_1 1.0 1.0     1.0 1.0
index_2 1.0 1.0     1.0 1.0
df.stack()A      Bcat    dog cat dog
index_1 big     1.0 NaN 1.0 NaNsmall    NaN 1.0 NaN 1.0
index_2 big     1.0 NaN 1.0 NaNsmall    NaN 1.0 NaN 1.0
df.stack([1, 2])A    B
index_1 cat big     1.0 1.0dog  small   1.0 1.0
index_2 cat big     1.0 1.0dog  small   1.0 1.0

2. 聚合与变形的关系

在上面介绍的所有函数中,除了带有聚合效果的 pivot_table 以外,所有的函数在变形前后并不会带来 values 个数的改变,只是这些值在呈现的形式上发生了变化。聚合之后把原来的多个值变为了一个值,因此 values 的个数产生了变化,这也是分组聚合与变形函数的最大区别(value个数的改变)。

三、其他变形函数

1. crosstab

crosstab 并不是一个值得推荐使用的函数,因为它能实现的所有功能 pivot_table 都能完成,并且速度更快。在默认状态下, crosstab 可以统计元素组合出现的频数,即 count 操作。

pd.crosstab(index = df.School, columns = df.Transfer)Transfer                      N   Y
School
Fudan University                38  1
Peking University               28  2
Shanghai Jiao Tong University   53  0
Tsinghua University             62  4
pd.crosstab(index = df.School,columns = df.Transfer,values = [0]*df.shape[0],aggfunc = 'count')Transfer                        N       Y
School
Fudan University                38.0    1.0
Peking University               28.0    2.0
Shanghai Jiao Tong University   53.0    NaN
Tsinghua University             62.0    4.0
# 可以利用 pivot_table 进行等价操作
df.pivot_table(index = 'School',columns = 'Transfer',values = 'Name',aggfunc = 'count')Transfer                     N       Y
School
Fudan University                38.0    1.0
Peking University               28.0    2.0
Shanghai Jiao Tong University   53.0    NaN
Tsinghua University             62.0    4.0

从上面可以看出这两个函数的区别在于, crosstab 的对应位置传入的是具体的序列,而 pivot_table 传入的是被调用表对应的名字,若传入序列对应的值则会报错。

除了默认状态下的 count 统计,所有的聚合字符串和返回标量的自定义函数都是可用的。

pd.crosstab(index = df.School, columns = df.Transfer,values = df.Height, aggfunc = 'mean')Transfer                     N           Y
School
Fudan University                162.043750  177.20
Peking University               163.429630  162.40
Shanghai Jiao Tong University   163.953846  NaN
Tsinghua University             163.253571  164.55

2. explode

explode 参数能够对某一列的元素进行纵向的展开,被展开的单元格必须存储 list, tuple, Series, np.ndarray 中的一种类型。

df_ex = pd.DataFrame({'A': [[1, 2], 'my_str', {1, 2}, pd.Series([3, 4])],'B': 1})df_exA                       B
0   [1, 2]                  1
1   my_str                  1
2   {1, 2}                  1
3   0 3 1 4 dtype: int64    1
df_ex.explode('A')A        B
0   1       1
0   2       1
1   my_str  1
2   {1, 2}  1
3   3       1
3   4       1

3. get_dummies

get_dummies 是用于特征构建的重要函数之一,其作用是把类别特征转为指示变量。

pd.get_dummies(df.Grade).head()Freshman  Junior  Senior  Sophomore
0   1           0       0       0
1   1           0       0       0
2   0           0       1       0
3   0           0       0       1
4   0           0       0       1

四、练一练

练一练1

在上面的边际汇总例子中,行或列的汇总为新表中行元素或者列元素的平均值,而总体的汇总为新表中四个元素的平均值。这种关系一定成立吗?若不成立,请给出一个例子来说明。

不成立,行列汇总后的平均数是总成绩/总科目数,与新表中的汇总数无关,比如张三新加一行语文成绩,行汇总的平均数为(80+90+70+100+90)/5=86,但是不等于行元素的平均值:(80+95)/2=87.5

df = pd.DataFrame({'Name':['San Zhang', 'San Zhang', 'San Zhang', 'San Zhang', 'San Zhang', 'Si Li', 'Si Li', 'Si Li', 'Si Li'],'Subject':['Chinese', 'Chinese', 'Chinese', 'Math', 'Math', 'Chinese', 'Chinese', 'Math', 'Math'],'Grade':[80, 90, 70, 100, 90, 70, 80, 85, 95]})
dfName       Subject Grade
0   San Zhang   Chinese 80
1   San Zhang   Chinese 90
2   San Zhang   Chinese 70
3   San Zhang   Math    100
4   San Zhang   Math    90
5   Si Li       Chinese 70
6   Si Li       Chinese 80
7   Si Li       Math    85
8   Si Li       Math    95
df.pivot_table(index = 'Name',columns = 'Subject',values = 'Grade',aggfunc='mean',margins=True)Subject      Chinese Math    All
Name
San Zhang   80      95.0    86.000000
Si Li       75      90.0    82.500000
All         78      92.5    84.444444

练一练2

前面提到了 crosstab 的性能劣于 pivot_table ,请选用多个聚合方法进行验证。

运行上面两段代码,crosstab运行时间为26ms,同样形式pivot_table运行时间为16ms。

%time pd.crosstab(index = df.School, columns = df.Transfer, values = [0]*df.shape[0], aggfunc = 'count')Wall time: 26 ms
Transfer                        N       Y
School
Fudan University                38.0    1.0
Peking University               28.0    2.0
Shanghai Jiao Tong University   53.0    NaN
Tsinghua University             62.0    4.0
%time df.pivot_table(index = 'School', columns = 'Transfer', values = 'Name', aggfunc = 'count')Wall time: 16 ms
Transfer                        N       Y
School
Fudan University                38.0    1.0
Peking University               28.0    2.0
Shanghai Jiao Tong University   53.0    NaN
Tsinghua University             62.0    4.0

五、课后练习

Ex1:美国非法药物数据集

现有一份关于美国非法药物的数据集,其中 SubstanceName, DrugReports 分别指药物名称和报告数量:

  1. 将数据转为如下的形式:
df_pivot = df.pivot_table(index = ['State', 'COUNTY', 'SubstanceName'],columns = 'YYYY',values = 'DrugReports',aggfunc = 'sum')
res = df_pivot.reset_index().rename_axis(columns={'YYYY' : ''})
res.head()State COUNTY  SubstanceName   2010    2011    2012    2013    2014    2015    2016    2017
0   KY      ADAIR   Buprenorphine   NaN     3.0     5.0     4.0     27.0    5.0     7.0     10.0
1   KY      ADAIR   Codeine         NaN     NaN     1.0     NaN     NaN     NaN     NaN     1.0
2   KY      ADAIR   Fentanyl        NaN     NaN     1.0     NaN     NaN     NaN     NaN     NaN
3   KY      ADAIR   Heroin          NaN     NaN     1.0     2.0     NaN     1.0     NaN     2.0
4   KY      ADAIR   Hydrocodone     6.0     9.0     10.0    10.0    9.0     7.0     11.0    3.0
  1. 将第1问中的结果恢复为原表。
res2 = res.copy()
df2 = res2.melt(id_vars = ['State', 'COUNTY', 'SubstanceName'],var_name = 'YYYY',value_name = 'DrugReports')
df3 = df2.dropna(subset = ['DrugReports'])
df3.head()State COUNTY  SubstanceName   YYYY    DrugReports
4   KY      ADAIR   Hydrocodone     2010    6.0
6   KY      ADAIR   Methadone       2010    1.0
13  KY      ALLEN   Hydrocodone     2010    10.0
15  KY      ALLEN   Methadone       2010    4.0
17  KY      ALLEN   Oxycodone       2010    15.0
df_new = df3.sort_values(['State','COUNTY','SubstanceName'],ignore_index=True)
df_new.head()State  COUNTY  SubstanceName   YYYY    DrugReports
0   KY      ADAIR   Buprenorphine   2011    3.0
1   KY      ADAIR   Buprenorphine   2012    5.0
2   KY      ADAIR   Buprenorphine   2013    4.0
3   KY      ADAIR   Buprenorphine   2014    27.0
4   KY      ADAIR   Buprenorphine   2015    5.0
  1. 按 State 分别统计每年的报告数量总和,其中 State, YYYY 分别为列索引和行索引,要求分别使用 pivot_table 函数与 groupby+unstack 两种不同的策略实现,并体会它们之间的联系。
df_pt = df.pivot_table(index='YYYY', columns='State', values='DrugReports', aggfunc='sum')
df_ptState  KY      OH      PA      VA      WV
YYYY
2010    10453   19707   19814   8685    2890
2011    10289   20330   19987   6749    3271
2012    10722   23145   19959   7831    3376
2013    11148   26846   20409   11675   4046
2014    11081   30860   24904   9037    3280
2015    9865    37127   25651   8810    2571
2016    9093    42470   26164   10195   2548
2017    9394    46104   27894   10448   1614
df_gb = df.groupby(['YYYY', 'State'])['DrugReports'].sum().unstack()
df_gbState  KY      OH      PA      VA      WV
YYYY
2010    10453   19707   19814   8685    2890
2011    10289   20330   19987   6749    3271
2012    10722   23145   19959   7831    3376
2013    11148   26846   20409   11675   4046
2014    11081   30860   24904   9037    3280
2015    9865    37127   25651   8810    2571
2016    9093    42470   26164   10195   2548
2017    9394    46104   27894   10448   1614

Ex2:特殊的wide_to_long方法

从功能上看, melt 方法应当属于 wide_to_long 的一种特殊情况,即 stubnames 只有一类。请使用
wide_to_long 生成 melt 一节中的 df_melted 。(提示:对列名增加适当的前缀)

df_melted = df.melt(id_vars = ['Class', 'Name'],value_vars = ['Chinese', 'Math'],var_name = 'Subject',value_name = 'Grade')
df_meltedClass  Name        Subject Grade
0   1       San Zhang   Chinese 80
1   2       Si Li       Chinese 90
2   1       San Zhang   Math    80
3   2       Si Li       Math    75
df = df.rename(columns={'Chinese':'ex_Chinese','Math':'ex_Math'})
df_wl = pd.wide_to_long(df,stubnames='ex',i = ['Class', 'Name'],j = 'Subject',sep='_',suffix='.+')
df_wide = df_wl.reset_index().rename(columns = {'ex':'Grade'})
df_wideClass    Name        Subject Grade
0   1       San Zhang   Chinese 80
1   1       San Zhang   Math    80
2   2       Si Li       Chinese 90
3   2       Si Li       Math    75

参考文档

  1. https://blog.csdn.net/maymay_/article/details/80039677
  2. https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch5.html

编程实践(Pandas)Task05相关推荐

  1. python 3d大数据可视化_Python大数据可视化编程实践-绘制图表

    Python 数据可视化编程实践 - 绘制图表 准备工作 打开 Jupyter Notebook ,导入需要的包, 并配置好图片交互和中文显示环 境: import pandas as pd impo ...

  2. 【Spark】实验6 Spark机器学习库MLlib编程实践

    Spark机器学习库MLlib编程实践 一.实验目的 通过实验掌握基本的MLLib编程方法: 掌握用MLLib解决一些常见的数据分析问题,包括数据导入.成分分析和分类和预测等. 二.实验平台 新工科智 ...

  3. 【组队学习】【29期】1. 编程实践(数据可视化)

    1. 编程实践(数据可视化) 航路开辟者:杨剑砺.杨煜.耿远昊.李运佳.居凤霞 领航员:范佳慧 航海士:杨剑砺.伊雪.肖桐.李晴晴.蔡婧旎 基本信息 开源内容:https://github.com/d ...

  4. 【组队学习】【26期】编程实践(Python办公自动化)

    编程实践(Python办公自动化) 论坛版块: http://datawhale.club/c/team-learning/29-category/29 开源内容: https://github.co ...

  5. 【组队学习】【26期】编程实践(Django网站开发)

    编程实践(Django网站开发) 论坛版块: http://datawhale.club/c/team-learning/28-category/28 开源内容: https://github.com ...

  6. 【组队学习】【23期】Datawhale编程实践(区块链)

    编程实践(区块链) 开源内容:https://github.com/datawhalechina/team-learning-program/tree/master/Blockchain 基本信息 贡 ...

  7. [Java 并发] Java并发编程实践 思维导图 - 第一章 简单介绍

    阅读<Java并发编程实践>一书后整理的思维导图.

  8. 《Java并发编程实践》学习笔记之一:基础知识

    <Java并发编程实践>学习笔记之一:基础知识 1.程序与进程 1.1 程序与进程的概念 (1)程序:一组有序的静态指令,是一种静态概念:  (2)进程:是一种活动,它是由一个动作序列组成 ...

  9. 郑捷《机器学习算法原理与编程实践》学习笔记(第七章 预测技术与哲学)7.1 线性系统的预测...

    7.1.1 回归与现代预测 7.1.2 最小二乘法 7.1.3 代码实现 (1)导入数据 def loadDataSet(self,filename): #加载数据集X = [];Y = []fr = ...

  10. 《深入理解大数据:大数据处理与编程实践》一一3.3 HDFS文件存储组织与读写...

    本节书摘来自华章计算机<深入理解大数据:大数据处理与编程实践>一书中的第3章,第3.3节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区&quo ...

最新文章

  1. Python 初学者常犯的5个错误,布尔型竟是整型的子类
  2. R语言deLong‘s test:通过统计学的角度来比较两个ROC曲线、检验两个ROC曲线的差异是否具有统计显著性
  3. qregexp限制数字范围_计算一列数字的平均值
  4. python多线程--theading模块
  5. 使用 Elasticsearch 优雅搭建自己的搜索系统
  6. 前端学习(2138):前端工程化
  7. 【youcans 的 OpenCV 例程200篇】144. 基于灰度形态学的纹理分割
  8. 2017.5.10 华容道 失败总结
  9. java在线支付---06,07,08_在线支付_编写将数据提交给易宝支付的JSP页面,集成和测试向易宝发送支付请求,实现浏览器自动向易宝发送支付请求
  10. SpringMVC4 + Spring + MyBatis3 【转】
  11. 【网赚工具】语音转文字神器,无需安装就能使用,支持长语音识别
  12. Gstreamer应用g_signal_new/g_signal_connect/g_signal_emit总结(十二)
  13. WPF界面设计中常用的一些代码片段及属性
  14. 如何编写PMP项目管理中的项目立项书
  15. PDF417二维条码详解
  16. 计算机专业数学建模结课论文,大学生数学建模论文范文
  17. 粒子群算法求解二元函数极值-附带800字程序说明
  18. python程序设计基础教程答案山东联盟答案_知到Python程序设计基础(山东联盟)测试答案-查询...
  19. 用python做一张图片_用 Python 生成一张有“内涵”的图片
  20. 领导看了会炸毛的溢出理论

热门文章

  1. Pycharm一直卡在Uploading PyCharm helpers
  2. Python篇之编译py文件为pyc文件的方法总结
  3. Linux CFS调度器分析
  4. 计算机二级自学考试,关于全国计算机等级考试(NCRE)与高等教育自学考试课程衔接的通知...
  5. 山西大同大学SVM数据处理系统使用说明书
  6. 游戏人云集清华科幻季,齐呼吁打造受尊敬事业
  7. 为简化品牌形象,京东将域名360buy.com重命名为jd.com
  8. 农村大学生的逆袭--019发展业务
  9. IOS XCode Objectc SHA256加密
  10. spring boot中使用redist