我正在从网上阅读一些自动天气数据。 观察每5分钟发生一次，并编译成每个气象站的月度文件。 一旦我完成了解析文件，DataFrame看起来像这样：

Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress

Date

2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31

2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30

2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30

2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30

2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

我遇到的问题是，有时科学家会回过头来纠正观察结果 - 不是通过编辑错误的行，而是通过在文件的末尾附加一个重复的行。 这种情况的简单示例如下所示：

import pandas

import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)

enddate = datetime.datetime(2001, 1, 1, 5, 0)

index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')

data1 = {'A' : range(6), 'B' : range(6)}

data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}

df1 = pandas.DataFrame(data=data1, index=index)

df2 = pandas.DataFrame(data=data2, index=index[:3])

df3 = df2.append(df1)

df3

A   B

2001-01-01 00:00:00   20 -50

2001-01-01 01:00:00  -30  60

2001-01-01 02:00:00   40 -70

2001-01-01 03:00:00    3   3

2001-01-01 04:00:00    4   4

2001-01-01 05:00:00    5   5

2001-01-01 00:00:00    0   0

2001-01-01 01:00:00    1   1

2001-01-01 02:00:00    2   2

所以我需要df3才能成为：

A   B

2001-01-01 00:00:00    0   0

2001-01-01 01:00:00    1   1

2001-01-01 02:00:00    2   2

2001-01-01 03:00:00    3   3

2001-01-01 04:00:00    4   4

2001-01-01 05:00:00    5   5

我认为添加一列行号(df3['rownum'] = range(df3.shape[0]))可以帮助我为DatetimeIndex的任何值选择最底部的行，但我仍然坚持找出group_by或pivot(或 ???)使这项工作的陈述。

另一种获取重复的方法是在夜晚将时钟设置为夏令时时间的小时数据：凌晨1点，2点，3点，2点，3点......

我建议在Pandas Index本身上使用重复的方法：

df3 = df3.loc[~df3.index.duplicated(keep='first')]

虽然所有其他方法都有效，但目前接受的答案是迄今为止提供的示例中性能最差的答案。此外，虽然groupby方法的性能稍差，但我发现重复的方法更具可读性。

使用提供的示例数据：

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')

1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()

1000 loops, best of 3: 580 μs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]

1000 loops, best of 3: 307 μs per loop

请注意，您可以通过更改keep参数来保留最后一个元素。

还应该注意，此方法也适用于MultiIndex(使用保罗示例中指定的df1)：

>>> %timeit df1.groupby(level=df1.index.names).last()

1000 loops, best of 3: 771 μs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]

1000 loops, best of 3: 365 μs per loop

My original answer, which is now outdated, kept for reference.

一个简单的解决方案是使用drop_duplicates

df4 = df3.drop_duplicates(subset='rownum', keep='last')

对我来说，这在大型数据集上运行得很快。

这要求'rownum'是具有重复的列。在修改过的例子中，'rownum'没有重复，因此没有任何东西被消除。我们真正想要的是将'cols'设置为索引。我没有找到告诉drop_duplicates只考虑索引的方法。

这是一个解决方案，它将索引添加为数据框列，删除重复项，然后删除新列：

df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

如果你想按正确的顺序恢复，只需在数据帧上调用sort即可。

df3 = df3.sort()

另一个变体是：df.reset_index().drop_duplicates(cols=index,take_last=True).set_index(index)

虽然此方法确实有效，但它也会创建DataFrame的两个临时副本，并且与使用建议作为备选答案的重复索引或groupby方法相比，其性能明显较低。

如果索引是MultiIndex，则reset_index()会添加列level_0，level_1等。如果您的索引具有名称，则将使用该名称来代替"index"标签。这使得这对于任何DataFrame来说都不仅仅是单线程。 index_label = getattr(df.index, names, getattr(df.index, name, index))然后cols=index_label然后set_index(index_labels)，甚至这不是万无一失的(不适用于未命名的多索引)。

将索引移动到列，清除重复项并重置索引非常棒，这正是我所需要的！

给定idx = df.index.name or index，也可以df2 = df.reset_index(); df2.drop_duplicates(idx, inplace=True); df2.set_index(idx, inplace=True)来避免中间副本(由于inplace=True)

天啊。这其实很简单！

grouped = df3.groupby(level=0)

df4 = grouped.last()

df4

A   B  rownum

2001-01-01 00:00:00   0   0       6

2001-01-01 01:00:00   1   1       7

2001-01-01 02:00:00   2   2       8

2001-01-01 03:00:00   3   3       3

2001-01-01 04:00:00   4   4       4

2001-01-01 05:00:00   5   5       5

跟进编辑2013-10-29

在我有一个相当复杂的MultiIndex的情况下，我认为我更喜欢groupby方法。这是后人的简单例子：

import numpy as np

import pandas

# fake index

idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels

df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])

df1.index.names = ['iA', 'iB']

# artificially append some duplicate data

df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))

df1

#           colA      colB

#iA iB

#a  a  -1.297535  0.691787

#   b  -1.688411  0.404430

#   c   0.275806 -0.078871

#   d  -0.509815 -0.220326

#   e  -0.066680  0.607233

#   c   0.275806 -0.078871  #

#   e  -0.066680  0.607233  #

这是重要的部分

# group the data, using df1.index.names tells pandas to look at the entire index

groups = df1.groupby(level=df1.index.names)

groups.last() # or .first()

#           colA      colB

#iA iB

#a  a  -1.297535  0.691787

#   b  -1.688411  0.404430

#   c   0.275806 -0.078871

#   d  -0.509815 -0.220326

#   e  -0.066680  0.607233

如果他们有名字，否则(如果一个名字是无)，如果有2个级别df1.groupby(level=[0,1]).last()，则说level=[0,1]将起作用。这应该是Pandas的一部分，作为drop_duplicates的补充

@dashesy是的。使用df.index.names只是按索引的所有级别进行分组的简单方法。

很好的解决方案，谢谢！我还要补充说，这可以在xarray中处理重复的DateTime索引以及使ds.resample和ds.groupby操作失败

我之前评论的修正案：只要您将grouped = df3.groupby(level=0)更改为grouped = df3.groupby(dim=time)或任何包含重复项的维度，它就可以在xarray中运行

不幸的是，我不认为Pandas允许人们从指数中删除重复数据。我建议如下：

df3 = df3.reset_index() # makes date column part of your data

df3.columns = ['timestamp','A','B','rownum'] # set names

df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

删除重复项(保持第一)

idx = np.unique( df.index.values, return_index = True )[1]

df = df.iloc[idx]

删除重复项(保留最后)

df = df[::-1]

df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

测试：使用OP数据进行10k循环

numpy method - 3.03 seconds

df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds

df.groupby(df.index).first() - 21 seconds

reset_index() method - 29 seconds

如果像我这样的人喜欢使用pandas点表示法(如管道)进行可链接数据操作，那么以下内容可能会有用：

df3 = df3.query('~index.duplicated()')

这样可以链接这样的语句：

df3.assign(C=2).query('~index.duplicated()').mean()

我尝试了这个，但无法让它工作..我得到一个这样的错误：TypeError: Series objects are mutable, thus they cannot be hashed ..这实际上适合你吗？