问题场景

当需要对excel数据根据不同的条件进行筛选，可以利用pandas快速实现。例如筛选出一张表格里来自不同网站的数据，每个网站的数据不超过20条。示例如下：

实现方法

import pandas as pddef select_data():raw_df = pd.read_excel('./check_data/原始数据.xlsx')selected_df = pd.DataFrame(columns=raw_df.columns.values) # 直接获取原DataFrame列标签website_dict = {}for ind, row in raw_df[:10].iterrows():website_id = row['websiteId']if website_id not in website_dict.keys():website_dict[website_id] = 1selected_df = selected_df.append(row) # 直接添加一条数据elif website_dict[website_id] < 20:website_dict[website_id] += 1selected_df = selected_df.append(row)selected_df.to_excel('./check_data/筛选数据.xlsx')if __name__ == '__main__':select_data()

该方法不需要新建DataFrame的列索引，同时在添加数据时直接添加原Series，不需要额外做字段对应，高效而且避免对应出错。

pd.DataFrame()快速筛选数据相关推荐

Excle中如何快速筛选数据
目录 Excle中如何快速筛选数据一.如何进行筛选数据第一步:选中需要筛选的整行或列 (如:鼠标放在方框B位置选中整列) 第二步:找到"开始"菜单栏中的"排序和筛选& ...
在excel中如何筛选重复数据_Excel – 几个快速筛选数据表的技巧
筛选数据表,是非常基础的 Excel 操作,相信大部分人都会. 不过今天我要教大家几组快速筛选的方法,不用通过筛选按钮就能实现. 案例 1:筛选出姓名为"赵铁锤"的所有行解决方案 ...
快速筛选数据集中某列特征符合某种规律的所有数据集
我们常常有这样的需要: 如果某条数据的特征card1的取值在某个列表里面,就提取出来. 所有上述数据输出得到新的数据集. 那么sql怎么操作呢? 1.统计犯罪信用卡设计的卡号card1有哪些取值. s ...
pandas dataframe使用query进行多个条件快速筛选
对于dataframe格式的数据,使用多个筛选条件筛选时,建议使用query(): 使用query关键词不会产生新的空间开销,可以更加节省内存在小样本下效率低于传统方法(比如q1_2),但是在大样本 ...
python dataframe 列筛选_pandas系列之DataFrame 行列数据筛选实例
一.对DataFrame的认知 DataFrame的本质是行(index)列(column)索引+多列数据. 为了简化理解,我们不妨换个思路- 现实中,为了简化对一件事物的描述,我们会选择几个特征. ...
dataframe之按时间筛选数据
对原始数据集进行筛选操作,条件是:客户号.queryreason.querier三个相同的时候,开始计算querydate按从大到小排序,14内出现的删除功能描述对数据集中具有相同key的记录,按 ...
pandas基于dataframe字符串数据列不包含特定字符串来筛选dataframe中的数据行（rows where values do not contain substring）
pandas基于dataframe字符串数据列不包含(not contains)特定字符串来筛选dataframe中的数据行(rows where values do not contain subs ...
pandas基于dataframe字符串数据列包含（contains）特定字符串来筛选dataframe中的数据行（rows where values contain substring）
pandas基于dataframe字符串数据列包含(contains)特定字符串来筛选dataframe中的数据行(rows where values contain substring) 目录
R语言对dataframe进行行数据筛选（row selection）多种方案：使用R原生方法、data.table、dplyr等方案
R语言对dataframe进行行数据筛选(row selection)多种方案:使用R原生方法.data.table.dplyr等方案目录

pd.DataFrame()快速筛选数据

快速数据筛选

问题场景

实现方法

pd.DataFrame()快速筛选数据相关推荐

最新文章

热门文章