excel统计行数_百万到亿级数据,快速统计查询
大家好,我是dk。这是Excel神器PowerQuery实战入门系列的第3篇。往后,我会更新更多关于PQ的相关内容,有兴趣的小伙伴可以关注下。
众所周知,Excel2003版最大行数是65536行,到了2007及之后的版本最大行数是1048576行,也就是说1百万的数据,已经是Excel处理数据的权限了。事实上,Excel在处理30万左右的数据时,用公式或操作都会很慢,还经常会卡机。
不过,有了Power Query,几百万的数据,也能实现统计和查询。(据官方介绍,Power Query可以处理上亿的数据,前提是你的内存足够大。)下面举个例子:导入一个约为200万行的数据,进行统计。
大家可以跟着我一起操作:
Step1:导入TXT。
新建一个空白工作簿,点选【数据】选项卡中的【从文本/CSV】(见下图) ,点击后会弹出【导入数据】对话框,从对话框中找出文件所在路径,选中【百万到亿级数据,快速统计查询.txt】,进入【导航器】对话框。
Step2:设置分隔符。
在【导航器】中,我们可以预览文件数据,Power Query会自动检测文件的格式,分隔符,数据类型。这些Power Query都自动检测完成,少数情况需要自己修改下分隔符,然后点击【编辑】进入Power Query。
Step3:加载到数据。
数据加载到Power Query后,我们就可以进行一些简单的查询,比如,要查询数据中,尺子有多少笔,数量总共是多少?选择对应列【产品】筛选尺子,根据弹出的对话框,尺子的左边打钩,按确定结束。(界面与操作跟Excel上是一样的)。
结果返回了列【产品】是尺子的所有数据,选中列【数量】,点选【转换】选项卡中的>>【统计信息】>>【值计数】>>返回结果:574253,这代表了尺子的行数。
如果要知道尺子的总数量,在右边【查询设置】>>点选【筛选的行】返回上一步的操作>>选中【数量】这一列,点选【转换】选项卡中的>>【统计信息】>>【求和】>>返回结果:4598525,这代表了尺子的数量之和。
Step4:删除步骤。
上面的查询只适用于少量的查询统计,如果查询统计的项目多,并不建议用这个方法。这时候我们可以借助数据透视表来查询统计。首先,把多余的步骤删除,点击【筛选的行】>>【计算的总和】>>【计算的计数】前面的X,删除掉,返回未筛选前的数据。
Step5:加载到数据透视表。
点选左上角的【文件】>>【关闭并上载至】>>【数据透视表】>>按确定结束。
Step6:透视表操作。
数据加载200万行后,会在左面出现空白的透视表区域,右边数据透视表字段列表,可以拖动和设置。大家自己尝试一下就好。
如果你喜欢本文,请转发分享一下,想要获得更多信息,关注我吧!
excel统计行数_百万到亿级数据,快速统计查询相关推荐
- excel统计行数_工程人常用的12个excel和9个wps技巧
点击上方蓝字,记得关注我们! 搞工程的人要干的事,不只局限于在现场严格按照标准监督施工进行,还需要同时对收集到的资料进行收集整理,搞搞内业工作.然而很多人都是新上手,难免会对某些办公软件有些生涩. E ...
- excel统计行数_值得收藏的6个Excel函数公式(有讲解)
收藏的Excel函数大全公式再多,几天不用也会忘记.怎么才能不忘?你需要了解公式的运行原理.小编今天不再推送一大堆函数公式,而是根据提问最多的问题,精选出6个实用的,然后详细的解释给大家. 1.计算两 ...
- python统计csv行数_对Python 多线程统计所有csv文件的行数方法详解
如下所示: #统计某文件夹下的所有csv文件的行数(多线程) import threading import csv import os class MyThreadLine(threading.Th ...
- python统计excel数据总行数_Python怎么读取Excel的行数和列数?
在把数据写入Excel的过程中遇到了问题,写入的数据是for循环进去的,所以是分多次写入(每次for循环写入一次,一次有几十条数据). 但是在第二次for循环写数据时,就会覆盖掉第一次写的数据,就是后 ...
- matlab中读文件的行数_[转载]MATLAB中获取大型文本文件行数方法研究(转)
在工作中会有很多特殊的需要,比如我现在就遇到一个需要将大型的文本格式数据文件(比如5G)读取到MATLAB中,同时进行一定的处理.由于XP的内存是绝对没有办法将5G的数据一次性加载到工作空间的,此时一 ...
- server sql 数据总行数_sql统计行数的语句
求一个sql统计行数的语句 col1 col2 ------------------- A1 2010xx A2 2010cx A1 2010ddd A2 2011dfsd A3 ...
- postgresql返回行数_怎么优化你的SQL查询?以PostgreSQL为例
实际工作中,我们每个人难免都会要写SQL,执行SQL,但是有时时候执行非常慢,甚至获得不了结果.这时候你会怎么办?放弃?去苦口婆心的求隔壁房间胡子擦擦的猥琐DBA大叔? NO,正确方法是先检查一下你的 ...
- python一次读取10行_Python怎么读取Excel的行数和列数?
在把数据写入Excel的过程中遇到了问题,写入的数据是for循环进去的,所以是分多次写入(每次for循环写入一次,一次有几十条数据). 但是在第二次for循环写数据时,就会覆盖掉第一次写的数据,就是后 ...
- 小福利,采用excel函数制作大屏可视化,用sumifs函数快速统计汇总数据,锁行锁列以及锁列不锁行
小福利,采用excel函数制作大屏可视化,用sumifs函数快速统计汇总数据,锁行锁列以及锁列不锁行 源数据如下图所示 第一步处理源数据的效果是下图 其中根据年份变化,求总订单量.总销量.总销售额,只 ...
最新文章
- BL1551模拟开关,封装SC70-6
- linux 设置中文版man手册
- Icon+启动图尺寸
- sarscape 将dem文件转化成stl_STL文件,一种前处理网格划分技术??
- Active Directory之强制占有操作主机
- IDEA插件jrebel的配置使用
- 分享一篇去年的项目总结
- 【设计模式】-工厂模式->简单工厂模式(源码与类图解析)
- linux iozone测试工具,IOZONE测试工具使用方法
- MacOS 开发 —后台启动程序
- 【20点埃及 VS 乌拉圭/23点摩洛哥vs 伊朗】快看人工只能预测结果(附最全赛事时间表)...
- Qt开发 — WindowType详解
- js 获取当前与一个月前的日期
- 服务器开机必须要按f1才能进系统,每次开机都要按F1才能进入系统的解决方法...
- 深入学习HTTP协议
- asp计算机房预约系统源码,(机房)实验室预约管理系统
- RestfulApi接口规范
- python访问陌生人qq空间_Python爬虫获取QQ空间信息(上)
- 图片切切切~~~ 图片热点,局部超链接
- 去阿里,是不可能的,这辈子都不可能的