大家好,我是dk。这是Excel神器PowerQuery实战入门系列的第3篇。往后,我会更新更多关于PQ的相关内容,有兴趣的小伙伴可以关注下。

众所周知,Excel2003版最大行数是65536行,到了2007及之后的版本最大行数是1048576行,也就是说1百万的数据,已经是Excel处理数据的权限了。事实上,Excel在处理30万左右的数据时,用公式或操作都会很慢,还经常会卡机。

不过,有了Power Query,几百万的数据,也能实现统计和查询。(据官方介绍,Power Query可以处理上亿的数据,前提是你的内存足够大。)下面举个例子:导入一个约为200万行的数据,进行统计。

大家可以跟着我一起操作:

Step1:导入TXT。

新建一个空白工作簿,点选【数据】选项卡中的【从文本/CSV】(见下图) ,点击后会弹出【导入数据】对话框,从对话框中找出文件所在路径,选中【百万到亿级数据,快速统计查询.txt】,进入【导航器】对话框。

Step2:设置分隔符。

【导航器】中,我们可以预览文件数据,Power Query会自动检测文件的格式,分隔符,数据类型。这些Power Query都自动检测完成,少数情况需要自己修改下分隔符,然后点击【编辑】进入Power Query。

Step3:加载到数据。

数据加载到Power Query后,我们就可以进行一些简单的查询,比如,要查询数据中,尺子有多少笔,数量总共是多少?选择对应列【产品】筛选尺子,根据弹出的对话框,尺子的左边打钩,按确定结束。(界面与操作跟Excel上是一样的)。

结果返回了列【产品】是尺子的所有数据,选中列【数量】,点选【转换】选项卡中的>>【统计信息】>>【值计数】>>返回结果:574253,这代表了尺子的行数。

如果要知道尺子的总数量,在右边【查询设置】>>点选【筛选的行】返回上一步的操作>>选中【数量】这一列,点选【转换】选项卡中的>>【统计信息】>>【求和】>>返回结果:4598525,这代表了尺子的数量之和。

Step4:删除步骤。

上面的查询只适用于少量的查询统计,如果查询统计的项目多,并不建议用这个方法。这时候我们可以借助数据透视表来查询统计。首先,把多余的步骤删除,点击【筛选的行】>>【计算的总和】>>【计算的计数】前面的X,删除掉,返回未筛选前的数据。

Step5:加载到数据透视表。

点选左上角的【文件】>>【关闭并上载至】>>【数据透视表】>>按确定结束。

Step6:透视表操作。

数据加载200万行后,会在左面出现空白的透视表区域,右边数据透视表字段列表,可以拖动和设置。大家自己尝试一下就好。


如果你喜欢本文,请转发分享一下,想要获得更多信息,关注我吧!

excel统计行数_百万到亿级数据,快速统计查询相关推荐

  1. excel统计行数_工程人常用的12个excel和9个wps技巧

    点击上方蓝字,记得关注我们! 搞工程的人要干的事,不只局限于在现场严格按照标准监督施工进行,还需要同时对收集到的资料进行收集整理,搞搞内业工作.然而很多人都是新上手,难免会对某些办公软件有些生涩. E ...

  2. excel统计行数_值得收藏的6个Excel函数公式(有讲解)

    收藏的Excel函数大全公式再多,几天不用也会忘记.怎么才能不忘?你需要了解公式的运行原理.小编今天不再推送一大堆函数公式,而是根据提问最多的问题,精选出6个实用的,然后详细的解释给大家. 1.计算两 ...

  3. python统计csv行数_对Python 多线程统计所有csv文件的行数方法详解

    如下所示: #统计某文件夹下的所有csv文件的行数(多线程) import threading import csv import os class MyThreadLine(threading.Th ...

  4. python统计excel数据总行数_Python怎么读取Excel的行数和列数?

    在把数据写入Excel的过程中遇到了问题,写入的数据是for循环进去的,所以是分多次写入(每次for循环写入一次,一次有几十条数据). 但是在第二次for循环写数据时,就会覆盖掉第一次写的数据,就是后 ...

  5. matlab中读文件的行数_[转载]MATLAB中获取大型文本文件行数方法研究(转)

    在工作中会有很多特殊的需要,比如我现在就遇到一个需要将大型的文本格式数据文件(比如5G)读取到MATLAB中,同时进行一定的处理.由于XP的内存是绝对没有办法将5G的数据一次性加载到工作空间的,此时一 ...

  6. server sql 数据总行数_sql统计行数的语句

    求一个sql统计行数的语句 col1  col2 ------------------- A1   2010xx A2   2010cx A1   2010ddd A2   2011dfsd A3   ...

  7. postgresql返回行数_怎么优化你的SQL查询?以PostgreSQL为例

    实际工作中,我们每个人难免都会要写SQL,执行SQL,但是有时时候执行非常慢,甚至获得不了结果.这时候你会怎么办?放弃?去苦口婆心的求隔壁房间胡子擦擦的猥琐DBA大叔? NO,正确方法是先检查一下你的 ...

  8. python一次读取10行_Python怎么读取Excel的行数和列数?

    在把数据写入Excel的过程中遇到了问题,写入的数据是for循环进去的,所以是分多次写入(每次for循环写入一次,一次有几十条数据). 但是在第二次for循环写数据时,就会覆盖掉第一次写的数据,就是后 ...

  9. 小福利,采用excel函数制作大屏可视化,用sumifs函数快速统计汇总数据,锁行锁列以及锁列不锁行

    小福利,采用excel函数制作大屏可视化,用sumifs函数快速统计汇总数据,锁行锁列以及锁列不锁行 源数据如下图所示 第一步处理源数据的效果是下图 其中根据年份变化,求总订单量.总销量.总销售额,只 ...

最新文章

  1. BL1551模拟开关,封装SC70-6
  2. linux 设置中文版man手册
  3. Icon+启动图尺寸
  4. sarscape 将dem文件转化成stl_STL文件,一种前处理网格划分技术??
  5. Active Directory之强制占有操作主机
  6. IDEA插件jrebel的配置使用
  7. 分享一篇去年的项目总结
  8. 【设计模式】-工厂模式->简单工厂模式(源码与类图解析)
  9. linux iozone测试工具,IOZONE测试工具使用方法
  10. MacOS 开发 —后台启动程序
  11. 【20点埃及 VS 乌拉圭/23点摩洛哥vs 伊朗】快看人工只能预测结果(附最全赛事时间表)...
  12. Qt开发 — WindowType详解
  13. js 获取当前与一个月前的日期
  14. 服务器开机必须要按f1才能进系统,每次开机都要按F1才能进入系统的解决方法...
  15. 深入学习HTTP协议
  16. asp计算机房预约系统源码,(机房)实验室预约管理系统
  17. RestfulApi接口规范
  18. python访问陌生人qq空间_Python爬虫获取QQ空间信息(上)
  19. 图片切切切~~~ 图片热点,局部超链接
  20. 去阿里,是不可能的,这辈子都不可能的

热门文章

  1. 久游遭受重创的ng2b
  2. Symbian编程VC开发环境设置
  3. 对 C++ 的忧虑?C++ 创始人警告:关于 C++ 的某些未来计划十分危险
  4. 过完年进入BAT 需要做哪些准备
  5. 属于程序员的等级,看看你是哪个级别?
  6. 2019年大数据发展趋势预测
  7. 这些21个不太好搜索其含义的特殊符号你都知道吗?
  8. 生信宝典之傻瓜式(六)查找转录因子的靶基因
  9. 安装lxml,抓取、解析网页
  10. vs2013配置python_VS2013中Python学习笔记[环境搭建]