stream分组计数_Java Stream:第2部分,计数始终是计数吗?
stream分组计数
在上一篇有关该主题的文章中 ,我们了解到JDK 8
stream()::count
需要更长的时间来执行Stream
更多的元素。 对于最新的JDK(例如Java 11),简单的流管道不再是这种情况。 了解JDK本身如何进行改进。
Java 8
在上一篇文章中,我们可以得出结论:
list.stream().count()
在Java 8下为O(N)
,即执行时间取决于原始列表中的元素数。 阅读文章
在这里 。
Java 9及更高版本
正如Nikolai Parlog(@nipafx)和Brian Goetz(@BrianGoetz)在Twitter上正确指出的那样 ,从Java 9开始改进了Stream::count
的实现。下面是对底层代码的比较
Java 8和更高Java版本之间的Stream::count
代码:
Java 8(来自ReferencePipeline类)
return mapToLong(e -> 1L).sum();
Java 9及更高版本(来自ReduceOps类)
if (StreamOpFlag.SIZED.isKnown(flags)) { return spliterator.getExactSizeIfKnown(); }
...
它出现Stream::count
用Java 9和更高版本是O(1)
已知大小的Spliterators而不是O(N)
让我们验证该假设。
基准测试
可以通过在Java 8和Java 11下运行以下JMH基准来观察big-O属性:
@State (Scope.Benchmark) public class CountBenchmark { private List<Integer> list; @Param ({ "1" , "1000" , "1000000" }) private int size; @Setup public void setup() { list = IntStream.range( 0 , size) .boxed() .collect(toList()); } @Benchmark public long listSize() { return list.size(); } @Benchmark public long listStreamCount() { return list.stream().count(); } public static void main(String[] args) throws RunnerException { Options opt = new OptionsBuilder() .include(CountBenchmark. class .getSimpleName()) .mode(Mode.Throughput) .threads(Threads.MAX) .forks( 1 ) .warmupIterations( 5 ) .measurementIterations( 5 ) .build(); new Runner(opt).run(); } }
这将在我的笔记本电脑(MacBook Pro 2015年中,2.2 GHz Intel Core i7)上产生以下输出:
JDK 8(来自上一篇文章)
Benchmark (size) Mode Cnt Score Error Units CountBenchmark.listSize 1 thrpt 5 966658591.905 ± 175787129.100 ops/s CountBenchmark.listSize 1000 thrpt 5 862173760.015 ± 293958267.033 ops/s CountBenchmark.listSize 1000000 thrpt 5 879607621.737 ± 107212069.065 ops/s CountBenchmark.listStreamCount 1 thrpt 5 39570790.720 ± 3590270.059 ops/s CountBenchmark.listStreamCount 1000 thrpt 5 30383397.354 ± 10194137.917 ops/s CountBenchmark.listStreamCount 1000000 thrpt 5 398.959 ± 170.737 ops/s
JDK 11
Benchmark (size) Mode Cnt Score Error Units CountBenchmark.listSize 1 thrpt 5 898916944.365 ± 235047181.830 ops/s CountBenchmark.listSize 1000 thrpt 5 865080967.750 ± 203793349.257 ops/s CountBenchmark.listSize 1000000 thrpt 5 935820818.641 ± 95756219.869 ops/s CountBenchmark.listStreamCount 1 thrpt 5 95660206.302 ± 27337762.894 ops/s CountBenchmark.listStreamCount 1000 thrpt 5 78899026.467 ± 26299885.209 ops/s CountBenchmark.listStreamCount 1000000 thrpt 5 83223688.534 ± 16119403.504 ops/s
可以看出,在Java 11中, list.stream().count()
操作现在是
O(1)
而不是O(N)
。
Brian Goetz 指出 ,一些在Java 8下使用Stream::peek
方法调用的开发人员发现,如果Stream::count
终端操作在Java 9及更高版本下运行,则不再调用这些方法。 这给JDK开发人员带来了一些负面反馈。 就个人而言,我认为这是JDK开发人员的正确决定,相反,这为
Stream::peek
用户使他们的代码正确。
更复杂的流管道
在本章中,我们将介绍更复杂的流管道。
JDK 11
塔吉尔·瓦列夫(Tagir Valeev) 得出结论 ,对于List::stream
,类似stream().skip(1).count()
类的管道不是O(1)
。
通过运行以下基准可以观察到这一点:
@Benchmark public long listStreamSkipCount() { return list.stream().skip( 1 ).count(); }
CountBenchmark.listStreamCount 1 thrpt 5 105546649.075 ± 10529832.319 ops/s CountBenchmark.listStreamCount 1000 thrpt 5 81370237.291 ± 15566491.838 ops/s CountBenchmark.listStreamCount 1000000 thrpt 5 75929699.395 ± 14784433.428 ops/s CountBenchmark.listStreamSkipCount 1 thrpt 5 35809816.451 ± 12055461.025 ops/s CountBenchmark.listStreamSkipCount 1000 thrpt 5 3098848.946 ± 339437.339 ops/s CountBenchmark.listStreamSkipCount 1000000 thrpt 5 3646.513 ± 254.442 ops/s
因此, list.stream().skip(1).count()
仍为O(N)。
加速
一些流实现实际上知道它们的源,并且可以采用适当的快捷方式并将流操作合并到流源本身中。 这可以大大提高性能,尤其是对于具有更复杂的流管道(例如stream().skip(1).count()
大型流stream().skip(1).count()
Speedment ORM工具允许将数据库视为Stream对象,并且这些流可以优化许多流操作,例如
Stream::count
, Stream::skip
, Stream::limit
操作,如下面的基准所示。 我已使用开源Sakila示例数据库作为数据输入。 Sakila数据库包含有关租赁电影,艺术家等的全部信息。
@Benchmark public long rentalsSkipCount() { return rentals.stream().skip( 1 ).count(); } @Benchmark public long filmsSkipCount() { return films.stream().skip( 1 ).count(); }
运行时,将产生以下输出:
SpeedmentCountBenchmark.filmsSkipCount N/A thrpt 5 68052838.621 ± 739171.008 ops/s SpeedmentCountBenchmark.rentalsSkipCount N/A thrpt 5 68224985.736 ± 2683811.510 ops/s
“租赁”表包含10,000行,而“电影”表仅包含1,000行。 但是,它们的stream().skip(1).count()
操作几乎同时完成。 即使一个表包含一万亿行,它仍然会在相同的经过时间内对元素进行计数。 因此, stream().skip(1).count()
实现的复杂度为O(1)
而不是O(N)
。
注意:上面的基准测试是通过“ DataStore” JVM内存中加速来运行的。 如果直接对数据库没有加速运行,则响应时间将取决于基础数据库执行嵌套“SELECT count(*) …”
语句的能力。
摘要
在Java 9中Stream::count
显着提高。
有些流实现(例如Speedment O(1)
即使在更复杂的流管道(如stream().skip(...).count()
甚至stream.filter(...).skip(...).count()
stream().skip(...).count()
中也能够以O(1)
时间计算Stream::count
stream().skip(...).count()
stream.filter(...).skip(...).count()
。
资源资源
Speedment Stream ORM初始化程序: https ://www.speedment.com/initializer/
Sakila: https ://dev.mysql.com/doc/index-other.html或https://hub.docker.com/r/restsql/mysql-sakila
翻译自: https://www.javacodegeeks.com/2019/04/java-stream-part-2-count-always-count.html
stream分组计数
stream分组计数_Java Stream:第2部分,计数始终是计数吗?相关推荐
- java stream 分组求和_Java stream List 求和、分组操作
Java stream List 求和.分组操作 前言 项目中经常会使用Stream操作一些集合数据,今天记录一下我经常使用的Stream操作 求和操作public static void main( ...
- stream map方法_Java Stream中map和flatMap方法
最近看到一篇讲stream语法的文章,学习Java中map()和flatMap()方法之间的区别. 虽然看起来这两种方法都做同样的事情,都是做的映射操作,但实际上差之毫厘谬以千里. 通过演示Demo中 ...
- Java Stream:计数始终是计数吗?
它可能会出现明显的是,在计数的元素Stream需要较长时间的多个元素中有Stream . 但实际上, Stream::count有时可以在一个操作中完成,无论您有多少元素. 阅读本文并了解操作方法. ...
- Java Stream:第2部分,计数始终是计数吗?
在上一篇有关该主题的文章中 ,我们了解到JDK 8 stream()::count需要更长的时间来执行Stream更多的元素. 对于较新的JDK(例如Java 11),简单流管道不再是这种情况. 了解 ...
- JAVA另类_java stream的几种另类用法
除了用于简化对List, Set, Map等集合类型的操作外,java stream其实还可以抽象很多其他数据类型,然后在这一抽象的基础上做一些非常规操作.这些另类操作用好了,有时可以极大简化你的代码 ...
- java 两个stream合并_Java Stream 流如何进行合并操作
1. 前言 Java Stream Api 提供了很多有用的 Api 让我们很方便将集合或者多个同类型的元素转换为流进行操作.今天我们来看看如何合并 Stream 流. 2. Stream 流的合并 ...
- java 合并流_Java Stream 流实现合并操作示例
本文实例讲述了Java Stream 流实现合并操作.分享给大家供大家参考,具体如下: 1. 前言 Java Stream Api提供了很多有用的 Api 让我们很方便将集合或者多个同类型的元素转换为 ...
- java DTO循环_Java Stream与for循环比较
导读: 笔者使用的是小米笔记本 1.99 GHz 四核Intel Core i7,本文对比了几种方法求素数耗时.这几种方法分别是:传统的for方法,java8 stream流,parallel str ...
- java stream过滤_Java Stream过滤器
java stream过滤 Java Stream filter can be very helpful when you want to do some processing only on som ...
最新文章
- Windows10编译源码安装Aleth(Ethereum C++ client, tools and libraries)
- Error(s) in loading state_dict
- 使用JSARToolKit5 开发AR应用 (2) Marker
- linux c 调试 strace 诊断 调试程序 异常退出 崩溃
- 【Python学习系列七】Windows下部署Python推荐系统recsys
- P1057 传球游戏
- 一个经典的对象级别插件的开发
- python如何读取tfrecord_tensorflow将图片保存为tfrecord和tfrecord的读取方式
- java RMI 笔记
- php伪静态限制网页播放视频,php伪静态后html不能访问怎么办
- c++中int double 与char,string之间的转换
- Web 前端编程运维必备
- Fluentd日志处理-tail拉取(三)
- 开头决胜武器:软文开头的4种常用写法
- solidworks背景改为纯白色
- SQL AND OR 运算符的用法
- NTFS文件系统详解(二)之MBR(EBR)基本信息
- 三色旗java_经典算法-(四)三色旗
- php苗木批发,南京苗木批发市场(南京苗木生产中心)
- 大数据分析和大数据开发哪个好就业啊?
热门文章
- [UOJ299][CTSC2017] 游戏
- [费用流专题]Going Home,Minimum Cost,工作安排
- YBTOJ洛谷P3209:平面图判定(2-SAT)
- Loj#6247-九个太阳【单位根反演】
- 【jzoj】2018.2.1 NOIP普及组——D组模拟赛
- C++STL(set……)
- E - Escape from the Island(最短路+dp)
- 秀姿势(jzoj 3464)
- MST(最小生成树)的构造
- hihocoder1147 时空阵(bfs树+DP)