SpringBoot+MongoDB查询大数据字段优化

记录一下

SpringBoot+MongoDB查询大数据字段，查询的单个字段或者总查询结果量太大

用 mongoTemplate.find(query, NewSnapshot.class, collectionName); 查询比较慢

刚开始是这样查询的

public List<xxx>  sss(String a,String b,String c) {Query query = new Query(Criteria.where("a").is(a).and("b").is(b));query.with(Sort.by(Sort.Order.asc("update_time")));List<xxx> result = mongoTemplate.find(query, NewSnapshot.class, collectionName);return result;
}

结果1M数据量，单个字段40k的情况下，压测结果，110/s

修改为

public  List<xxx>  newSnapshotPage2(String a,String b,String c) {MongoCollection<Document> collection = mongoTemplate.getCollection(a);FindIterable<Document> findIterable = collection.find(new Document("b",b).append("c",c));MongoCursor<Document> mongoCursor = findIterable.iterator();Xxx   xxx = new Xxx ();List<xxx> result = new ArrayList<>();while (mongoCursor.hasNext()){Document next = mongoCursor.next();xxx .setA(next.get("1").toString());xxx .setP(next.get("2").toString());xxx .setU(next.get("3").toString());xxx .setB(next.get("4").toString());result.add(xxx);}return result;
}

同样的设备压测结果为，187/s

性能是提升很多的。

新人没有逻辑，只为自己记录。

SpringBoot+MongoDB查询大数据字段优化相关推荐

php查询mysql表里的数据_PHP/MYSQL 查询大数据/遍历表
PHP:PHP 5.3.6 (cli) (built: Jun 15 2011 16:29:50) MYSQL:5.1.51 如果我们有的一张表有几百万或几千万的记录,我们要使用 PHP 将所有的记录 ...
连接impala出现method not supported_Impala在网易大数据的优化和实践
文章作者:温正湖网易杭研编辑整理:张博出品平台:DataFunTalk 导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析 ...
Impala在网易大数据的优化和实践
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务.今天将为大家分享下Impala在网易大 ...
Impala 在网易大数据的优化和实践
导读: 网易大数据平台的底层数据查询引擎,选用了 Impala 作为 OLAP 查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务.今天将为大家分享下 Impa ...
基于Hadoop的产品大数据分布式存储优化
人工智能技术与咨询点击蓝字 · 关注我们来源:<计算机科学与应用 > ,作者王耐东等关键词: 产品大数据:Hadoop平台:数据存储优化:数据检索摘要: 摘要: 研究产品相关大数 ...
springboot项目集成大数据第三方dolphinscheduler调度器
文章目录摘要项目背景功能要求功能说明 1.1用例图 1.2业务流程分析 1.3业务ER图 1.4 管理任务流程图 1.5功能设计详细说明点 1.6页面原型三.本人相关其他文章链接摘要 ①d ...
大数据带来新机遇：如何利用大数据技术优化跨境电商运营？
互联网和电商的不断发展,跨境电商已经成为一种全新的商业模式.然而,跨境电商的运营需要面对很多挑战,如物流.支付.语言文化等.如何利用大数据技术优化跨境电商运营成为一个重要的课题. 一.大数据技术在跨境 ...
Mongodb查询重复数据
Mongodb查询重复数据脚本 db.storageFile.aggregate({'$group': {'_id': {'md5': '$md5'},'uniqueIds': {'$addToSe ...
es分页查询重复数据_ES优化 - 巨量数据如何提高查询性能
问题:如果数据量特别大,如何优化ES的查询性能? 可以从以下几个方面进行思考: File Cache可用的内存: ES的查询严重依赖OS的File Cache,所以说内存分配的内存肯定是越多越好.最理 ...

SpringBoot+MongoDB查询大数据字段优化

SpringBoot+MongoDB查询大数据字段优化相关推荐

最新文章

热门文章