解决Number of partitions scanned (=2001) on table ‘tablexx‘ exceeds limit (=2000)
目录
问题
现象
解决思路
问题
平台为了资源的合理利用会限制spark扫描分区的数量，一般会有一个上线，例如200、2000、4000等。
目的是为了防止误操作，扫描过多数量的分区，占用太多的资源。经常有哥们加载数据时没有指定分区过滤条件，这样会加载过多无用数据，所以，为了防止出现误操作，通常会有这个限制。
当然有时确实会用到如此至多的分区。
现象
如果超过默认的上线，会收到如下错误：
报错：Number of partitions scanned (=2001) on table 'tablexx' exceeds limit (=2000)
解决思路
可以在submit脚本上添加spark启动配置参数：（除非你知道自己在做什么：确实需要扫描这么多个分区的数据时，
解决Number of partitions scanned (=2001) on table ‘tablexx‘ exceeds limit (=2000)相关推荐
- The number of requested virtual cores per node 3 exceeds the maximum number of virtual cores 2
报错如下: yarn-session.sh -tm 2048 -s 3 2020-06-08 22:24:20,317 WARN org.apache.flink.yarn.cli.FlinkYar ...
- 解决Mysql数据量大的时候 分页优化(使用limit)的问题
解决Mysql数据量大的时候 分页优化(使用limit)的问题 参考文章: (1)解决Mysql数据量大的时候 分页优化(使用limit)的问题 (2)https://www.cnblogs.com/ ...
- 解决“psycopg2.errors.InsufficientPrivilege: permission denied for table”问题
今天在写入PostgreSQL的dapp_namemap表格时,报"psycopg2.errors.InsufficientPrivilege: permission denied ...
- 全网详细解决1093 - You can‘t specify target table ‘xxx‘ for update in FROM clause的错误
文章目录 1. 复现错误 2. 分析错误 3. 解决错误 1. 复现错误 今天在工作时,接到一个新需求,就是将app_page_button表中的label_code字段修改为edit,条件如下: 只 ...
- 解决：did not exist: javax.persistence.Table.indexes()[Ljavax/persistence/Index
1.问题 刚刚在用springboot配置多数据源时,报错如下: Description: An attempt was made to call a method that does not exi ...
- 解决Error Code: 1442. Can‘t update table ‘b05‘ in stored function/trigger becaus的问题
1,发生源头 想要在插入或者更新数据之后修改数据, 2,失败原因 因为MySQL不让在触发器触发insert和update的时候不让执行inset和update 3,解决办法 改用set语句 eg c ...
- 【数据库已解决】Error【1146】：Table ‘xxx.xxx‘ doesn‘t exist问题原因及解决方法
[1]查看自己的sql语句是否正确 如此语句正确,则看下一条方法 解决方法如下: <1>不正确请改正 [2]查看是否有此表,不要忽视大小写 如此表存在,则是linux的mysql区分大小写 ...
- 解决vue中使用v-html解析后table表格的线不见了
vue中使用 v-html 解析富文本 1.在编辑器中输入什么就显示什么 2.使用v-html解析后有问题 可以看看☞☞ 官网地址 需要注意的是:从编辑器中获取的 html 代码是不包含任何样式的纯 ...
- Spring Boot笔记-IDEA使用JPA映射时解决cannot resolve column或cannot resolve table
view->Tool Windows->Database 默认情况下看IDEA的左边: 添加一个MySQL库,连接测试成功后! 进入View->Tool Windows->Pe ...
- [Fatal Error] total number of created files now is 100576, which exceeds 100000. Killing the job.
hive在把一张表的数据插入到另一张分区表时,经常会报这个创建文件数超出限制的错误 解决办法:set hive.exec.max.created.files=900000; 提高最大文件数 加上如下设 ...
最新文章
- LeetCode Edit Distance(动态规划)
- 基于用户投票的排名算法（三）：Stack Overflow
- 查看linux文件系统结构,linux的文件系统架构
- MyBatis 在xml文件中处理大于号小于号的方法
- 在Windows平台上安装Dubbox框架
- paint java_java – 为什么paint()/ paintComponent()从未被调用？
- android asynctask源码分析,Android异步任务AsyncTask的使用与原理分析
- JAVA JSP学生助学金管理系统 jsp学生资助管理系统jsp学生管理系统jsp贷款管理系统jsp大学生贷款管理系统
- MapGuide open source开发系列教程四: 体系结构（转贴）
- 2022最新第四方聚合支付系统源码+详细搭建教程
- 计算机sci论文怎么写,计算机学院陈端兵教授分享SCI论文写作方法
- 人脸识别数据集建立及应用
- 【实训】基于java进销存管理系统
- LPVOID 没有类型的指针
- 基于MATLAB机器视觉技术的水果分级研究进展
- C++初阶习题（牛客）【4】Fibonacci数列
- 镜头camera shot
- 【数学建模】灰色预测法
- mysql mmm 官方_mysql mmm
- 前端实习——微信小程序(2)