$CONDITIONS的作用
2024-06-18 14:40:49
$CONDITIONS的作用
如果你想通过并行方式导入结果,每个map task都会执行sql的副本,结果会根据sqoop 推测的边界进行分区。query必须包含$CONDITIONS,这样每个sqoop程序都会被替换成一个独立的条件。同时你必须指定 --split -by 分区。
当执行MapReduce 时首先会执行多个 Map,这些 Map 会在数据库中搜索数据,即每个Map 都 会获取一部分数据,此时要将数据库中的数据导入到HDFS,如果使用CONDITIONS参数,就能保证数据库中数据的顺序与 HDFS 中导入数据的顺序是一致的,实际上CONDITIONS就是起到了参数传递的作用。,
最新文章
- B - The Suspects POJ - 1611
- 豆瓣评分8.6,这本书启发无数开发者
- 题目1183:守形数
- 如何只使用标签来构建一个简单的电影推荐系统
- HDU(2255),KM算法,最大权匹配
- 6.4信号灯(Semaphores)
- PCI-E 1x, 4x, 8x, 16x 接口定义
- 2022年电梯考试电梯检验员模拟题及答案
- MTK6577+Android GPIO
- 使用lighttpd搭建轻量级web服务器详解
- html/css移动界面侧滑效果
- 益丰大药房互联网医院,积极推动中国大健康产业发展变革
- turf:计算面积、折线长度和两点距离
- oracle时间戳概念,Oracle时间戳数据types
- 如何修改安卓日志缓冲区大小?
- Unity3d 改变场景中钢体对象重力(Physics和Physics 2D)大小方向设置
- 手把手教您搭建 AWS 大数据云平台
- 微机原理与接口技术 重点详解与章节总结——微处理器CPU的系统结构
- SAP WM初阶之事务代码LS22 - Change Quant
- 婚前需要聊清楚的问题
热门文章
- java 缓存教程_Java基础教程——缓冲流
- 软件测试缺陷等级划分_众测项目中功能测试、安全测试和兼容性缺陷等级区分定义...
- Silverlight学习资源更新
- 我,一个靠 GitHub 打赏谋生的程序员,如何做到年入 10 万美元?
- PPT下载丨2021 Gdevops全球敏捷运维峰会-广州站精华回放
- 论文阅读及神经网络学习----Neural Networks for Multi-Instance Learning
- 【RT-Thread 开源作品秀】基于 RT-Thread 的“数码小精灵”设计与实现
- js代码如何单独运行,快速查看效果及功能
- 输出以下图案:*/***/*****/*******/*****/***/**
- Springboot商业项目-单体项目开发流程