Sqoop(Tunnel通道系列) Sqoop基于社区Sqoop 1.4.6版本开发,增强了对MaxCompute的支持,可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中,也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见MaxCompute Sqoop。

说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Kettle(Tunnel通道系列) Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。详情请参见基于Kettle的MaxCompute插件实现数据上云。

说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Flume(DataHub通道系列) Apache Flume是一个分布式的、可靠的、可用的系统,可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。

Apache Flume的DataHub Sink插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见flume_plugin。

说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Fluentd(DataHub通道系列) Fluentd是一个开源的软件,用来收集各种源头日志(包括Application Log、Sys Log及Access Log),允许您选择插件对日志数据进行过滤,并存储到不同的数据处理端(包括MySQL、Oracle、MongoDB、Hadoop、Treasure Data等)。

Fluentd的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见 Fluentd插件介绍。

LogStash(DataHub通道系列) LogStash是一款开源日志收集处理框架,logstash-output-datahub插件实现了将数据导入DataHub的功能。通过简单的配置即可完成数据的采集和传输,结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。

LogStash的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。具体示例请参见Logstash + DataHub + MaxCompute和StreamCompute 进行实时数据分析。

OGG(DataHub通道系列) OGG的DataHub插件可以支持将Oracle数据库的数据实时地以增量方式同步到DataHub中,并最终归档到MaxCompute表中。详情请参见基于OGG DataHub插件将Oracle数据同步上云。

说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 MMA迁移工具 MMA利用Meta Carrier连接用户的Hive Metastore服务,抓取用户的Hive Metadata,并利用这些数据生成用于创建MaxComputer表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详情请参见MMA迁移概述。

sqoop 增量导入mysql_sqoop增量导入数据库相关推荐

  1. sqoop增量导出mysql_sqoop定时增量导入导出

    sqoop使用hsql来存储job信息,开启metastor service将job信息共享,所有node上的sqoop都可以运行同一个job 一.sqoop的配置文件在sqoop.site.xml中 ...

  2. Sqoop(四)增量导入、全量导入、减量导入

    本文转自:https://www.cnblogs.com/yfb918/p/10858355.html 增量导入 一.说明 当在生产环境中,我们可能会定期从与业务相关的关系型数据库向Hadoop导入数 ...

  3. hadoop项目实战--ETL--(三)实现mysql表到HIVE表的全量导入与增量导入

    一 在HIVE中创建ETL数据库 ->create database etl; 二 在工程目录下新建MysqlToHive.py 和conf文件夹 在conf文件夹下新建如下文件,最后的工程目录 ...

  4. 80m的mysql文件要导入多久_mysql导入导出数据库的问题

    今天从服务器上的Mysql数据库往我自己本地的测试环境导数据,开始想用phpMyadmin从网页直接导入,结果文件太大,而phpmyadmin导入数据有最多2M的限制. phpmyadmin给出的文档 ...

  5. 【唠叨两句】如何将一张树型结构的Excel表格中的数据导入到多张数据库表中...

    小弟昨天遇到一个相对比较棘手的问题,就像标题说的那样.如何将一张树型结构的Excel表格中的数据导入到多张数据库表中,在现实中实际是七张数据库表,这七张表之间有着有着相对比较复杂的主外键关系,对于我这 ...

  6. C 实现Mysql增量备份_window下mysql数据库增量备份实现教程

    mysql增量备份(mysql5.1 之后),linux下mysql增量备份 网上资料很多.这里只说明window下mysql增量备份. 定义: mysql数据库会以二进制的形式,自动把用户对mysq ...

  7. ASP.NET Excel导入到SQL Server数据库

    提供把Excel里的数据导入到SQL Server 数据库,前提是Excel里的字段在Sql Server表里都有,不然会出现错误.注释很详细哦!要引用的命名空间是: using System.Dat ...

  8. grafana导入json文件没有数据_XAMPP客户端环境无法导入较大Mysql数据库文件的解决方法...

    一般我们本地的网站环境是使用的PHPSTUDY软件客户端,但是一般的MacOS下会使用XAMPP客户端,以前我在MAC上也是有使用过的,总感觉没有国产的软件好用所以就没有使用. 今天遇到有网友出现XA ...

  9. php上传查询excel到mysql_PHP上传Excel文件导入数据到MySQL数据库示例

    PHP上传Excel文件导入数据到MySQL数据库示例2020-06-20 00:34:11 最近在做Excel文件导入数据到数据库.网站如果想支持批量插入数据,可以制作一个上传Excel文件,导入里 ...

最新文章

  1. Android替换view父节点,android – issue:指定的子节点已经有父节点.您必须首先在孩子的父母上调用removeView()...
  2. java三维滑雪,第六章 三维数据空间分析方法.ppt
  3. python编程案例教程答案-python编程案例教程pdf下载
  4. 如何提高在家办公的效率?
  5. [转载]acm进阶之路
  6. X3C to X9T
  7. 动态列排序_Excel表格利用函数制作排序器(可依据不同字段、升降序排序)
  8. Linux内核 eBPF基础:perf(4)perf_event_open系统调用与用户手册详解
  9. 转正后的感悟(对正在实习的朋友的建议吧)
  10. HDU 3240 Counting Binary Trees 数论-卡特兰数
  11. centos6.4 32位 详细安装Nginx
  12. logrotate 不生效
  13. Linux入门-安装篇(Debian 服务器版)
  14. shp文件转json
  15. 前台服务java.lang.SecurityException: Permission Denial: startForeground
  16. linux 分区怎样缩小,如何缩小磁盘分区大小
  17. 英国部份城市中英文对照
  18. C# 编辑器 Editor
  19. MTK keypad调试,扩张键盘IC AW9523
  20. KUKA基坐标创建步骤

热门文章

  1. python实现人脸识别复杂么_人脸识别没有那么复杂,Python一行代码就可以办到
  2. 一份不大的救命文档,一场时间与生死的接力
  3. 当 TiDB 与 Flink 相结合:高效、易用的实时数仓
  4. AMAP-TECH算法大赛开赛!基于车载视频图像的动态路况分析
  5. 2019 Flink Forward 大会最全视频来了!(附PPT下载) | 5大专题不容错过
  6. 【实施工程师】Linux安装Windows软件:微信、QQ、TIM
  7. sqlnet.expire_time and idle_time
  8. 四年软件开发转行感受谈
  9. eNSP中玩转Python自动化——解锁网工新姿势
  10. ORA-08176 错误的一个案例