因为选择了ElasticSearch做全文检索，需要把数据从数据库同步到es，此处选择开源方案DataX作为数据同步工具。

官方文档很详细，可以直接参考。

DataXDataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

下载安装

因为编译好的版本里面不包含elasticsearchwriter，所以选择下载代码自己编译打开项目编译mvn -U clean package assembly:assembly -Dmaven.test.skip=true

上传服务器并解压

dataX使用{

"job": {

"setting": {

"speed": {

"channel": 1,

// 设置传输速度，单位为byte/s，DataX运行会尽可能达到该速度但是不超过它

"byte": 1048576

},

// 出错限制

"errorLimit": {

//出错的record条数上限，当大于该值即报错。

"record": 0,

//出错的record百分比上限 1.0表示100%，0.02表示2%

"percentage": 0.02

}

},

"content": [

{

"reader": {

// 从drds读取数据

"name": "drdsreader",

"parameter": {

// 数据库用户名及密码

"username": "xxx",

"password": "xxx",

// 要同步的列

"column": [

"column1", "column2", "column3",

"column4"

],

// 筛选条件，可用做增量数据加载时

"where": "flag = 1",

"connection": [

{

// 表名

"table": [

"table1"

],

// 数据库连接

"jdbcUrl": [

"jdbc:mysql://ip:3306/xxx"

]

}

]

}

},

"writer": {

// 写出到es

"name": "elasticsearchwriter",

"parameter": {

// es连接地址

"endpoint": "http://ip:9200",

// http auth，如果没有就随便写，一定要写，不能为空

"accessId": "mock1",

"accessKey": "mock1",

// 导入到es的指定索引里

"index": "index1",

"type": "_doc",

"discovery": false,

"batchSize": 1000,

"splitter": ",",

// 指定列

"column": [

{"name": "column1", "type": "long"},

// 要做中文分词的列

{ "name": "column2","type": "text", "analyzer": "ik_max_word"},

{ "name": "column3","type": "text" },

{ "name": "column4","type": "integer" }

]

}

}

}

]

}

}

在dataX的bin目录下执行python datax.py {YOUR_JOB.json}

dataX遇到的问题

1.往ES传输数据报错经DataX智能分析,该任务最可能的错误原因是:

com.alibaba.datax.common.exception.DataXException: Code:[Framework-02], Description:[DataX引擎运行过程出错，具体原因请参看DataX运行结束时的错误诊断信息 .]. - java.lang.IllegalArgumentException: Preemptive authentication set without credentials provider

解决：一定要配置accessId和accessKey，如果不需要验证的话，随便配置都可以

2.数据导入ES失败

解决：不要配置Settings，先创建index，再用dataX导入

3.导入es时报错 Rejecting mapping update to [plc-admdvs] as the final mapping would have more than 1 type

解决：配置type: "_doc"