记录一下学习datax把mysql数据存入es遇到的问题

2022-04-18 10:15:53.417 [job-0] ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-03], Description:[mappings错误.].  - org.apache.http.client.ClientProtocolException
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.writer.elasticsearchwriter.ESWriter$Job.prepare(ESWriter.java:76) ~[elasticsearchwriter-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.JobContainer.prepareJobWriter(JobContainer.java:724) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.JobContainer.prepare(JobContainer.java:309) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:115) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na]
2022-04-18 10:15:53.424 [job-0] INFO  StandAloneJobContainerCommunicator - Total 0 records, 0 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 0.00%
2022-04-18 10:15:53.425 [job-0] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-03], Description:[mappings错误.].  - org.apache.http.client.ClientProtocolException
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.plugin.writer.elasticsearchwriter.ESWriter$Job.prepare(ESWriter.java:76)
        at com.alibaba.datax.core.job.JobContainer.prepareJobWriter(JobContainer.java:724)
        at com.alibaba.datax.core.job.JobContainer.prepare(JobContainer.java:309)
        at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:115)
        at com.alibaba.datax.core.Engine.start(Engine.java:92)
        at com.alibaba.datax.core.Engine.entry(Engine.java:171)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

导致此问题的原因是配置ES链接时端口弄错(网上copy的列子)

"writer": {
                  "name": "elasticsearchwriter",
                  "parameter": {
                      "endpoint":"http://192.168.29.14:9300",
                      "accessId":"root",
                      "accessKey":"root",
                      "index": "mysql2es",
                      "type": "_doc",
                      "cleanup": false,
                      "discovery":false,
                      "column": [
                          {
                            "name": "order_id",
                            "type": "keyword"
                          },
                        {
                            "name": "pay_time",
                            "type": "keyword"
                        },

]
                  }
              }

把链接ES的端口9300改成9200

{
    "job": {
      "setting": {
          "speed": {
              "channel": 1
          },
          "errorLimit": {
              "percentage": 0
          }
      },
      "content": [
          {
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "cy_test",
                    "password": "cy_test",
                    "connection": [{
                        "querySql": ["select order_id,pay_time from t_order"],
                        "jdbcUrl": ["jdbc:mysql://192.168.29.15:3306/cy_test"]
                    }]
                }
            },
              "writer": {
                  "name": "elasticsearchwriter",
                  "parameter": {
                      "endpoint":"http://192.168.29.14:9200",
                      "accessId":"root",
                      "accessKey":"root",
                      "index": "mysql2es2",
                      "type": "id",
                      "cleanup": false,
                      "discovery":false,
                      "column": [
                          {
                            "name": "order_id",
                            "type": "keyword"
                          },
                        {
                            "name": "pay_time",
                            "type": "keyword"
                        }
                      ]
                  }
              }
            }
        ]
        }
    }

com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-03]相关推荐

  1. SpringBoot启动dubbo出现com.alibaba.dubbo.common.bytecode.Wrapper12: inconsistent stack height -1异常

    出现以下错误:原因是: 定义服务接口方法的时候 不能已get开头, 例如:getXXX() 换成别的方法名 例如selectXXX() 之后 错误消失. 2018-08-17 09:42:51.125 ...

  2. io.seata.common.exception.ShouldNeverHappenException: Could not found any index in the table

    报错关键语句: Caused by: io.seata.common.exception.ShouldNeverHappenException: Could not found any index i ...

  3. ERROR 26884 — [nio-8080-exec-2] i.r.common.exception.RRExceptionHandler

    When allowCredentials is true, allowedOrigins cannot contain the special value "*" since t ...

  4. 【gulimall】com.alibaba.nacos.api.exception.NacosException: java.lang.reflect.InvocationTargetExcepti

    今天在写谷粒商城时,出现以下报错: com.alibaba.nacos.api.exception.NacosException: java.lang.reflect.InvocationTarget ...

  5. com.alibaba.rocketmq.client.exception.MQClientException: No route info of this topic, topic_orderCre

    相信大家在学习使用RocketMQ的时候遇到了跟我一样的坑,网上找到的很多教程都是基于linux环境下的,而在Windows环境下的RocketMQ的java代码实现demo,让我折腾了很久: 首先贴 ...

  6. PLB配置:PLB中新建负载均衡-新增server,点击“保存”,页面报错:介质包上传失败。后台异常:com.primeton.appserver.common.exception.BaseExcep

    [问题描述] PLB V6中新建负载均衡-新增server,点击"保存",页面报错:介质包上传失败.后台异常:com.primeton.appserver.common.excep ...

  7. org.jeecgframework.core.common.exception.MyExceptionHandler]java.lang.NullPointerException

    问题原因:

  8. 报错:Caused by: tech.yooo.common.exception.controller.ControllerException: null

    String的isEmpty()方法,在String为null的时候,会出现空指针错误!因为为null的时候,String 不会创建占位符.换StringUtils.isNotBlank()或者Str ...

  9. datax 持续数据同步_DataX数据同步

    因为选择了ElasticSearch做全文检索,需要把数据从数据库同步到es,此处选择开源方案DataX作为数据同步工具. 官方文档很详细,可以直接参考. DataXDataX 是一个异构数据源离线同 ...

  10. DataX Hdfs HA(高可用)配置支持

    官方文档地址 DataX HdfsReader 插件文档 DataX HdfsWriter 插件文档 Reader插件文档明确说明 而配置中又有HA相关配置 没办法只能试试呗!Reader和Write ...

最新文章

  1. 机器学习知识点(三十五)蒙特卡罗方法
  2. kotlin学习笔记——类、函数、接口
  3. SAP S/4HANA Layer Repository(LREP)的读取逻辑调试
  4. How to use filter in Analytics Path Framework
  5. 【JOURNAL】集花酒联
  6. BCVP开发者社区2022专属周边第一弹
  7. oracle表重命名 索引,CSS_在Oracle数据库中按用户名重建索引的方法,如果你管理的Oracle数据库下某 - phpStudy...
  8. Nginx学习之十-超时管理(定时器事件)
  9. itlwm驱动_GitHub - sjoye/itlwm: IntelWifi
  10. echarts-for-react的使用详解
  11. 安卓udp发包工具_Sendip 命令行发包工具,支持IP、TCP、UDP等
  12. 史上最全的开源库整理
  13. 倒数日怎么显示在桌面_偏头痛是怎么来的?医生:和这4个因素关系密切,要注意...
  14. 通过海康sdk实现指定时间段内的录像文件下载
  15. 解决 chrome 启动时强制打开2345导航(或其他网址)的方法
  16. 解决vue项目格式报错问题_@jie
  17. 2019年云计算将有哪些变化?云计算未来前景
  18. java实现DSA签名、验签
  19. 实现一下模式识别(三)FLD
  20. java8中的Collectors.groupingBy用法

热门文章

  1. winxp无法访问服务器共享文件夹,winxp系统无法访问共享文件夹提示网络错误的技巧介绍...
  2. 小米路由器青春版刷Padavan固件
  3. 中介效应、调节效应与交互作用咋回事?
  4. 使用管理员权限打开cmd(命令提示符)的方法 (Windows10)
  5. 计算机的DNS地址如何设置,如何设置电脑的DNS地址?
  6. tcp/ip协议栈总结
  7. 怎样在Excel顶部单元格操作锁定,技巧干货!Excel如何冻结首行单元格?
  8. 2021年中国上牌和驾驶员数量分析:新注册登记机动车3674万辆 新领证驾驶人2750万人[图]
  9. 使用kubeadm安装kuberneters
  10. Intel CPU发展简史