开会时间：2023.05.07 16:00 线下会议

01【es数据同步至mysql】

1.1【在es中插入数据后能够同步到mysql中】

1.2【修改与删除es中的数据】

02【nifi】

2.1【Nifi的单机及分布式集群部署】

2.2【nifi集群，getFile简单使用nifi】

2.3【nifi使用案例】

03【ruoyi学习】

04【spark学习】

05【es数据同步bug记录】

06【可视化报表】

01【es数据同步至mysql】

1.1【在es中插入数据后能够同步到mysql中】

经过测试，可以实现如下功能：使用postman工具的“PUT”请求在es中插入数据后，数据能够同步至MySQL数据库中。

input {elasticsearch {hosts => ["hadoop100:9200"]index => "test_user_info"query => '{ "query": { "match_all": {} } }'schedule => "* * * * *"}
}output {jdbc {driver_jar_path => "/opt/jar/mysql-connector-java-8.0.21.jar"driver_class => "com.mysql.cj.jdbc.Driver"connection_string => "jdbc:mysql://hadoop100:3306/newsManagerEs?useSSL=true&useUnicode=true&characterEncoding=utf8&serverTimezone=GMT&user=root&password=123456"statement => ["INSERT INTO user_info (user_id, user_name, user_pwd, create_time, update_time, status) VALUES (?, ?, ?, STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), ?)", "[user_id]", "[user_name]", "[user_pwd]", "[create_time]", "[update_time]", "[status]"]}
}

1.2【修改与删除es中的数据】

修改数据，不成功！

删除数据，不成功！

想要实现修改与删除操作，必须要修改logstash配置文件中的sql语句。

02【nifi】

nifi任务：支持什么端到什么端（ftp\mysql\hadoop\spark），跑几个小demo。

2.1【Nifi的单机及分布式集群部署】

zk.sh start

/opt/module/nifi/bin/nifi.sh start

/opt/module/nifi/bin/nifi.sh status

2.2【nifi集群，getFile简单使用nifi】

2.3【nifi使用案例】

nifi任务：支持什么端到什么端（ftp\mysql\hadoop\spark），跑几个小demo。

案例1：实现同步文件到hdfs
案例2：离线同步mysql数据到hdfs
案例3：实时监控kafka数据到hdfs

03【ruoyi学习】

需要的软件：

Gitee

MySQL

Redis

Node.js

Jetbrains IntelliJ IDEA

主要学习若依admin与system模块。

实现数据库中`sys_notice`数据表的增删改查，掌握基本的springboot知识。模仿已实现的模块，参考controller，使用postman测试接口。

运行ruoyi项目后，在浏览器中按F12查看Fetch/XHR的请求数据。

04【spark学习】

笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】

笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】

笔记03【SparkCore（核心编程，RDD-转换算子-案例实操）】

笔记04【SparkCore（核心编程，RDD-行动算子-序列化-依赖关系-持久化-分区器-文件读取与保存）】

笔记05【SparkCore（核心编程，累加器、广播变量）】

笔记06【SparkCore（案例实操，电商网站）】

05【es数据同步bug记录】

[2023-04-24T09:22:01,433][ERROR][logstash.outputs.jdbc ][main][0182513607343e6e9911bb0ce7f70a8d51891bc7ebc7bc9b1f020782c6b64fe5] JDBC - Exception. Not retrying {:exception=>#<Java::ComMysqlCjJdbcExceptions::MysqlDataTruncation: Data truncation: Incorrect datetime value: '2020-11-25T08:26:23.000Z' for column 'create_time' at row 1>, :statement=>"INSERT INTO item_user (item_user_id, user_id, item_id, create_time, update_time, status) VALUES (?, ?, ?, ?, ?, ?)", :event=>"{\"item_user_id\":11,\"item_id\":32,\"update_time\":\"2020-11-25T08:26:23.000Z\",\"create_time\":\"2020-11-25T08:26:23.000Z\",\"user_id\":1,\"@timestamp\":\"2023-04-18T15:37:01.625721212Z\",\"status\":1,\"type\":\"item_user\",\"@version\":\"1\"}"}

06【可视化报表】

https://ajreport.beliefteam.cn/index.html

http://cola.icelery.fun/

https://vue.mtruning.club/#/project/items

2023.04.09：反爬虫机制

es到MySQL

数据表分层次
es存储JSON
es三层，拆开表

ea中的json数据，分好几层数据，如何存储到MySQL。

list，MySQL不支持。

通过生成多张数据表对应es多层数据

逻辑功能

大数据周会-本周学习内容总结012相关推荐

大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
大数据周会-本周学习内容总结011
开会时间:2023.04.23 15:00 线下会议目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...
大数据周会-本周学习内容总结08
目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...
大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
大数据周会-本周学习内容总结04
目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...
大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择组件设计构建流 ...
大数据周会-本周学习内容总结05
目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...

大数据周会-本周学习内容总结012

01【es数据同步至mysql】

1.1【在es中插入数据后能够同步到mysql中】

1.2【修改与删除es中的数据】

02【nifi】

2.1【Nifi的单机及分布式集群部署】

2.2【nifi集群，getFile简单使用nifi】

2.3【nifi使用案例】

03【ruoyi学习】

04【spark学习】

05【es数据同步bug记录】

06【可视化报表】

大数据周会-本周学习内容总结012相关推荐

最新文章

热门文章