开会时间:2023.05.07 15:00 线下会议

目录

01【fhzn项目】

02【将es中的json数据存储到mysql中】

03【老师点评】


01【fhzn项目】

  1. Docker
  2. Idea项目
    1. iNode智能客户端:先下载vpn,配置以后才能登录各个组件。
    2. maven私服替换。
  3. Java开发手册(黄山版).pdf
  4. 飞书
  5. mysql数据库中的数据表结构与字段

02【将es中的json数据存储到mysql中】

数据库版本要求:5.7及以上,5.7版本之后的mysql数据库支持json数据。

将多层的JSON数据存储到MySQL可以采用以下两种方法:

  1. 将JSON数据转换为字符串,存储在MySQL中的TEXT类型字段中。这种方法简单直接,但是查询和更新时需要手动解析JSON字符串,操作起来不够方便。
  2. 将JSON数据解析为表格形式,存储在MySQL中的多个表中。这种方法需要根据JSON数据的结构设计合适的数据表,但是可以更方便地进行查询和更新。

数据传输组件:

  1. Elasticsearch-jdbc
  2. Elasticsearch Logstash Plugin
  3. Apache NiFi

03【老师点评】

多层json、更新删除。基于jdbc来做,较为灵活,写个同步程序,更新删除的逻辑,数据不一致的修复,es与sql结构数据的安排,日志数据同步,自增id,二分查找快速定位。

基于jdbc来做多层json的更新删除。

DataEase

DataEase - 人人可用的开源数据可视化分析工具 - 官网

为拓展视野及团队技术积累,每周例会增加调研分析汇报。

每周调研内容:

  1. 数据采集(第一周)
  2. 数仓构建(场景(实时、离线)、组件、流程)(第二周)【元数据管理、主数据】
  3. 数据应用(BI、推荐)
  4. 计算(实时、离线)(第三周)
  5. 数据分析(质量、ETL、可视化)(第四周)
  6. 任务调度(第五周)

共享文档里以自己名字命名文件夹,二级文件夹按日期命名。
上传调研文档到共享文档,文档至少应包含以下模块,介绍、流程图(或加构图)。

数据平台、数据存储。

下周分享“数据采集”,流程图、架构图、使用场景,每人五分钟。

大数据周会-本周学习内容总结013相关推荐

  1. 大数据周会-本周学习内容总结0102

    目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...

  2. 大数据周会-本周学习内容总结011

    开会时间:2023.04.23 15:00 线下会议 目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...

  3. 大数据周会-本周学习内容总结08

    目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...

  4. 大数据周会-本周学习内容总结09

    开会时间:2023.04.09 20:00 腾讯会议 目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...

  5. 大数据周会-本周学习内容总结014

    开会时间:2023.05.21 15:00 线下会议 目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...

  6. 大数据周会-本周学习内容总结07

    目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...

  7. 大数据周会-本周学习内容总结04

    目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...

  8. 大数据周会-本周学习内容总结015

    开会时间:2023.05.28 15:30 线下会议 目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择 组件设计 构建流 ...

  9. 大数据周会-本周学习内容总结05

    目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...

最新文章

  1. 【NLP傻瓜式教程】手把手带你RNN文本分类(附代码)
  2. Zabbix 3.0 安装
  3. Centos 安装配置gerrit
  4. 广州测试沙龙的问题。
  5. TI DSP simulator 种类选择
  6. Aop RealProxy 千年遇BUG
  7. web测试 结果存储类型为“Database”,但尚未指定结果储存库连接字符串
  8. Windows Server 2012 2R服务器版本域控制器的安装及域环境的搭建(内有镜像下载)...
  9. Qt_MsgBox 非常简单 自定义实现类似QMessageBox的弹窗 静态调用
  10. 项目管理:系统需求分析模板
  11. TOEFL wordlist 23
  12. 用java程序实现记单词_GitHub - whypro/Hello-Word: 用 JAVA(J2SE) 实现的一个背单词程序,可自由选择词库。...
  13. 验证p码绕过、密码找回漏洞。。
  14. MTCNN + Deep_Sort实现多目标人脸跟踪之MTCNN人脸检测部分(一)
  15. 三菱FX系列PLC编程口通讯协议详解
  16. 数理统计(matlab实现)
  17. 中国软件服务外包IT公司最新排名-IT外包最强前50名
  18. 【网络安全】Metasploit工具
  19. 网页设计基础学习(一)
  20. java 字符串判空_java判断字符串String是否为空问题浅析

热门文章

  1. oracle数据库 cmd,cmd命令操作Oracle数据库
  2. CSDN博客添加加QQ好友按钮
  3. java 解除文件占用_Java如何强制删除java程序占用的文件
  4. Cloudcc通过代码共享数据权限或删除数据权限
  5. 平面设计培训需要学习多久
  6. 电源大师课笔记 1.7
  7. python第三方库安装最常用的方式是_Python安装第三方库常用方法
  8. 5.6 Mybatis代码生成器Mybatis Generator (MBG)实战详解
  9. java5.0下载_java虚拟机下载 v5.0 官方免费版
  10. Android 根据角度旋转图片