大数据周会-本周学习内容总结013
开会时间:2023.05.07 15:00 线下会议
目录
01【fhzn项目】
02【将es中的json数据存储到mysql中】
03【老师点评】
01【fhzn项目】
- Docker
- Idea项目
- iNode智能客户端:先下载vpn,配置以后才能登录各个组件。
- maven私服替换。
- Java开发手册(黄山版).pdf
- 飞书
- mysql数据库中的数据表结构与字段
02【将es中的json数据存储到mysql中】
数据库版本要求:5.7及以上,5.7版本之后的mysql数据库支持json数据。
将多层的JSON数据存储到MySQL可以采用以下两种方法:
- 将JSON数据转换为字符串,存储在MySQL中的TEXT类型字段中。这种方法简单直接,但是查询和更新时需要手动解析JSON字符串,操作起来不够方便。
- 将JSON数据解析为表格形式,存储在MySQL中的多个表中。这种方法需要根据JSON数据的结构设计合适的数据表,但是可以更方便地进行查询和更新。
数据传输组件:
- Elasticsearch-jdbc
- Elasticsearch Logstash Plugin
- Apache NiFi
03【老师点评】
多层json、更新删除。基于jdbc来做,较为灵活,写个同步程序,更新删除的逻辑,数据不一致的修复,es与sql结构数据的安排,日志数据同步,自增id,二分查找快速定位。
基于jdbc来做多层json的更新删除。
DataEase
DataEase - 人人可用的开源数据可视化分析工具 - 官网
为拓展视野及团队技术积累,每周例会增加调研分析汇报。
每周调研内容:
- 数据采集(第一周)
- 数仓构建(场景(实时、离线)、组件、流程)(第二周)【元数据管理、主数据】
- 数据应用(BI、推荐)
- 计算(实时、离线)(第三周)
- 数据分析(质量、ETL、可视化)(第四周)
- 任务调度(第五周)
共享文档里以自己名字命名文件夹,二级文件夹按日期命名。
上传调研文档到共享文档,文档至少应包含以下模块,介绍、流程图(或加构图)。数据平台、数据存储。
下周分享“数据采集”,流程图、架构图、使用场景,每人五分钟。
大数据周会-本周学习内容总结013相关推荐
- 大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
- 大数据周会-本周学习内容总结011
开会时间:2023.04.23 15:00 线下会议 目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...
- 大数据周会-本周学习内容总结08
目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...
- 大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议 目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
- 大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议 目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
- 大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
- 大数据周会-本周学习内容总结04
目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...
- 大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议 目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择 组件设计 构建流 ...
- 大数据周会-本周学习内容总结05
目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...
最新文章
- 【NLP傻瓜式教程】手把手带你RNN文本分类(附代码)
- Zabbix 3.0 安装
- Centos 安装配置gerrit
- 广州测试沙龙的问题。
- TI DSP simulator 种类选择
- Aop RealProxy 千年遇BUG
- web测试 结果存储类型为“Database”,但尚未指定结果储存库连接字符串
- Windows Server 2012 2R服务器版本域控制器的安装及域环境的搭建(内有镜像下载)...
- Qt_MsgBox 非常简单 自定义实现类似QMessageBox的弹窗 静态调用
- 项目管理:系统需求分析模板
- TOEFL wordlist 23
- 用java程序实现记单词_GitHub - whypro/Hello-Word: 用 JAVA(J2SE) 实现的一个背单词程序,可自由选择词库。...
- 验证p码绕过、密码找回漏洞。。
- MTCNN + Deep_Sort实现多目标人脸跟踪之MTCNN人脸检测部分(一)
- 三菱FX系列PLC编程口通讯协议详解
- 数理统计(matlab实现)
- 中国软件服务外包IT公司最新排名-IT外包最强前50名
- 【网络安全】Metasploit工具
- 网页设计基础学习(一)
- java 字符串判空_java判断字符串String是否为空问题浅析
热门文章
- oracle数据库 cmd,cmd命令操作Oracle数据库
- CSDN博客添加加QQ好友按钮
- java 解除文件占用_Java如何强制删除java程序占用的文件
- Cloudcc通过代码共享数据权限或删除数据权限
- 平面设计培训需要学习多久
- 电源大师课笔记 1.7
- python第三方库安装最常用的方式是_Python安装第三方库常用方法
- 5.6 Mybatis代码生成器Mybatis Generator (MBG)实战详解
- java5.0下载_java虚拟机下载 v5.0 官方免费版
- Android 根据角度旋转图片