大数据周会-本周学习内容总结04
目录
1、mysql数据同步到es
1.1、通过logstash同步数据
1.2、canal数据同步
1.3、通过logstash将本地文件导入es
2、git
1、mysql数据同步到es
1.1、通过logstash同步数据
elastic官方文档：如何使用Logstash和JDBC确保 Elasticsearch与关系型数据库保持同步，
https://www.elastic.co/cn/blog/how-to-keep-elasticsearch-synchronized-with-a-relational-database-using-logstash
1.2、canal数据同步
Canal作用：主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。
效果：
单条sql语句：
多条sql语句：
Canal调研文档：
- 如何使用canal将MySQL数据同步到表格存储_表格存储-阿里云帮助中心
- 简介：对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。
- 前提条件
- 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。
- 已创建目标Tablestore表。
- GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件
- Alibaba canal官方文档
- Canal Kafka RocketMQ QuickStart · alibaba/canal Wiki · GitHub
- 小demo，Canal Kafka RocketMQ QuickStart
1.3、通过logstash将本地文件导入es
ELK：logstash，通过配置logstash.conf文件的方式将xxx.csv数据导入es。
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。
2、git
安装：Git-2.13.0-64-bit.exe、TortoiseGit-2.4.0.2-64bit.msi。
学习内容：
- git安装、TortoiseGit安装
- 使用git管理文件版本
- 创建版本库：使用git方式、使用TortoiseGit方式
- 添加文件
- 修改文件：提交修改、查看修改历史、差异对比、还原修改
- 删除文件
大数据周会-本周学习内容总结04相关推荐
- 大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议 目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
- 大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
- 大数据周会-本周学习内容总结011
开会时间:2023.04.23 15:00 线下会议 目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...
- 大数据周会-本周学习内容总结08
目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...
- 大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议 目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
- 大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
- 大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议 目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择 组件设计 构建流 ...
- 大数据周会-本周学习内容总结05
目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...
- 大数据周会-本周学习内容总结010
开会时间:2023.04.16 19:00 线下会议 目录 01[scala] 02[zookeeper] 03[spark] 04[专利] 会议记录 01[scala] 尚硅谷大数据技术Scala教 ...
最新文章
- 【java】兴唐第二十一节（LinkedList和泛型）
- 清华博士后用10分钟讲解AlphaCode背后的技术原理，原来程序员不是那么容易被取代的！...
- 判断题:oracle自带的sql语言环境是pl/sql,Oracle之PL/SQL学习笔记之数据类型(三)
- leetcode算法题--对称的二叉树
- 前端学习（2978）：上午回顾
- perl 正则表达式 引擎_Perl 5引擎概述
- 99%的人都不知道的鸡兔同笼解法！
- Java帧率,android应用性能优化之帧率 - hellominefriend的个人空间 - 51Testing软件测试网 51Testing软件测试网-软件测试人的精神家园...
- 项目初期不同职位的人如何沟通？以及沟通的效率
- 学python对excel有用吗_程序员必修课：为什么非要用Python做数据分析？Excel不好吗？...
- VS code open in browser无法打开chrome浏览器的解决办法
- 数据库 - 交集、并集和补集
- 任天堂游戏 html5,任天堂Switch游戏销量排行Top40，赶快收藏跟着买就对啦！
- ca 手机抓包_抓包安卓7以上ca证书安装方法
- Python实用工具之制作证件照（有界面、附源码、赞关藏）
- 【论文精读】基于周期编码深度自编码器的心肺音盲单耳声源分离
- CityMaker学习教程08 一个示例，创建漫游路径
- [CocosCreator]热更新插件使用心得以及注意事项
- A2B的典型应用-给汽车的车机系统做从设备板
- CR总结--java函数CR