大数据周会-本周学习内容总结011
开会时间：2023.04.23 15:00 线下会议
目录
01【spark】
02【es同步mysql】
03【下周任务】
01【spark】
- 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
- 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
- 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】
02【es同步mysql】
通过logstash实现mysql与es的双向数据同步
- logstash -f ../config/newsManager/mysql2es.conf
- logstash -f ../config/newsManager/es2mysql.conf
- 不要用线上测试数据库，用自己的本地库。
- 参考人家的专利，仔细阅读一下。
03【下周任务】
下周任务：
- mysql与es数据同步专利，仔细阅读一下；
- es同步mysql，参考上述专利，具体实现一下；
- 学习后端内容ruoyi。RuoYi-Vue:
大数据周会-本周学习内容总结011相关推荐
- 大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
- 大数据周会-本周学习内容总结08
目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...
- 大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议 目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
- 大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议 目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
- 大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
- 大数据周会-本周学习内容总结04
目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...
- 大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议 目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择 组件设计 构建流 ...
- 大数据周会-本周学习内容总结05
目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...
- 大数据周会-本周学习内容总结010
开会时间:2023.04.16 19:00 线下会议 目录 01[scala] 02[zookeeper] 03[spark] 04[专利] 会议记录 01[scala] 尚硅谷大数据技术Scala教 ...
最新文章
- R语言IQR函数计算四分位数范围IQR（Interquartile Range）实战
- SSH框架搭建问题总结
- python入门编程软件免费-Python 3.7.0编程软件免费下载
- 计算机硬件Word,[计算机硬件及网络]word的操作.doc
- Hadoop之DataNode工作机制
- 设计模式_单实体模式
- 在VS Code中直接调试Web程序，是怎样一种体验？
- MySqlDataReader在Using中使用
- 团队作业4——第一次项目冲刺（Alpha版本）第三天
- Linux 目录配置标准：FHS
- 移动web开发-------meta
- 多线程编程之二——MFC中的多线程开发（收藏）
- Java 实现 8 大排序算法
- aligned_allocator
- “Python小屋”免费资源汇总（截至2018年11月28日）
- SqLite 文件查看编辑工具
- js字符串转与json对象类型转换
- 磁盘碎片管理Diskeeper或V-locity
- 求1-100之间所有的质数的和
- Docker安装Tomcat无法访问
热门文章