01【Hadoop】

尚硅谷大数据Hadoop教程（Hadoop 3.x安装搭建到集群调优）

1.1【MapReduce】

1.2【Yarn】

1.3【让用户自定义脚本在任意地方都可执行-配置方法】

02【下月学习内容】

重点学习：flink、kafka，次要学习内容：spark。

老师指导

es用户问题。

提前建立es索引问题：es中若未创建索引，则Logstash会根据配置文件xxx.conf中的信息自动创建索引。

大数据存储

小文件存储、图片存储，fastDFS、glusterFS。

分布式小文件系统存储。

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

Gluster File System是一款自由软件，主要由Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。文档也比较齐全，不难上手。

发明专利：发明专利、外观专利、实用新型专利。6月底，技术交底书！

大数据周会-本周学习内容总结08相关推荐

大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
大数据周会-本周学习内容总结011
开会时间:2023.04.23 15:00 线下会议目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...
大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
大数据周会-本周学习内容总结04
目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...
大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择组件设计构建流 ...
大数据周会-本周学习内容总结05
目录 00[陈师兄字节大厂经验分享] 01[MySQL数据同步ES] 1.1[Linux MySQL数据库数据同步Windows ES] 1.1.1[自动创建分片数为0的索引] 1.1.2[数据导入时 ...
大数据周会-本周学习内容总结010
开会时间:2023.04.16 19:00 线下会议目录 01[scala] 02[zookeeper] 03[spark] 04[专利] 会议记录 01[scala] 尚硅谷大数据技术Scala教 ...

大数据周会-本周学习内容总结08

01【Hadoop】

1.1【MapReduce】

1.2【Yarn】

1.3【让用户自定义脚本在任意地方都可执行-配置方法】

02【下月学习内容】

老师指导

大数据周会-本周学习内容总结08相关推荐

最新文章

热门文章