00【陈师兄字节大厂经验分享】

01【MySQL数据同步ES】

1.1【Linux MySQL数据库数据同步Windows ES】

1.1.1【自动创建分片数为0的索引】

1.1.2【数据导入时间过长】

1.2【数据同步，增删改】

1.3【遇到的细节问题】

1.3.1【logstash配置文件，索引名必须小写】

1.4【Linux搭建es】

02【调研】

2.1【Mysql-ES 全量—增量更新机制并实现】

2.2【数据检索（也叫超市或中台）】

00【陈师兄字节大厂经验分享】

大数据
书：《大数据之路》阿里巴巴

大数据，计算和存储，分别用什么！

一致性模型和一致性协议

数据同步：dts canal datax sqoop

数据倾斜方面数据优化

拍照存储计算选型
存储纠删码

省钱减少数据资源

监控binlog日志，标计es，es增加一列，查询的时候根据列显示数据！
canal logstash 并发流读取删除

计算：spark sparkstreaming flink kafka
flume scpoop监听日志文件夹

rabbitmq保证数据一致性，kafka会丢失数据

数据调度，面经，肯定要问！

01【MySQL数据同步ES】

1.1【Linux MySQL数据库数据同步Windows ES】

步骤

MySQL数据库Jar包

xxx.conf配置文件，配置MySQL数据库信息与ES信息

logstash -f ../config/gaokao/mysql03.conf

input {stdin {}jdbc { # 01# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from course_match_requirementcode"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "course_match_requirementcode"}jdbc { # 02# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from enroll_plan_finally"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "enroll_plan_finally"}jdbc { # 03# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from epp"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "epp"}jdbc { # 04# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from id_2022_2021"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "id_2022_2021"}jdbc { # 05# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_22_21"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_22_21"}jdbc { # 06# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_info_category"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_info_category"}jdbc { # 07# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_name_hot_cold"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_name_hot_cold"}jdbc { # 08# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_score"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_score"}jdbc { # 09# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from recommend_form"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "recommend_form"}jdbc { # 10# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from recommend_form_2021"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "recommend_form_2021"}jdbc { # 11# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from requirement_code"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "requirement_code"}jdbc { # 12# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from school_info"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "school_info"}jdbc { # 13# 配置MySQL数据库链接，变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql，文件路径+名称：statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from sectionscore"# 设置监听间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "sectionscore"}
}filter {json {source => "message"remove_field => ["message"]}
}output {if[type] == "course_match_requirementcode" { # 01elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_course_match_requirementcode"document_id => "%{id}"}}if[type] == "enroll_plan_finally" { # 02elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_enroll_plan_finally"document_id => "%{id}"}}if[type] == "epp" { # 03elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_epp"document_id => "%{id}"}}if[type] == "id_2022_2021" { # 04elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_id_2022_2021"document_id => "%{id}"}}if[type] == "major_22_21" { # 05elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_22_21"document_id => "%{id}"}}if[type] == "major_info_category" { # 06elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_info_category"document_id => "%{id}"}}if[type] == "major_name_hot_cold" { # 07elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_name_hot_cold"document_id => "%{id}"}}if[type] == "major_score" { # 08elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_score"document_id => "%{id}"}}if[type] == "recommend_form" { # 09elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_recommend_form"document_id => "%{id}"}}if[type] == "recommend_form_2021" { # 10elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_recommend_form_2021"document_id => "%{id}"}}if[type] == "requirement_code" { # 11elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_requirement_code"document_id => "%{id}"}}if[type] == "school_info" { # 12elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_school_info"document_id => "%{id}"}}if[type] == "sectionscore" { # 13elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_section_score"document_id => "%{id}"}}stdout {codec => json_lines}
}

1.1.1【自动创建分片数为0的索引】

es中若未创建索引，则Logstash会根据配置文件xxx.conf中的信息自动创建索引：

查询数据，enroll_plan_finally数据库，在数据浏览页面数据字段展示不完全。

进行基本查询，可以查到单条数据的所有字段。

1.1.2【数据导入时间过长】

1.2【数据同步，增删改】

修改

1.3【遇到的细节问题】

1.3.1【logstash配置文件，索引名必须小写】

1.4【Linux搭建es】

02【调研】

2.1【Mysql-ES 全量—增量更新机制并实现】

ELK 是目前业界使用最广泛的日志数据处理平台。

调研文档：

logstash jdbc全量更新与增量更新_我在北国不背锅的博客-CSDN博客，时间戳、唯一主键id

centos7配置Logstash同步Mysql数据到Elasticsearch - JavaClub全栈架构师技术笔记

第一次同步时需要全量的数据，之后则需要定时去同步增量数据。1、根据唯一主键，2、根据时间戳。

2.2【数据检索（也叫超市或中台）】

数据检索

概念：数据检索即把数据库中存储的数据根据用户的需求提取出来。数据检索的结果会生成一个数据表，既可以放回数据库，也可以作为进一步处理的对象。

工作流程：先排序再筛选。

检索方法：顺序检索、对分检索、索引检索。

数据中台是对既有/新建信息化系统业务与数据的沉淀，是实现数据赋能新业务、新应用的中间、支撑性平台。

各种信息系统大多是独立建设的，无法做到信息的互联互通，导致形成了多个数据孤岛。数据中台的作用是融合新老信息，整合各个孤岛上的信息，快速形成数据服务能力，为企业经营决策、精细化运营提供支持。

数据中台详解：数据中台详解

数据中台解决方案：数据中台解决方案-最新全套文件_数据中台技术方案

大数据周会-本周学习内容总结05相关推荐

大数据周会-本周学习内容总结0102
目录 01.ElasticSearch-学习总结 02.Springboot+ElasticSearch构建博客检索系统 01.将MySQL数据同步到ES中 02.SpringBoot集成ES 03. ...
大数据周会-本周学习内容总结011
开会时间:2023.04.23 15:00 线下会议目录 01[spark] 02[es同步mysql] 03[下周任务] 01[spark] 尚硅谷大数据技术Spark教程-笔记01[Spark( ...
大数据周会-本周学习内容总结08
目录 01[Hadoop] 1.1[MapReduce] 1.2[Yarn] 1.3[让用户自定义脚本在任意地方都可执行-配置方法] 02[下月学习内容] 老师指导 01[Hadoop] 尚硅谷大数据 ...
大数据周会-本周学习内容总结09
开会时间:2023.04.09 20:00 腾讯会议目录 01[scala] 1.1[已学内容] 1.2[待学内容] 02[Saprk] 会议记录 01[scala] 1.1[已学内容] 尚硅谷大数 ...
大数据周会-本周学习内容总结014
开会时间:2023.05.21 15:00 线下会议目录 01[fhzn项目] 02[Apache NiFi] 03[数据采集-调研] 3.1[数据采集,流程图.架构图.使用场景] 3.2[常见的数 ...
大数据周会-本周学习内容总结07
目录 01[hadoop] 1.1[编写集群分发脚本xsync] 1.2[集群部署规划] 1.3[Hadoop集群启停脚本] 02[HDFS] 2.1[HDFS的API操作] 03[MapReduce ...
大数据周会-本周学习内容总结04
目录 1.mysql数据同步到es 1.1.通过logstash同步数据 1.2.canal数据同步 1.3.通过logstash将本地文件导入es 2.git 1.mysql数据同步到es 1.1. ...
大数据周会-本周学习内容总结015
开会时间:2023.05.28 15:30 线下会议目录 01[fhzny项目] 02[Spark] 03[调研-数仓构建] 3.1[数仓构建,流程图.架构图.使用场景] 场景选择组件设计构建流 ...
大数据周会-本周学习内容总结010
开会时间:2023.04.16 19:00 线下会议目录 01[scala] 02[zookeeper] 03[spark] 04[专利] 会议记录 01[scala] 尚硅谷大数据技术Scala教 ...

大数据周会-本周学习内容总结05

00【陈师兄字节大厂经验分享】

01【MySQL数据同步ES】

1.1【Linux MySQL数据库数据同步Windows ES】

1.1.1【自动创建分片数为0的索引】

1.1.2【数据导入时间过长】

1.2【数据同步，增删改】

1.3【遇到的细节问题】

1.3.1【logstash配置文件，索引名必须小写】

1.4【Linux搭建es】

02【调研】

2.1【Mysql-ES 全量—增量更新机制并实现】

2.2【数据检索（也叫超市或中台）】

大数据周会-本周学习内容总结05相关推荐

最新文章

热门文章