FlieBeat Kafka Clickhouse 替代ELK 系列一

背景
saas服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。
elasticsearch vs clickhouse
ClickHouse是一款高性能列式分布式数据库管理系统，我们对ClickHouse进行了测试，发现有下列优势：
ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题，在ClickHouse中不容易发生。
查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。经测试ClickHouse的查询速度比ES快5-30倍以上。
ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占用的磁盘空间只有ES的1/3到1/30，节省了磁盘空间的同时，也能有效的减少磁盘IO，这也是ClickHouse查询效率更高的原因之一；另一方面ClickHouse比ES占用更少的内存，消耗更少的CPU资源。我们预估用ClickHouse处理日志可以将服务器成本降低一半。

支持功能\开源项目ElasticSearchClickHouse查询javac++存储类型文档存储列式数据库分布式支持分片和副本都支持分片和副本都支持扩展性高低写入速度慢快CPU/内存占用高低存储占用（54G日志数据导入）高 94G(174%)低 23G（42.6%）精确匹配查询速度一般快模糊匹配查询速度快慢权限管理支持支持查询难度低高可视化支持高低使用案例很多携程维护难度低高
成本分析
备注：在没有任何折扣的情况下，基于aliyun分析

成本项标准费用说明总费用zookeeper 集群2核4g 共享计算型 n4 50G SSD 云盘222/月 3台高可用666/月kafka 集群4核 8g 共享标准型 s650G SSD 云盘300G 数据盘590/月3台高可用1770/月filebeat 部署混部相关的应用，会产生一定的内存以及磁盘开销，对应用的可用性会造成一定的影响。clickhouse 16核32g 共享计算型 n450G SSD 云盘1000G 数据盘2652/月2台高可用5304/月总费用7740/月
环境部署
zookeeper 集群部署

yum install java-1.8.0-openjdk-devel.x86_64
/etc/profile 配置环境变量
更新系统时间
yum install ntpdate
ntpdate asia.pool.ntp.org

mkdir zookeeper
mkdir ./zookeeper/data
mkdir ./zookeeper/logs

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
tar -zvxf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/zookeeper

export ZOOKEEPER_HOME=/usr/zookeeper/apache-zookeeper-3.7.1-bin
export PATH=ZOOKEEPERHOME/bin:ZOOKEEPER_HOME/bin:ZOOKEEPERHOME/bin:PATH

进入ZooKeeper配置目录
cd $ZOOKEEPER_HOME/conf

新建配置文件
vi zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/data
dataLogDir=/usr/zookeeper/logs
clientPort=2181
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

在每台服务器上执行，给zookeeper创建myid
echo “1” > /usr/zookeeper/data/myid
echo “2” > /usr/zookeeper/data/myid
echo “3” > /usr/zookeeper/data/myid

进入ZooKeeper bin目录
cd $ZOOKEEPER_HOME/bin
sh zkServer.sh start
复制代码
Kafka 集群部署
mkdir -p /usr/kafka
chmod 777 -R /usr/kafka
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.2.0/kafka_2.12-3.2.0.tgz
tar -zvxf kafka_2.12-3.2.0.tgz -C /usr/kafka

不同的broker Id 设置不一样，比如 1,2,3
broker.id=1
listeners=PLAINTEXT://ip:9092
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dir=/usr/kafka/logs
num.partitions=5
num.recovery.threads.per.data.dir=3
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
zookeeper.connection.timeout.ms=30000
group.initial.rebalance.delay.ms=0

后台常驻进程启动kafka
nohup /usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-start.sh /usr/kafka/kafka_2.12-3.2.0/config/server.properties >/usr/kafka/logs/kafka.log >&1 &

/usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-stop.sh

$KAFKA_HOME/bin/kafka-topics.sh --list --bootstrap-server ip:9092

$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test --from-beginning

$KAFKA_HOME/bin/kafka-topics.sh --create --bootstrap-server ip:9092 --replication-factor 2 --partitions 3 --topic xxx_data
复制代码
FileBeat 部署
sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

Create a file with a .repo extension (for example, elastic.repo) in your /etc/yum.repos.d/ directory and add the following lines:
在/etc/yum.repos.d/ 目录下创建elastic.repo

[elastic-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

yum install filebeat
systemctl enable filebeat
chkconfig --add filebeat
复制代码
FileBeat 配置文件说明，坑点1（需设置keys_under_root: true）。如果不设置kafka的消息字段如下：

文件目录： /etc/filebeat/filebeat.yml

filebeat.inputs:

type: log
  enabled: true
  paths:
    - /root/logs/xxx/inner/*.log
  json:
如果不设置该索性，所有的数据都存储在message里面，这样设置以后数据会平铺。
       keys_under_root: true
output.kafka:
  hosts: [“kafka1:9092”, “kafka2:9092”, “kafka3:9092”]
  topic: ‘xxx_data_clickhouse’
  partition.round_robin:
            reachable_only: false
            required_acks: 1
            compression: gzip
processors:
剔除filebeat 无效的字段数据
    - drop_fields:
        fields: [“input”, “agent”, “ecs”, “log”, “metadata”, “timestamp”]
        ignore_missing: false

nohup ./filebeat -e -c /etc/filebeat/filebeat.yml > /user/filebeat/filebeat.log &
输出到filebeat.log文件中，方便排查
复制代码
clickhouse 部署

检查当前CPU是否支持SSE 4.2，如果不支持，需要通过源代码编译构建
grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported”
返回 “SSE 4.2 supported” 表示支持，返回 “SSE 4.2 not supported” 表示不支持

创建数据保存目录，将它创建到大容量磁盘挂载的路径
mkdir -p /data/clickhouse
修改/etc/hosts文件，添加clickhouse节点
举例：
10.190.85.92 bigdata-clickhouse-01
10.190.85.93 bigdata-clickhouse-02

服务器性能参数设置：
cpu频率调节，将CPU频率固定工作在其支持的最高运行频率上，而不动态调节，性能最好
echo ‘performance’ | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

内存调节，不要禁用 overcommit
echo 0 | tee /proc/sys/vm/overcommit_memory

始终禁用透明大页(transparent huge pages)。它会干扰内存分配器，从而导致显着的性能下降
echo ‘never’ | tee /sys/kernel/mm/transparent_hugepage/enabled

首先，需要添加官方存储库：
yum install yum-utils
rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64

查看clickhouse可安装的版本：
yum list | grep clickhouse
运行安装命令：
yum -y install clickhouse-server clickhouse-client

修改/etc/clickhouse-server/config.xml配置文件，修改日志级别为information，默认是trace
information
执行日志所在目录：

正常日志
/var/log/clickhouse-server/clickhouse-server.log
异常错误日志
/var/log/clickhouse-server/clickhouse-server.err.log

查看安装的clickhouse版本：
clickhouse-server --version
clickhouse-client --password

sudo clickhouse stop
sudo clickhouse tart
sudo clickhouse start
复制代码

总结
整个部署的过程踩了不少坑，尤其是filebeat yml的参数设置。clickhouse 的配置说明我会再更新一篇跟大家同步一下过程中踩的坑。很久没有更新博客了，经常看到博客35岁以后怎么办的问题。说实话我自己也没想好以后怎么办，核心还是持续的学习&输出。不断的构建自己的护城河，不管是技术专家、业务专家、架构、管理等。个人建议如果能持续写代码就奋战在一线，管理彻底与公司绑定。除非你是有名的大厂，这另外看。如果所在的公司缺乏较大的行业影响力，个人感觉可以奋战在一线，未来选择新的工作。考量更多的还是行业影响、商业sense、技术架构能力。现在的我已35，从容的面对每一天。

作者：程序_艺术_人生
链接：https://juejin.cn/post/7120880190003085320
来源：稀土掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

FlieBeat Kafka Clickhouse 替代ELK 系列一相关推荐

从零学ELK系列（一）:为什么要跟我学从零学ELK系列
[前言] 网上写ELK日志收集系统,项目集成ELK,Docker,本地安装虚拟机这些孤立技术点文章汗牛充栋:但是很少有文章能即生动又能结合场景的从零一步一步搭建一套生产级日志收集系统并将生产项目集成日 ...
从零学ELK系列（十一）:SpringBoot项目接入ELK超级版（超详细图文教程）
前言之前在<从零学ELK系列(十):SpringBoot项目接入ELK升级版(超详细图文教程)>中演示了SpringBoot项目接入ELK请求记录及优化,本次针对于未知异常通过拦截进行记 ...
ELK系列(四)、Logstash读取nginx日志写入ES中
前面讲了ELK的部署以及Logstash的插件的安装方式,本篇就介绍一下如何使用Logstash读取nginx的日志,并写入ES中,通过Kibana分析. ELK系列(一).安装ElasticSear ...
从零学ELK系列（十）:SpringBoot项目接入ELK升级版（超详细图文教程）
前言之前在<从零学ELK系列(八):SpringBoot项目接入ELK(超详细图文教程)>中演示了SpringBoot项目接入ELK,后来项目中对这部分进行了优化,之前博文中也有读者问到 ...
客快物流大数据项目（九十二）：ClickHouse的MergeTree系列引擎介绍和MergeTree深入了解
文章目录 ClickHouse的MergeTree系列引擎介绍和MergeTree深入了解一.MergeTree系列引擎介绍二.MergeTree深入了解 1.创建MergeTree ...
Kafka与Spark集成系列二Spark的安装及简单应用
原 [Kafka与Spark集成系列二] Spark的安装及简单应用https://blog.csdn.net/u013256816/article/details/82082019版权声明:本文为博 ...
ELK系列(十)、ES中文分词器IK插件安装和配置远程词库热加载
简介 IK Analyzer是一个开源的,基于Java语言开发的轻量级的中文分词工具包: 最初,它是以开源项目Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件:从 3.0 版本开始 ...
ELK系列(十五)、Elasticsearch核心原理一篇全搞定
目录 Lucene 介绍核心术语如何理解倒排索引? 检索方式分段存储段合并策略 Elasticsearch 核心概念节点类型集群状态 3C和脑裂 1.共识性(Consensus) 2.并发 ...
kafka创建topic_ELK-基础系列(六)-ELK加入消息队列-Kafka部署
Kafka集群部署指南一.前言 1.Kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台.Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消 ...

FlieBeat Kafka Clickhouse 替代ELK 系列一

FlieBeat Kafka Clickhouse 替代ELK 系列一相关推荐

最新文章

热门文章