linux server.xml日志参数,Linux Log4j+Kafka+KafkaLog4jAppender 日志收集
背景:
kafka版本:kafka_2.10-0.8.2.1
服务器IP:10.243.3.17
一:Kafkaserver.properties 文件配置
二:zookeeper.properties 文件配置
三: zookeeper,kafka启动
../bin/zookeeper-server-start.sh -daemon /usr/local/kafka_2.10-0.8.2.1/config/zookeeper.properties
../bin/kafka-server-start.sh -daemon /usr/local/kafka_2.10-0.8.2.1/config/server.properties &
四:创建Topic
../bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
五: log4j.xml文件配置
六:常见问题
如遇到问题,首先确定参数配置是否正确,尤其是host,port,advertised.host.name; 然后删除kafka-logs-1,zookeeper-logs; 重新启动zookeeper,kafka;
重新创建topic
七:附录, 非log4j java连接kafka配置参考
import org.apache.log4j.Logger;
import scala.App;
/**
* TODO:
*
* @author gengchong
* @date 2016年1月5日 上午9:21:16
*/
public class KafkaApp {
private static final Logger LOGGER = Logger.getLogger(App.class);
public static void main(String[] args) throws InterruptedException {
for (int i = 0; i < 20; i++) {
LOGGER.info("Info [" + i + "]");
Thread.sleep(1000);
}
}
}
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
/**
* TODO:
*
* @author gengchong
* @date 2016年1月5日 下午1:55:56
*/
public class KafakProducer {
private static final String TOPIC = "test";
private static final String CONTENT = "This is a single message";
private static final String BROKER_LIST = "10.243.3.17:8457";
private static final String SERIALIZER_CLASS = "kafka.serializer.StringEncoder";
public static void main(String[] args) {
Properties props = new Properties();
props.put("serializer.class", SERIALIZER_CLASS);
props.put("metadata.broker.list", BROKER_LIST);
ProducerConfig config = new ProducerConfig(props);
Producer producer = new Producer(config);
//Send one message.
KeyedMessage message =
new KeyedMessage(TOPIC, CONTENT);
producer.send(message);
//Send multiple messages.
List messages =
new ArrayList();
for (int i = 0; i < 5; i++) {
messages.add(new KeyedMessage
(TOPIC, "============== send Message. " + i));
}
producer.send(messages);
}
}
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import com.google.common.collect.ImmutableMap;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.message.MessageAndMetadata;
/**
* TODO:
*
* @author gengchong
* @date 2016年1月5日 上午9:22:04
*/
public class KafkaConsumer {
private static final String ZOOKEEPER = "10.243.3.17:2181";
//groupName可以随意给,因为对于kafka里的每条消息,每个group都会完整的处理一遍
private static final String GROUP_NAME = "test_group";
private static final String TOPIC_NAME = "test";
private static final int CONSUMER_NUM = 4;
private static final int PARTITION_NUM = 4;
public static void main(String[] args) {
// specify some consumer properties
Properties props = new Properties();
props.put("zookeeper.connect", ZOOKEEPER);
props.put("zookeeper.connectiontimeout.ms", "1000000");
props.put("group.id", GROUP_NAME);
// Create the connection to the cluster
ConsumerConfig consumerConfig = new ConsumerConfig(props);
ConsumerConnector consumerConnector =
Consumer.createJavaConsumerConnector(consumerConfig);
// create 4 partitions of the stream for topic “test”, to allow 4
// threads to consume
Map> topicMessageStreams =
consumerConnector.createMessageStreams(
ImmutableMap.of(TOPIC_NAME, PARTITION_NUM));
List streams = topicMessageStreams.get(TOPIC_NAME);
// create list of 4 threads to consume from each of the partitions
ExecutorService executor = Executors.newFixedThreadPool(CONSUMER_NUM);
// consume the messages in the threads
for (final KafkaStream stream : streams) {
executor.submit(new Runnable() {
public void run() {
for (MessageAndMetadata msgAndMetadata : stream) {
// process message (msgAndMetadata.message())
System.out.println(new String(msgAndMetadata.message()));
}
}
});
}
}
}
linux server.xml日志参数,Linux Log4j+Kafka+KafkaLog4jAppender 日志收集相关推荐
- linux my.cnf基本参数,Linux中MySQL配置文件my.cnf参数说明
MySQL参数优化这东西不好好研究还是比较难懂的,其实不光是MySQL,大部分程序的参数优化,是很复杂的.MySQL的参数优化也不例外,对于不同的需求,还有硬件的配置,优化不可能又最优选择,只能慢慢的 ...
- linux 安装 加入内核参数,Linux 实现自动安装服务组件以及优化内核参数
安装好Linux裸机后(安装请参考: http://www.linuxidc.com/Linux/2014-12/111062.htm),还需要在其上安装一些基础组件,一般是手动一个个安装,比较繁复也 ...
- linux线程多参数传递参数,Linux中多线程编程并传递多个参数
解析Linux中多线程编程并传递多个参数 Linux中多线程编程并传递多个参数实例是本文讲解的内容,不多说,先来看内容. Linux下的多线程编程,并将多个参数传递给线程要执行的函数. 以下是实验程序 ...
- linux设置sfq队列参数,Linux系统运维之Linux高级流量控制工具TC使用方法
Linux系统运维之Linux高级流量控制工具TC使用方法 本文标签: 运维 流量劫持 Linux系统运维之Linux高级流量控制工具TC使用方法, 在做MHA测试的时候,有一个重要的环节就是测试MH ...
- java 统一日志_基于log4j实现统一日志管理
背景: 一般操作系统级的告警有相关的软件,但我们应用级日志往往无法统一监控.分析.因为最近的项目是比较大的一个平台,有七.八个子系统,weblogic域也有三.四个.如果用户自身能够实时监控到应用级致 ...
- java kettle 日志 log_kettle使用log4j管理输出日志
标签: 在使用kettle进行数据分析和清洗时日志非常多而且杂乱,使用原有的日志有时找不到异常的位置,有时日志不够详细,说简单一点就是日志不是我们想要的.因而对kettle日志进行相应的管理就想得尤为 ...
- oracle归档日志参数reopen=30,Oracle 归档日志 -- CSDN 比较全的说明文档
-- Oracle归档日志 --==================== Oracle可以将联机日志文件保存到多个不同的位置,将联机日志转换为归档日志的过程称之为归档.相应的日志被称为归档日志. 一. ...
- linux内核优化哪些参数,linux内核参数优化 互联网技术圈 互联网技术圈
一.修改最大进程数 系统允许创建的最大进程数量即是max user processes 这个参数. 我们可以使用 ulimit -u 65535 修改max user processes的值,但是只能 ...
- linux的usermod命令参数,linux usermod命令参数及用法详解
linuxusermod命令参数及用法详解,linux修改用户账号信息命令,usermod可用来修改用户帐号的各项设定.接下来是小编为大家收集的linux usermod命令参数及用法详解,欢迎大家阅 ...
最新文章
- Centos 7.0设置/etc/rc.local无效问题解决
- 微课视频小学用计算机画画,初识电脑绘画
- java广度优先爬虫示例,【爬虫】广度优先遍历抓取数据概述
- Pinyin4j 的使用 Pinyin4jUtils工具类
- 程序员的算法课(8)-贪心算法:理解霍夫曼编码
- IDEA查看Maven路径
- 《精解Windows8》——2.10 共享
- dynamic结合匿名类型 匿名对象传参
- eclipse创建maven项目的创建
- c语言程序设计 k,《C语言程序设计》谭浩强版-教学教案 k.doc
- 2012移动开发者经济学
- 好听的女孩名字2225个 懿婕、馨媛、雨熙、若涵、馨瑜、瑾涵、羽欣、琪悦、逸菲、馨瑜、雨婷、昕妤、婉婷、梦琪、馨月、佳瑜、晓琦、婷瑛、诗琪、瑾瑜、艺琳、雨婷、欣怡、诗雨、佳琪、悦涵、昕瑶、蓓佳、诗萌、
- java版我的世界附魔指令_我的世界手机版附魔指令 怎么使用附魔指令大全
- 三跨考研浙江大学计算机,“三跨”考研的焦虑 你能承受多少
- Codeforces 769B 暴力
- 流量监控服务器应该位置在哪里,搭建cacti流量监控服务器.pdf
- android 之电话监听
- php做mes系统,mes系统的七大功能是什么
- 程序员苏享茂:怎样才能遇到对的人?
- 1.2命题公式及其赋值