td-agent 安装，配置，采集日志到postgresql

系统版本：ubuntu 16.04

td-agent版本：2.1.0

postgresql版本：10.0

安装td-agent: curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent2.sh | sh
配置td-agent小版本：vi /lib/systemd/system/td-agent.service
启动td-agent: systemctl daemon-reload %{color: #24292e; font-variant-ligatures: normal;}systemctl start td-agent%
配置安装Postgresql Output Plugin: %{color: #24292e; font-variant-ligatures: normal;}sudo /usr/sbin/td-agent-gem install fluent-plugin-postgres%
查看已安装的Plugin: /usr/sbin/td-agent-gem list | grep fluent-plugin
修改配置文件：vi /etc/td-agent/td-agent.conf

<source>

@type tail

path /tmp/tarcy/1.log

pos_file /var/log/td-agent/1.log.pos

tag postgresql.*

format /^(?<order_id>[^|]*)[|]*(?<ts>[^|]*)[|]*(?<pos>[^|]*)$/

time_format %Y-%m-%d %H:%M:%S.%N

multiline_flush_interval 5s

refresh_interval 5s

</source>

<match postgresql.tmp.tarcy.1.log>

@type postgres

host localhost

port 5432

database postgres

username postgres

password postgres

key_names order_id,ts,pos

sql INSERT INTO s1 VALUES ($1,$2,$3)

flush_intervals 5s

</match>

td-agent 安装，配置，采集日志到postgresql相关推荐

【EMCC】 12.1.0.5 OEM server agent 安装配置及监控MySQL数据库
[EMCC]Oracle Enterprise Manager Cloud Control 12.1.0.5 OEM server agent 安装配置及监控MySQL数据库原文: https:// ...
zabbix agent安装配置
下载zabbix源,更新下载源为阿里云 rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-relea ...
centos7安装Filebeat采集日志文件存到Elasticsearch
概述 Filebeat是Beats家族的成员之一,是个轻量级的日志采集工具,通过收集日志信息,可以转发到 Elasticsearch 或者 Logstash进行索引存储. 工作原理当启动Filebe ...
Linux安装配置ELK日志及与SpringBoot的整合使用
踩坑学习记录一.下载ELK的安装包上传并解压我这边用到的版本是7.6.1版本,ELK最好版本统一,避免版本兼容导致失败,可以在官网下载,下载可能会慢,我这里下载好了,可以直接用 1.Elastic ...
ELK安装配置，日志展示
ELK 首先要准备好ELK的安装包: jdk-8u162-linux-x64.rpm elasticsearch-6.2.4.rpm kibana-6.2.4-x86_64.rpm logstash- ...
java mac postgresql_Mac上安装配置和简单使用PostgreSQL（仍然很不懂）
因为想要使用推荐的rails-template.需要使用postgres.并初始化了一个用户postgres,密码是postgres.( e.g.$ createuser -d postgres) 我 ...
安装配置postgreSQL+pgcli+pgadmin3
记录了postgreSQL数据库的完整的安装配置过程,以及postgreSQL的pgcli命令行智能提醒扩展,pgadmin3图形化管理客户端的配置安装.此postgresql是bigsql版安装详情 ...
centos6.5下安装配置ELK及收集nginx日志
Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash 是一个完全开 ...
zabbix agent安装_zabbix agent的安装与配置
Agent安装 rpm -ivh zabbix-agent-3.2.4-1.el6.x86_64.rpm 安装完成后,zabbix agent端已经安装完成了,zabbix agent端的配置目录位于 ...
PostgreSQL（Pgsql）快速开始/ ubuntu、centos下PostgreSQL数据库安装配置/查看已经编译的pg 编译选项
文章目录一.PostgreSQL是什么 1. Pgsql和Mysql的对比二.ubuntu 下安装配置postgres sql 数据库 1. [推荐]apt-get 安装postgres 安装和配 ...

td-agent 安装，配置，采集日志到postgresql

td-agent 安装，配置，采集日志到postgresql相关推荐

最新文章

热门文章