日志服务（原SLS）新功能发布(5)--使用Logstash接入数据

2024-05-20 08:09:12

日志服务结合Logstash

目前，阿里云用户可以通过API/SDK或Logtail将数据写入日志服务，今天要介绍流行开源软件Logstash如何集成日志服务。

我们基于日志Java SDK开发了logstash-output-logservice插件（项目地址），帮助Logstash用户解决Linux、Windows、Mac OS平台日志采集上传需求。

用户可以在阿里云ECS，或者是IDC机房机器，又或者是其它云厂商的虚拟机上安装Logstash及插件，进行简单的配置，轻松地将本机日志数据搬到云上来。

IIS日志场景

以Windows平台上最常见的IIS（Internet Information Services）日志为例，默认存储于C:inetpublogsLogFilesW3SVC1目录下的文件里，详细记录了客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理等信息，对于服务稳定性、安全性、运营统计有重要参考价值。

用户在机器上安装Logstash和相关插件后，配置文件目录、日志服务Project/Logstore、阿里云账号秘钥对，Logstash将自动跟踪日志文件的变化并实时地采集、解析后发送到日志服务。

日志数据在源源不断地实时上传，阿里云日志服务也提供了丰富的数据消费方式供用户选择。

比如，您可以通过索引功能查看一定时间段内GET动作且状态码为304的所有请求：

除此之外，您还可以：

结合EMR对日志做实时清洗，然后做批量处理或流式计算。
使用日志服务提供的OSS投递功能，以很低的成本实现IIS日志的自动归档。
使用日志服务提供的ODPS投递功能，在ODPS上对IIS日志做运维报表或运营统计。

如何使用

日志服务支持Logstash写入数据，具体提供以下功能：

实时采集机器上的各种类型日志文件、TCP、Syslog等数据源（具体请参考Logstash官方文档）
接入阿里云账号安全体系，通过秘钥对支持数据签名发送和访问权限控制
多条日志支持批量发送，减少写入日志服务TPS产生的费用
日志数据压缩后写日志服务，减少网络出口带宽的占用

更多细节请参考接入文档。

日志服务（原SLS）新功能发布(5)--使用Logstash接入数据相关推荐

华为云-云容器引擎 CCE新功能发布动态
新功能发布动态更新时间: 2020/06/29 GMT+08:00 查看PDF 分享本文介绍了云容器引擎CCE各特性版本的功能发布和对应的文档动态,新特性将按照时间计划在各个区域(Region)陆 ...
2022镭速新功能发布暨合作伙伴招募线上会议，邀您参加
大数据时代到来,数据的价值得到充分体现,数据也呈现爆发式增长,分布式存储类型正在向集中式存储转变.为了应对越来越大的数据量和日益严重的网络安全问题,达到容灾容错的目的, 数据中心须对其管理的数据进行全 ...
日志服务（原SLS）新功能发布(4)-- 使用OSS进行日志存储与分析
对于大部分开发者而言,经常会面临这样一种场景:"我知道日志数据很宝贵,但今天没有明确需求,能否有一种成本很低的方案先把日志备份起来,不占用空间.有一天有明确需求时,能够快速.方便分析日志&q ...
日志服务（SLS）集成 Spark 流计算实战
前言日志服务作为一站式的日志的采集与分析平台,提供了各种用户场景的日志采集能力,通过日志服务提供的各种与·与SDK,采集客户端(Logtail),Producer,用户可以非常容易的把各种数据源中的 ...
阿里云 MaxCompute 2018-09 新功能发布
2018年9月大数据计算服务 MaxCompute 又发布新功能啦! [新功能]MaxCompute窗口函数支持WINDOW_CLAUSE 参考文档适用客户数据开发人员在进行数据开发过程中,用到调 ...
三款新功能发布，助力阿里云表格存储再次升级
摘要: 阿里云表格存储于近期功能再升级,升级后的表格存储支持对DataHub采集的数据进行持久化存储,其Python SDK新增支持Python 3.x,以及最新发布的TimelineLib能够帮助用 ...
Cocos2d-x 2013春季新功能发布和发展规划
2013-04-13 11:12:08 CocoaChina2013(春季)开发者大会在北京国家会议中心举行.本次大会以"//It's A Circle"为主题,旨在通过提供权威指 ...
SharePoint Framework 1.15 预览版更新 – 新功能发布
微软近日宣布了 SharePoint Framework (SPFx) 1.15 预览版更新的消息,这次更新包括了 Viva Connections.Microsoft Teams和SharePoin ...
新功能发布—TSMaster如何实现J1939多帧报文收发
前言众所周知,J1939协议是由美国汽车工程师协会(SAE)定义的一组标准.J1939标准用于卡车.公共汽车和移动液压等重型车辆.如今大多数车辆都通过CAN进行ECU通信.但是CAN总线仅仅是提供了 ...

最新文章

热门文章