波塞冬，是希腊神话中的海神，在这里是寓意着海量数据的主宰者。

Poseidon 系统是一个日志搜索平台，可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司，在追踪 APT（高级持续威胁）事件时，经常需要在海量的历史日志数据中检索某些信息，例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前，都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算，一次任务所需的计算时间从数小时到数天不等，大大制约了 APT 事件的追踪效率。 Poseidon 系统就是为了解决这个需求，能在几秒钟内从数百万亿条规模的数据集中找出我们需要的数据，大大提高工作效率；同时，这些数据不需要额外存储，仍然存放在Hadoop集群中，节省了大量存储和计算资源。该系统可以应用于任何结构化或非结构化海量(从万亿到千万亿规模)数据的查询检索需求。

开发部署

开发环境依赖

我们的生产环境和测试环境均是64位Liunx,快速开始建议也在同样的环境中测试。

cat /etc/redhat-release
CentOS release 6.2 (Final)

如果你的机器上没有以下依赖环境，请务必安装；已经安装过的，可以跳过；

Protobuf: 3.0+ 可选
vi /.bashrc 或者/.bash_profile： /Users/liwei/Developer/src/githu

Poseidon波塞冬日志搜索平台安装部署相关推荐

海康iSecure Center 综合安防管理平台安装部署教程 - CentOS系统
准备环境: 1.海康CentOS系统 2.iSecure Center 综合安防管理平台 - Linux版-安装包 3.激活授权 4.一个可用IP地址注意事项:海康iSecure Center 综合 ...
FFmpeg入门详解之127：GB28181平台安装部署过程 - 可接入海康、大华、华为、科达、宇视等等设备和平台
本文章向大家介绍GB28181平台安装部署过程 - 可接入海康.大华.华为.科达.宇视等等设备和平台,主要包括GB28181平台安装部署过程 - 可接入海康.大华.华为.科达.宇视等等设备和平台使用实 ...
h3c虚拟化服务器配置,H3C CAS 虚拟化平台安装部署
H3C CAS 虚拟化平台安装部署 H3C CAS采用基于KVM技术的虚拟化解决方案,基于OpenStack架构的虚拟化管理解决方案. CAS软件包扩了CVK,CVM,CIC,SSV.CAS使用的是B ...
日志分析平台ELK部署初学
1)ELK介绍 ELK官方网站:https://www.elastic.co/products elk-docker 官网:http://elk-docker.readthedocs.org/#ins ...
ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
日志系统Loki安装部署
一.简介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统. 开发语言: Google Go.它的设计具有很高的成本效益,并且易于操作 ...
微软OpenPai平台部署安装(kubernetes 大数据和深度学习平台安装部署)
(1)特别注意,机器配置必须16/32核 64G内存,曾经在虚拟机上安装部署8核/28G内存走不出来.哪怕修改pod文件memory配置 (2)另外遇到镜像下载不出来建议先下载到本地 (3)操作系统u ...
大数据平台安装部署（适用虚拟机级真实服务器，亲测）
大数据集群搭建一.基础环境准备 (虚拟环境or服务器环境) 1. 虚拟环境准备(服务器安装跳过此步骤) 1.1 安装vmware 注意:安装centos8系统及以上需要高版本vmware,实测vmw ...
周六直播丨细致入微 – OceanBase云平台安装部署实战
简介 OceanBase 是阿里巴巴和蚂蚁金服 100% 自主研发的原生分布式关系数据库,其在普通硬件上实现了金融级高可用.首创"三地五中心"城市级故障自动无损容灾新标准,具备卓越 ...

Poseidon波塞冬日志搜索平台安装部署

开发部署

开发环境依赖

Poseidon波塞冬日志搜索平台安装部署相关推荐

最新文章

热门文章