摘要使用DataV大屏展现态势感知 DNS 会话日志,从而实现交互式安全威胁发现。

2017年,阿里云启动MVP(Most Valuable Professional)项目。顾名思义,MVP正在寻找阿里云最有价值专家,那些能够,并且愿意帮助他人,充分了解和使用阿里云技术的意见领袖。

本文是阿里云MVP 傅奎的实践分享,今天和大家讲讲 “安全态势,交互发现 —— 基于阿里云轻松搭建安全大屏”

1. 一句话概述

2. 背景介绍

3. 产品介绍

4. 需求分析

5. 实现方法

(1)导出态势感知 DNS 日志

(2)定制返回 JSON 串的数据源API

(3)定制 DataV 大屏,指定 API 数据源

(4)发布监控大屏,看效果

6. 交互式发现

7. 补充说明

(1)替你踩过的坑

(2)Show you the code

8. 一些期待

(1)关于“交互式”

(2)鸣谢

一句话概述


使用DataV大屏展现态势感知 DNS 会话日志,从而实现交互式安全威胁发现。

剧透一下最终效果,绝对值得试试:

所有 DNS 日志的节点(源地址、DNS服务器地址、要解析的域名)关系图。点选其中任一节点,关联点自动高亮,非关联节点则进入蒙版状态,要是有什么可疑的节点、关系、类目,一眼就看出来!


背景介绍


自打“态势感知”上线了新版的“日志”功能,团队成员就在摩拳擦掌寻思如何充分挖掘日志信息的价值,而不仅仅是用于故障诊断或事件调查。其中,通过图形化展现不同网络资源节点的相互关系,进而实现交互式安全威胁发现,是最为理想的实现方式。此前尝试过 Graphviz、yEd、NetworkX 等方式,后来都因配置复杂,使用繁琐等问题放弃。

直到MVP 技术群里李文毅向大家推荐了 DataV,我想:是时候“make it true ”了!

产品介绍


以下材料援引自官方介绍,描述不准与我无关:

1. 态势感知

“态势感知提供的是一项SAAS服务,即在大规模云计算环境中,对那些能够引发网络安全态势发生变化的要素进行全面、快速和准确地捕获和分析,并提供一个体系化的安全解决方案。”

2. DataV 数据可视化

“DataV旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用。DataV提供丰富的可视化模板,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。”

需求分析


态势感知的日志功能非常强大,目前支持查询:所有入站的7层数据、出入站栈的4层会话以及DNS双向日志。其中 DNS 日志有助于安全团队分析服务器是否遭受入侵,被植入木马病毒,存在异常请求等问题。

我们最关心的是:哪台服务器,通过哪个 DNS Server,解析了哪个域名?

针对该需求,如果有可视化的节点关系图辅助分析,那么威胁识别的效率将大幅提升。在没有使用 DataV 之前,通常的办法是使用一些图表工具进行展现,而且少不了定制化开发的工作量。DataV 的出现,大大解放了数据分析人员的双手,从而可以用于拖动进度条。仅仅通过少量的鼠标点击和基本的 API 配置,就能瞬间让你的数据充满活力,开口说话。DataV 自带节点关系图,并内嵌原生ECharts ,完全可以满足此类需求。

实现方法


你一定很期待强劲的态势感知与性感的 DataV强强联合会是什么样子。期待不如行动,我们一起动手去实现吧。

导出态势感知 DNS 日志


登录阿里云控制台,进入安全(云盾)|态势感知功能页,通过子菜单选择日志 new项目。

设置DNS 日志查询条件,分别是:

1. 日志源:DNS

2. 字段:qtype

3. 判断条件:包含(目前只能选包含)

4. 关键字:A

再设置好查询时间,点击搜索就可以啦。

系统很快就能返回查询结果,通过右上角导出结果将当前页(没错,,是当前页,,一次100条-_-)日志导出到Excel 中。如果需要更多数据,得依次翻页导出-_-。当然也有程序化解决方案,请往后看。

定制返回 JSON 串的数据源API


对导出的 Excel 文件进行数据抽取,关键是:

1. 源地址:src_ip

2. DNS Server:dst_ip

3. 尝试解析的域名:qname

将源地址、DNS 地址、域名三项都纳入节点范畴,同时将源地址->DNS 地址、DNS 地址->域名纳入关系范畴,通过 HTTP 将节点 nodes 和关系 links 输出为 JSON 就是一个可用的API数据输入源。

别着急,作为良心分享,怎么能少了技术细节呢?为了不影响阅读,我把数据格式化和 API 相关的具体内容放在后面环节。

定制 DataV 大屏,指定 API 数据源


通过阿里云控制台大数据(数加)|DataV数据可视化进入定制界面,直接选择新建可视化。

创建大屏模板,设置一个你喜欢的名字。

向大屏图层添加数据展示组件, 这里可以选择关系网络或原生的 Echarts 网络图。

点选图表组件,进入右侧数据选项卡,修改默认的数据源类型静态数据为API。

填写满足系统要求的 API,如:http://www.test.com/datav.json,鼠标离开输入框,左侧设计区会即时展现效果。

发布监控大屏,看效果


数据调试和预览成功后,可通过右上角的发布按钮,正式发布报表。DataV 考虑得很周到,为报表提供了密码和 Token 两种安全保护机制。

访问发布后的报表链接:http://datav.aliyun.com/share/ef9aa**********a3fd8(这是他们的秘密不可访问的哈)

交互式发现


好吧,放一些我在测试环境模拟出来的数据。下面是一段时间内,所有 DNS 日志的节点(源地址、DNS服务器地址、要解析的域名)关系图。

点选其中任一节点,关联点自动高亮,非关联节点则进入蒙版状态,相当炫酷啊!

来,再看另外一组测试数据。要是有什么可疑的节点、关系、类目,一眼就看出来!

小提示:万一发现了什么神奇的域名或 IP 地址,可以直接上微步威胁情报查询,例如:https://x.threatbook.cn/domain/google.com。是不是坏人立即遁形,这个库太全了……

补充说明


替你踩过的坑


1. 如果不打算使用服务器代理方式调用API,那么一定要设置好 API 的 HTTP 头部跨域参数

2. 如果使用了 HTTPS 访问DataV 监控大屏,那么 API 接口也必须是 HTTPS 形式

3. API 接口返回的数据要和静态数据输入框中的格式完全一样——JSON 串

4. 如果你遇到了一些神奇的 Bug,请把图层或组件删除后从头再来一遍(不要问我怎么知道的)

5. DataV 自带的关系图和内嵌的原生 ECharts 在数据格式上有一定的区别,要看仔细

Show you the code


下面这段代码可以帮助使用者在登录态势感知后,自动获取 DNS 会话日志,并按照 DataV 关系图所适配的数据格式生成 JSON 串。非专业开发人员的临时代码,写得比较丑,别太当真。

以下是API输出结果示例:

将上述内容作为企业自身 API 接口的输出,同时设置 HTTP HEAD 相关的参数,即可通过 DataV 大屏调用并展现啦!

跨域相关的问题请参考:浏览器的同源策略和跨域问题详解

一些期待


关于“交互式”


这篇文章的标题中有两个字我很喜欢——“交互”。

除了视图上的交互,实际上使用者还花了很长的时间用在态势感知日志查询、 导出和格式化上。

这也算是一种“交互”,一种比较笨的交互。希望未来阿里云能在多个产品之间的数据引用、内部接口交互上再做些升级,让我们这样的使用者少发挥技能,直到我们彻底“自废武功”。

就这些,如果您有什么问题欢迎在这里留言与我交流。

想和我成为工作伙伴一起探索云平台上的安全技术实践,也一样欢迎哦~

鸣谢


1. 木酱

2. 花肉酱

3. 李文毅

4. @苇如|巢甜

5. @卡密

6. @杜仲

转载于:https://my.oschina.net/u/3579120/blog/1532996

安全态势,交互发现 —— 基于阿里云轻松搭建安全大屏相关推荐

  1. 安全态势_交互发现 —— 基于阿里云轻松搭建安全大屏

    原文链接 摘要: 使用DataV大屏展现态势感知 DNS 会话日志,从而实现交互式安全威胁发现. 2017年,阿里云启动MVP(Most Valuable Professional)项目.顾名思义,M ...

  2. 梨视频:基于阿里云E-MapReduce搭建视频推荐系统实践

    专注新闻资讯的梨视频近来表现亮眼. 梨视频由前澎湃新闻掌门人邱兵创立. 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下<微辣>栏目总播放量已经超过4亿,并在上线1个月后获得&qu ...

  3. 梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

    专注新闻资讯的梨视频近来表现亮眼. 梨视频由前澎湃新闻掌门人邱兵创立. 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下<微辣>栏目总播放量已经超过4亿,并在上线1个月后获得&qu ...

  4. 基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法

    基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法 以下是基于我所面临问题的解决办法. 1.在本地的c:windows/system32/dirve ...

  5. 基于阿里云服务器搭建SVN服务器

    基于阿里云服务器搭建SVN服务器 本系列文章由ex_net(张建波)编写,转载请注明出处. http://blog.csdn.net/ex_net/article/details/8577784 作者 ...

  6. 基于阿里云HiTSDB搭建工业物联网平台实践

    摘要: 基于阿里云全面的物联网.云计算与大数据技术搭建云端的企业能源管理物联网平台实现能耗数据采集.统计分析.平衡调度.节能优化等全面的能源管控协同平台.是企业生产运行保障的利器,也是大量企业实现云上 ...

  7. 基于阿里云CentOS8搭建远程服务器

    基于阿里云CentOS-8+宝塔面板搭建远程服务器 星光不问赶路人,时间不负有心人,最近做课程设计就是要用到服务器,自己花了一天时间去了解以及部署.记录一下.这篇文章一轻量服务器为例,云服务器类似. ...

  8. 基于阿里云ECS搭建云上博客!超详细图文步骤!

    阿里云体验 地址:https://developer.aliyun.com/adc/scenario/410e5b6a852f4b4b88bf74bf4c197a57?spm=a2c6h.150139 ...

  9. ModaHub魔搭社区:基于阿里云 ACK 搭建开源向量数据库 Milvus

    目录 一.准备资源 二.集群创建: 本集群基于Terway网络构建 二.连接刚刚创建的ACK集群 三.部署Milvus数据库 四.优化Milvus配置 简介: 生成式 AI(Generative AI ...

最新文章

  1. 面试官:你说你熟悉jvm?那你讲一下并发的可达性分析
  2. BZOJ 2257: [Jsoi2009]瓶子和燃料【数论:裴蜀定理】
  3. 转:MySQL索引原理及慢查询优化
  4. 直播报名 | CUDA优化:高性能库cuBLAS使用指南
  5. spring cloud构建互联网分布式微服务云平台-Ribbon
  6. cout不明确什么意思_劈腿什么意思?原来出轨和劈腿不一样!原来如此!
  7. java在线支付---09,10,11,12_在线支付_分析易宝支付网关的应答协议与处理代码,完成用于处理支付响应的Servlet的初步编写和调试,完成处理支付网关响应结果的Servlet,支付实现
  8. Element UI el-table 表格多选的使用
  9. GestureDetector类的用法
  10. C#抖音无水印视频地址解析
  11. 论文后面的参考文献格式应该如何写
  12. 无法访问yunlong.wj0920wjx.net指向的web服务器(或虚拟主机)的目录,请检查网络设置
  13. arista 交换机镜像端口配置(将某一端口的数据转发到指定端口)
  14. CORDIC算法计算复数相位角(含verilog源码)
  15. python 文字转语音 带情感_python文字转语音实现过程解析
  16. VsCode 提示 import “XXX模块” could not be resolved问题解决
  17. 使用codesense的GJB 8114模板对c++源代码规则检测示例
  18. 【第68篇】多目标跟踪:文献综述
  19. 奔向光明阿波罗(上)
  20. matlab wavefun怎么用,Python pywt.Wavelet方法代碼示例

热门文章

  1. 加入缓存存在的问题及优化
  2. 微信公众服务号支付授权目录
  3. Leetcode.312 戳气球
  4. web safe @吴翰清
  5. buu [QCTF2018]Xman-RSA 1
  6. 热阻概念及芯片结温计算
  7. 揭秘“图像识别”的工作原理
  8. Windows任务管理器的技巧:三个键启动它
  9. 纳什均衡和帕累托最优
  10. Vue实现购物车(非常简洁)