拿什么保护你---TDW数据安全
互联网时代,大数据扮演着极为重要的角色;腾讯作为中国最大社交平台,具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台,集中了公司90%以上产品(近400款)的核心数据,覆盖全部BG,积累约4000个开发者,如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据?本文将从数据生命周期(传输—>存储—>使用)角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。
1 传输安全
所有数据通过tdbank自动采集接入,只要告诉TDBank数据在哪里,数据是什么,数据要怎么用,TDBank就会自动完成一整套的数据采集分拣和处理流程,无需人工干预, 缩短流程,降低风险。
针对敏感数据,在通道中设置加密,密钥由数据owner掌握,同时TDW支持运行加密数据的sql,数据在TDW中可用但不可见,犹如数据咖啡馆,既让数据流动碰撞发挥价值,又保护了数据安全。
2 系统安全
2.1 洋葱入侵检测
TDW所有机器在机器初始化后默认安装洋葱客户端,上报所有用户行为数据至洋葱服务端,并对行为分析、分类,针对对检测入侵行为链和对敏感操作进行有效监控、分析、告警。
2.2 铁将军管理
通过接入铁将军系统,建立帐号管理、权限管理及运维审计体系:
集中管理账户:实名制用户通过PIN+TOLKEN动态口令进行登录
帐号权限管理:Sudo权限管理
实名审计:实名审计操作行为及可回溯
3 存储安全
数据量大(volume)且类型繁多(Variety)是大数据的两大特征,这为数据应用带来了福音。同时,对于大数据存储来说,这是一项大的考验,如此大而全的数据我们如何保证数据的完整存储,不丢失,不删除?
3.1 多副本存储,防止数据丢失
热数据:3个副本存放在不同机架,任意2台机器故障不会丢数据
冷数据:采用Raid压缩(10数据块+4校验块,可容忍任意4块丢失)
自动修复:系统后台自动扫描,及时修复丢失或损坏的副本,业务无感知
3.2 多层保护,防止数据删除
3.2.1 防 DB删除
对于database层的目录,在源码中进行保护,设置目录删除黑名单,要删除database或者目录,需要更改源码,并且重启服务
防止drop database操作:在TDW中drop database会失败
防止在文件系统中删除目录:在文件系统中,直接删除目录会失败
3.2.2 防table删除
设置回收站,延迟删除
数据并不会被立刻删除,而是移入回收站
数据会在回收站保存大于48小时,大数据需手工确认之后被真正删除
节点延迟删除
先将元数据删除,数据block块延迟一天删除
通过元数据冷备,可以恢复数据
4 使用安全
TDW中数据的产品线众多,用户也来源于各个不同的产品,自然而然,数据共享的需求日益增多,那么如何做到数据共享的同时保障数据安全可控呢?下面将从数据使用这个动作的三个要素(who, what,where)来说明如何保障数据的使用安全。
4.1 who --谁可以使用
平台秉承开放的心态,拥抱公司内部所有用户。但鉴于安全考虑,平台各子系统均对用户身份进行双重验证,通过认证的用户方可使用平台。此外,经过各系统严谨的鉴权校验后,方能真正触达目标数据。
同时,账户实行个人实名精细化管理,保证系统内所有操作记录均可追踪到个人。
4.2 what—可以使用什么数据
不同的用户对数据需求不同,用户按需申请使用权限。其中,不同级别数据权限流程不同,不同类别数据的权限类型不同。
数据分级管理:数据根据不同的敏感度分级管理,不同级别的数据权限需走不同的申请通道,部分敏感数据权限需由部门最高领导人进行审批。
数据分类管理:对于入库层数据,只开放只读权限,防止源数据被污染,保持数据源的完整性。
4.3 where—在哪里使用
非tdw系统的ip不能直接访问。
IP白名单控制:只有指定安全IP方可访问数据库,白名单ip都是我们自己的。
平台内流转:数据控制在TDW平台内流转,不流出;
导出申请:如有特殊导出需求,需申请,由上级确认;
4.4 how — 审计用户如何使用
平台提供用户全流程操作记录审计功能,用户拥有哪些权限,使用哪些表,什么时间,在哪个系统进行了什么操作均有迹可循。
权限开放审计:权限系统提供权限开放审计功能,供数据owner审计名下数据权限开放情况,权限管理透明化;针对高敏感表,权限开放实时监控。
使用情况审计: 构建统一操作流水查询系统,各系统的操作流水永久保存;其中针对敏感数据,每日定期统计使用情况,供管理员每日审计。
内部人员审计: 在机器上所有操作都会上报到到审计系统; 对敏感操作实时审计,邮件上级及本人确认。
拿什么保护你---TDW数据安全相关推荐
- 涉密计算机能用固态硬盘,质量不行数量来凑?RAID1能保护固态硬盘数据安全吗...
原标题:质量不行数量来凑?RAID1能保护固态硬盘数据安全吗 闪存原厂固态硬盘性能强且工作可靠,而山寨固态硬盘只用了一个便宜就拉走了很多人的心.最近有一朋友贪便宜买了两块国产山寨SSD,偷偷告诉我他想 ...
- 保护 iOS 用户数据安全: Keychain 和 Touch ID
原文:How To Secure iOS User Data: The Keychain and Touch ID 作者:Tim Mitra 译者:kmyhy 更新说明:本教程由 Tim Mitra ...
- 等级保护2.0-大数据安全要求梳理
一.等级保护2.0简介 等级保护2.0的相关国标包括: GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求 GB/T 25070-2019 信息安全技术 网络安全等级保护安全设计技 ...
- 虹科分享 | 解析数据加密,保护你的数据安全
你可能已经被敦促寻找加密服务来帮助保护你的组织的数据,但如果你是一个不熟悉信息技术的最佳实践或管理数据的技术方面的领导者,"数据加密 "这个短语可能会感觉像技术术语或只是像一个模糊 ...
- 拿什么保护我们的数据安全?
出品|脑极体 作者|海怪 数据隐私到底有多重要? 以人脸识别为例,在人脸识别技术正在广泛应用在支付转账.解锁解密.交通案件.实名登记.开户销户.门禁考勤等场景,每一项都影响到我们的财产.健康.隐私等安 ...
- 华硕z170a如何开启m2_跑得快也要站得稳,华硕灵珑II笔记本保护你的数据安全
都说商场如战场,每个职场人士都像士兵一样,需要负重前行.轻便的装备可加强机动性,强力的装备可以提高输出,而如何在保证输出的同时提高机动性便成为了战场决胜的关键.灵珑II作为华硕主打商务办公的高端笔记本 ...
- 保护你的数据安全,了解网络安全法!
网络安全法是中国自2017年6月1日起实施的一项法律,旨在保障网络安全和信息安全,维护国家安全和社会稳定.网络安全法覆盖了众多方面,包括网络基础设施安全.网络运营安全.个人信息保护.网络安全监管等,具 ...
- 如何使用镭速保护云存储数据安全
近年来,随着云计算的发展,远程系统上的数据存储变的越来越重要.云存储是一个以数据存储和管理为核心的云计算系统,给我们提供了一种全新的数据信息存储模式.但是,可以从全球任何地方访问和检索相同的数据.所需 ...
- 大数据传输如何加密保护你的数据安全!
随着关于保护机密数据和安全漏洞的无休止的嗡嗡声,加密经常被误解.嗯,加密通常是敏感信息转化为隐秘,无法访问的废话的常见概念相对准确:然而,除了加扰数据之外,它还提供了更大的优势. 在满足企业的多个与安 ...
最新文章
- 快速得到两个list中不同部分的list
- Linux 终端访问 FTP 及 上传下载 文件
- window.opener
- activity中fragment 返回键不退出_优雅地处理加载中(loading),重试(retry)和无数据(empty)等...
- 4天学会python_学习python第四天
- lable标签的妙用
- 联想电脑如何下载matlab,lenovo utility是什么软件?
- centos安装Oracle virtual box
- 微软宣布公开预览Dev Spaces for AKS
- Android 之视频监控
- 使用ArrayList时设置初始容量的重要性
- 法向量 点云pca_CVPR 2019 | 旷视研究院Oral论文提出GeoNet:基于测地距离的点云分析深度网络...
- java.util.Date和java.sql.Date的区别及应用
- 【UE4游戏开发】安装UE4时报SU-PQR1603错误的解决方法
- ASP.NET中 TextBox控件使用 ReadOnly=true 属性
- continue和break详解
- CSDN的C币如何获取
- 稳定的IP地址查询接口
- 知名互联网公司系统架构图
- bem css_CSS体系结构:块元素修饰符(BEM)和原子CSS