十年磨一剑 | 《腾讯大数据构建之道》正式出版
文章来源于“腾讯大数据”，作者星火菌
近日，在刚刚出版的《腾讯大数据构建之道》新书中，腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作，该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓，通过全面剖析自身在大数据领域的探索以及落地，为国内大数据从业者提供了一份极具价值的参考文献。
腾讯公司副总裁蒋杰表示：“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术，腾讯大数据团队不断基于内部海量业务实践，打造领先的技术和产品服务内外部众多客户。未来，腾讯还将通过腾讯云持续开放自身在大数据领域的技术和经验，携手合作伙伴，为各行各业客户创造价值，加速推进数字经济和实体经济的融合发展。”
《“十四五”大数据产业发展规划》提出，当前数据已成为重要的生产要素，大数据产业作为激活数据要素潜能的关键支撑，是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。此次腾讯大数据推出的《腾讯大数据构建之道》，系统性复盘了大数据技术在腾讯内部的应用发展与演进，对促进国内大数据产业的共同进步有重要积极意义。
该书由腾讯数据平台部与机械工业出版社合作出品，内容总体分为两大部分：第一部分，主要讲述了腾讯大数据平台的技术体系；第二部分，主要讲述了腾讯大数据通过腾讯云对外开放的一系列产品。
在第一部分，腾讯大数据团队从腾讯大数据平台的发展历程和总体架构切入，深入介绍了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想。内容覆盖了大数据接入、计算、存储、分析、调度等大量技术组件的整体架构和应用展示，当中不乏数据实时采集TDBank、下一代大数据分布式存储Ozone、高性能的大数据SQL引擎SuperSQL、自主研发的高性能分布式机器学习平台Angel等多个重量级产品的详细剖析。
以分布式计算为例，书中详细介绍了SuperSQL的关键技术，以及在OLAP 数据分析、跨数据中心查询优化等多个场景中的应用细节。作为腾讯大数据自研的跨数据源、跨数据中心、跨计算引擎的的高性能大数据SQL引擎，SuperSQL致力于优化集群资源的使用，提升使用业务数据的效率，并帮助解决业务数据孤岛问题。目前，SuperSQL 在腾讯内网及外部客户均已部署使用。
图：腾讯SuperSQL系统架构
在第二部分，大数据团队主要介绍了腾讯在数据治理、数据应用、机器学习等方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读。以腾讯自研机器学习平台Angel为例，其功能涵盖传统机器学习、图挖掘、图学习、深度学习和隐私计算等，是国内第一个在全球顶级AI 开源基金会——LF AI 基金会毕业的顶级项目。自 2017 年开源后，已被华为、小米、OPPO等一百多个公司和组织使用。在本书中，编写者对其系统架构、运行架构以及功能特性进行了逐层剖析，能有效帮助读者建立起相关的深度认知和理解。
而针对行业人群在大数据运营方面的广泛痛点，本书还从大数据平台规划、平台治理、 运维体系构建、运营成本优化、数据资产管理等方面系统性地介绍了腾讯积累的经验。也是在伴随海量数据业务爆发式增长过程中，以数据驱动运营，实现平台高度自治为目标的不断探索的成果，为有大数据平台构建和运维需求的企业和团队提供了实用的直接参考。
图：腾讯大数据运营分析及应用体系架构
在刚刚召开的首届腾讯云大数据峰会上，腾讯云副总裁刘煜宏透露，目前腾讯云的大数据平台算力规模已经突破千万核，日实时计算量达百万亿级、日计算数据量数百PB，服务的企业客户数超2万家，开源社区代码贡献量超800万行，进一步呈现了腾讯在大数据领域的顶级实力。
十年磨一剑 | 《腾讯大数据构建之道》正式出版相关推荐
- 十年磨一剑，华为云数据灾备解决方案为你解决后顾之忧
随着时代的不断发展,我们进入了一个全新的网络时代,各种各样的数据呈现出爆炸增加的态势,企业在头疼数据存储的同时也在担忧自身数据损害和丢失的问题.为了保障企业数据不丢失,企业最开始选择的方式是备份,单备 ...
- 腾讯大数据总体架构图，对外公开！
导读:腾讯作为国内体量最大的互联网公司之一,业务涵盖用户日常生活的方方面面,面对如此巨大业务数据量,如果不能对数据进行专业化处理并高效有序地存.管.用,如果不能使数据产生应有的价值,那么数据资产将会成 ...
- 腾讯大数据平台构建之道
点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 1052个转型案例分享-大数据交流群 导读:腾讯作为国内体量最大的互联网公司之一,业 ...
- 十年磨一剑！SACC带你领略企业大数据平台实践优化！
[IT168 评论]十余年来,企业架构经过了数次迭代和变迁,ITPUB是这一切的重要见证者,同样陪伴了无数架构师的成长.10月17日,第十届中国系统架构师大会以"十年架构,成长之路" ...
- AI制药来了！新药研发或告别“十年磨一剑”
AI人脸识别技术能帮忙从当红歌星的演唱会上抓逃犯,AI语音识别能让人人都用上贴身语音助手,AI医疗影像技术能辅助医生更快更好地完成阅片找到病人病灶--当人工智能技术引入周期漫长.技术难度高.人力资金耗 ...
- 十年磨一剑！阿里OceanBase创纪录卫冕，中国数据库从此告别卡脖子
晶少 雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI OceanBase,十年前有"海洋"一样的寄托,十年后梦想实现. 作为中国自研的数据库,它在短短7个月内再次.且 ...
- 爱回收：十年磨一剑，出鞘亮锋芒
近日,有多家媒体报道,二手电商平台爱回收计划于今年6月初在美国IPO,融资金额在5亿到10亿美元之间. 据知情人士称,爱回收寻求在IPO时获得了40亿-50亿美元的估值,并已经聘请美国银行和高盛集团来 ...
- 双11特刊｜十年磨一剑，云原生多模数据库Lindorm 2021双11总结
前言 2021 年,转眼 Lindorm 已经在阿里发展了十年的时间,从基于 HBase 深度改造的 Lindorm 1.0 版本,到全面重构,架构大幅升级的 Lindorm 2.0 版本:从单一的宽 ...
- 十年磨一剑，阿里云RDS MySQL和AWS RDS谁的性能更胜一筹？
MySQL代表了开源数据库的快速发展. 从2004年前后的Wiki.WordPress等轻量级Web 2.0应用起步,到2010年阿里巴巴在电商及支付场景大规模使用MySQL数据库,再到2012年开始 ...
最新文章
- 赠书 | 2021年中国数字政府发展指数排名出炉！你的家乡名列第几？
- js里父页面与子页面的相互调用
- 一起学nRF51xx 15 - spis
- 蓝桥杯-11-1实现strcmp函数（java）
- 作为程序员，这些实用工具你必须要知道！
- Django设置TIME_ZONE和LANGUAGE_CODE为中国区域
- 加密算法—MD5、RSA、DES
- DCL 管理用户 mysql
- Zookeeper集群安装(开启kerberos)
- 第10 章继承映射(InheritanceMappings)
- 图像优化算法（HE、AHE、CLAHE）简单介绍
- 大话云上“分布式实践”，理解 B、A、C 并不难！
- idea package放在什么位置_NBA现役球员大排名，你会把20岁的东契奇放在什么位置？...
- python 查找文件夹下的文件名_python查找模式后面的文件夹中的所有文件名
- 用XAML做网页！！—广告展示区
- 8个前端技术学习网站
- Fisher判别式（LDA）
- [小说]魔王冢(23)道士
- LintCode168.吹气球
- 谈谈Gameplay，以及UE4的Gameplay框架