基于星环大数据云平台 TDC 的一站式数据湖解决方案

随着互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。基于 IDC 的报告预测，从 2013 年到 2020 年，全球数据量会从 4.4ZB 猛增到 44ZB，而到了 2025 年，全球会有 163ZB 的数据量，这些数据中蕴藏着不可估量的价值，从数据中挖掘价值创造新业务已经成为所有企业的共识。然而，挖掘数据价值第一步，是要先把企业全域数据汇聚起来，让数据真正成为企业的核心资产。于是，企业级数据湖的建设，成为数据价值逐渐释放的关键底座。

最初企业开始自建开源 Hadoop 数据湖架构，原始数据统一存放在 HDFS 系统上，引擎以 Hadoop 和 Spark 开源生态为主，存储和计算一体。这种数据湖架构存在入门门槛高、开发维护困难、稳定性难以保障等明显的缺点。企业急需一套一站式解决所有从数据湖建设到数据湖管理的解决方案。

基于星环 TDC

一站式建湖、入湖、治湖、用湖、管湖

一个完整的数据湖解决方案需要建立在数据接入、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等一些列技术之上。市场上的数据湖解决方案多数只具备部分能力，给企业建设数据湖带来障碍。

基于星环科技大数据云平台 Transwarp Data Cloud（TDC）、星环大数据开发工具 Transwarp Data Studio （TDS）等产品的星环数据湖解决方案，能够一站式解决企业从建湖到管湖全部过程，为企业管理和决策提供数据基础与分析能力保障，助力企业发展。

在数据入湖阶段，星环科技大数据整合工具 Transporter 负责将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上，通过简洁、统一的可视化界面快速配置数据流转流程，实现异构平台和数据湖之间的数据流转。

数据湖本身是一个中心化的存储，需要存储结构化、半结构化和非结构化数据。星环极速大数据平台 Transwarp Data Hub (TDH ) 内置关系型数据存储引擎、宽表存储引擎、搜索引擎、地理空间存储引擎、图存储引擎、键值存储引擎、事件存储引擎和时序存储引擎 8 种独立的存储引擎，支持业界主流的 10 种存储模型。用户还可以根据业务的需要随时增减不同的存储引擎，做到资源按需分配，解决数据湖多模态数据存储。

TDC 数据湖核心组件关系型分析引擎 Inceptor，具有完整的 SQL 支持、超高性能、分布式事务和混合负载支持的强大能力，支持多种数据格式、多种数据加载方式、海量多源异构数据的统一存储和管理；宽表数据库 Hyperbase，面向在线业务的数据库，提供数据的实时增删查改能力，并能确保库内数据的一致性；搜索引擎 Scope 用于构建大数据搜索引擎，支持Word/Excel/PDF/CSV/互联网数据/图片/音影等非结构化数据格式的存储和检索；能够在PB数据量级上实现秒级延迟的搜索功能；提供完整的 SQL 语法支持；实时流计算引擎Slipstream 提供实时计算能力，拥有完整的 SQL 支持，基于事件驱动的计算引擎可将延迟时间缩减到 5 毫秒以内。

在数据安全及数据审计能力上，基于星环科技安全组件 Guardian，TDC 数据湖可为租户提供可靠的认证机制，防范安全漏洞，实现资源管理和行级列级的权限控制，在云环境下保护用户隐私和信息安全。

在数据治理、元数据、数据质量、数据资源目录等能力上，星环科技提供了集开发与治理为一体的一站式工具平台 TDS，提供了数据开发、数据集成、数据管控、数据商城和数据服务等能力。TDS 的子产品涵盖了：面向数据库 SQL 程序开发者的桌面集成开发环境 Waterdrop、网页版的团队协作的 SQL 开发环境 SQLBook、可视化的 ETL 开发工具Transporter、数据计算任务的调度平台 Workflow、数据可视化工具 Pilot 、数据 API 的开发与管理工具 Midgard以及数据资产管理工具软件 Catalog、数据质量管理工具 Governor、数据安全治理工具Transwarp Defensor、数据商城 Transwarp Foresight、数据服务开发工具 Midgard 和标签开发工具 StarViewer。

星环 TDC 数据湖解决方案

在上海市大数据中心的落地实战

基于星环数据云平台 TDC 为上海市大数据中心建设了上海市数据共享交换平台，上海市数据共享交换平台整体上包含市级数据共享交换子系统（含数据交换子系统、数据服务子系统、数据集成子系统等）、市级数据湖、市级数据库、市级数据治理子系统、市级数据质量管理子系统等业务模块。其中：数据交换子系统实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能；市级数据湖汇聚“四大库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；数据集成子系统实现对数据湖数据的存储管理、共享与交换，推送数据到治理平台，并建立与市级数据库的连接；数据治理子系统与数据质量管理子系统实现数据元管理与数据质量管理；市级数据库主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，其数据来源主要来自数据湖；数据服务子系统主要提供市级数据库中数据对外的服务发布与利用。

基于星环 TDC 建设的市级数据湖、市级数据库，支撑“一网通办”、“市民主页”、随申码等数据服务。疫情期间，基于TDC一周内上线随申码，日均查询次数峰值达715 w，上线仅四个半月，亮码总次数达到10 亿+。

目前，星环科技新一代智能大数据云平台 Transwarp Data Cloud（TDC）已经在众多行业有成熟的全方位解决方案落地，满足了各种数据处理场景的需求，实现了企业数据与应用的生态化建设。未来星环将在数据云领域持续深耕，助力企业不断提升大数据能力，引领企业数字化转型升级浪潮。

基于星环大数据云平台 TDC 的一站式数据湖解决方案相关推荐

【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖
星环科技作为企业级大数据基础软件开发商,通过发挥基础软件硬实力已经成功助力金融.政府.能源.交通.制造业等多个行业的客户实现了数字化转型,积累了丰富的成功经验.[行业案例]旨在定期分享星环科技最新案例 ...
从用户真实需求出发，星环数据云平台 TDC 2.5 版本发布
2021 年是数字化转型关键的一年,据工信部消息显示,截止 2020 年,全国制造业数字化普及率为 69.8%,趋势一片向好.与此同时,埃森哲(Accenture)的一份研究报告显示,80%的中国企业 ...
【观察】星环科技重构数据云平台，持续释放数据红利和价值
申耀的科技观察读懂科技,赢取未来! 众所周知,如今的世界正在以加速度进入到智能时代,特别是随着各项业务的云化深入以及万物互联,数据处理能力的进一步提升,智能算法一次又一次的突破,以及云计算在传统产业 ...
智慧新泰时空大数据与云平台_智慧警务大数据云平台开发情报研判系统解决方案...
智慧公安作为公安信息化开展到高级阶段的一种警务形态,"智慧公安"主要采用物联网.云计算.无线通讯.智能动态感知分析等新一代信息技术,将公安工作IT根底设备与物理设备.人际环境等高度 ...
第四代数据平台技术：数据云平台
当前社会已经进入一个企业数据高速膨胀的时代,近几年,每年全球的数据规模平均以40%的速度增长.在云计算.大数据技术并驾齐驱发展几年后,两个技术逐渐融合,数据平台的技术在云计算的助力下,能够支持更复杂的 ...
星环科技TDS 2.4.0 发布：数据开发、数据治理、数据运营套件能力再次升级
近日,星环科技大数据开发工具 Transwarp Data Studio 2.4.0版本重磅发布,新版本中数据开发.数据治理.数据运营三大套件能力全部升级,让数据开发更便捷.数据治理更高效.数据运营更 ...
解密金融行业数据云平台建设密码
当前,数据成为新的生产要素,数字科技成为新的发展引擎,数字经济浪潮已势不可挡.金融行业各大机构纷纷加大金融科技投入力度,全面提升数字化运营能力,进一步加速了自身数据生态的演进,打造"客户+科 ...
基于星环科技大数据平台辽宁城市建设职业技术学院打造智慧校园
当今世界,发展职业教育已经成为各国应对危机.促进就业.迎接新工业革命挑战的共同行动.同时数字化技术的快速发展,改变着学习和教育,将成为职业教育系统整体改革与创新发展的战略选择. 星环科技与北京点为信息 ...
使用jdbc方式（token登陆）连接星环科技云平台TDC中的inceptor数据库（Kerberos安全认证）
使用jdbc方式连接星环科技云平台TDC中的inceptor数据库大数据数据库inceptor开启Kerberos安全认证方式: 登陆时使用token令牌方式登录 token串写在这里 import ...
2021大数据助力精准医疗产业沙龙 | 有孚网络吕鑫：基于专有云打造生物信息云平台
2021年5月12日,大数据助力精准医疗产业沙龙在上海国际医学园区站成功举办.此次会议由中国医药生物技术协会基因检测技术分会.上海市浦东新区生物产业行业协会.中国遗传学会遗传诊断分会.长三角一体化基 ...

基于星环大数据云平台 TDC 的一站式数据湖解决方案

基于星环大数据云平台 TDC 的一站式数据湖解决方案相关推荐

最新文章

热门文章