破解双中台困局:万家数科 x StarRocks 数字化技术实践
华润万家是世界 500 强企业华润集团旗下优秀零售连锁企业,也是中国最具规模的零售连锁企业。万家数科商业数据有限公司(以下简称“万家数科”)是华润万家 100% 控股的信息科技公司,在服务华润万家的同时,为零售商及其生态提供核心业务系统的整体解决方案与运维服务。
2019 年,万家数科自主研发了聚合支付平台——Vapay,作为腾讯、阿里的独立软件服务商(ISV)为零售商提供聚合支付服务,开启市场化之路。2021 年自主研发了供应商数据服务平台——数据罗盘,为零供协同赋能。
#01
万家数科聚焦在零售行业的“业财一体”数智化技术创新实践
—
如何把零售行业的业务流程、财务会计流程、管理流程有机融合,使财务数据和业务数据融为一体。实现最大限度地在企业内部实现数据共享,实时控制经济业务,实现信息化管理、降低成本,为企业赢得更多商机和利润。
在技术层面上,万家数科积极创新,通过建设业内首创的微服务架构“规则中心”、“单据中心”,重塑财务规则,为业财一体化奠定关键基础。通过业务中台、数据中台双轮驱动,为业务赋能。
#02
双中台下的数据查询困局
—
原构建的数据流程图如下:
1. Apache Hive(以下简称 Hive)中的数据存量已有上百 TB,供应商的 API 接口调用都需要数仓开发工程师从 Hive 中跑批捞数据,开发工作量繁重、效率低、运维成本指数级增长;
2. MySQL 缓存库是 Hive 离线 T+1 计算好的结果数据,所有 API 接口调用均面向这个缓存库,未来还会面向外部合作供应商如京东、美团,经常出现 API 接口调用超时;
3. 对于前端业务系统直接产生的单据明细数据,为了提升采购协同效率,针对市场变化快速反应、降低库存成本,从下单、审批到订单采购、配送、单据结算的整个过程供应商希望看到实时的数据更新,对于部分高流量的业务查询,即使做了分库分表处理,存量数据也达到了千万级, MySQL 难以支撑,响应时间无法达到预期。另外,海量数据压缩率过低,也增加了平台成本。
4. 基于微服务模式下的 API 数据接口组合模式,在查询某个供应商的应付款余额等少量数据查询请求时还可以应付。对于批量查询,比如,查询所有冻结状态的供应商应付款余额,就比较复杂了。需要先根据冻结状态,通过供应商 API 接口找出所有冻结的供应商编码,再利用这些编码到应付款余额 API 中查询。前端还需要通过程序代码进行查询结果的拼接。API 接口服务的不稳定,经常会出现数据查询超时,API 组合模式检索分散在多个服务中的数据也导致存在昂贵、低效的内存数据拼接。
#03
寻找解决问题的银弹
—
我们决心用一个超强的数据底座,实现即席数据查询,打造实时数仓。
在数据底座的产品选型上,我们对比了ClickHouse、TiDB、StarRocks:
ClickHouse:在单表查询上有比较好的查询性能,但我们的业务场景涉及较多的多表 Join,所以 ClickHouse 并不能很好满足我们的需求;
TiDB:相比 ClickHouse 和 StarRocks,更适合 TP 类的业务场景,在 AP 场景下的查询性能相对弱一些;
StarRocks:已实现全面向量化,支持高并发查询、复杂 SQL 查询。在单表和多表关联查询性能都表现比较好,数据可以灵活建模,支持标准的 MySQL 协议。作为新一代极速统一的 MPP 数据库,StarRocks 有稳定的国内技术团队提供本地化支持服务,方便进行集群扩缩容,运维成本相对低。
经过综合审慎的评估,我们选择 StarRocks 来进行我们的数据底座的搭建。
#04
最佳的解决方案:StarRocks
—
新方案下的数据流程图:
作为数据底座,StarRocks 汇集前端业务产生的各类过程及结果业务单据,确保业财数据一体,财管结果的一致性,同时也释放核算系统压力,提升核算运行效率。也为后续进一步解耦 ERP 形成一套自有产权的零售产业核心 ERP 奠定基础。
目前生产集群将近四百个 CPU 核心,四千 GB 内存,已开发上线近百张报表,解决了之前以 MySQL 作为查询缓存库出现的查询时间长、API 接口调用超时的问题:
1. 已经服务于超过 3000 家门店进行财务结算和对账等,比如月初/月末查看供应商付款与欠款情况,以及每天早上门店实时查看不同供应商的销量情况。
2. 查询 QPS 在近千级别,可做到秒级延迟。
#05
展望未来
—
StarRocks 工具在“业财一体化”技术方案实施落地的过程中,无论产品力还是服务能力,都带给了我们很高的信心。因此后续解决方案升级中,计划将相关业务的技术方案逐步迁移到 StarRocks,实现 OLAP 层统一。
另一方面也将继续探索 StarRocks 新 feature 在创新数字化转型的典型数据分析场景中应用。
万家数科将持续广纳新技术,在数据应用领域持续发力,打造零售行业的数字化标杆。
关于 StarRocks
StarRocks 创立两年多来,一直专注打造世界顶级的新一代极速全场景 MPP 数据库,帮助企业建立“极速统一”的数据分析新范式,助力企业全面数字化经营。
当前已经帮助腾讯、携程、顺丰、Airbnb 、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力,生产环境中稳定运行的 StarRocks 服务器数目达数千台。
2021 年 9 月,StarRocks 源代码开放,在 Github 上的星数已超过 3100 个。StarRocks 的全球社区飞速成长,至今已有超百位贡献者,社群用户突破 5000 人,吸引几十家国内外行业头部企业参与共建。
破解双中台困局:万家数科 x StarRocks 数字化技术实践相关推荐
- CHINC 2022|熙牛医疗CEO墙辉演讲实录-医疗行业双中台架构探索与实践
墙辉表示:双中台建设的目的,是把医疗机构当作一个不可分割的整体来看,从经营要素.经营过程到经营决策的一体化建模:形成对行业政策和市场环境变化的敏锐洞察:建立以患者为中心的敏捷流程,实现患者服务全过程的 ...
- 人脸识别成创业热门,统计企业超1万家,刷脸支付项目将迎来热潮
刷脸支付潜藏技能即将开启,我国人脸识别企业超1万家.刷脸支付是人脸识别技术下的产物,正因为有人脸识别技术,刷脸支付才能顺利的进入线下并投入使用.随着这几年科技的不断进步和成熟,人脸识别技术得到了进一步 ...
- 阿里云峰会|阿里云数据中台重磅升级后拟扶持100万家企业数智化
6月9日,在2020阿里云线上峰会上,阿里巴巴集团副总裁.数据技术及产品部负责人朋新宇推出Quick Audience.Quick A+两款全新产品,并升级Dataphin和Quick BI两款现有产 ...
- 阿里云峰会 | 阿里云数据中台 重磅升级后拟扶持100万家企业数智化
6月9日,在2020阿里云线上峰会上,阿里巴巴集团副总裁.数据技术及产品部负责人朋新宇推出Quick Audience.Quick A+两款全新产品,并升级Dataphin和Quick BI两款现有产 ...
- 2018双11万家互联网门店参战:看苏宁的撩人新姿势
第十个"双11"已然来临,2018年的双11大战似乎比往年来的更早了一些.而且,突破线上线下联动的场景互联和全客群覆盖嘉年华成为本次双11最大的亮点,原本稍显暗淡的互联网门店也开始 ...
- 企业如何快速响应用户需求 且看云徙“数据+业务”双中台化简为繁
戳蓝字"CSDN云计算"关注我们哦! 作者 |刘丹 "自然界生存下来的,既不是四肢最强壮的,也不是头脑最聪明的,而是最有能力适应变化的物种."这句至理名言放在商 ...
- 投入 20 亿,赋能 1 万家,阿里云正式启动云原生合作伙伴计划
**导读:**在 2020 阿里云合作伙伴峰会上,阿里巴巴合伙人.阿里云智能基础产品事业部高级研究员蒋江伟发表了<深耕"被集成",共建新生态>主题演讲,他在演讲中提到, ...
- 投入20亿,赋能1万家,阿里云正式启动云原生合作伙伴计划
导读:在 2020 阿里云合作伙伴峰会上,阿里巴巴合伙人.阿里云智能基础产品事业部高级研究员蒋江伟发表了<深耕"被集成",共建新生态>主题演讲,他在演讲中提到,阿里云将 ...
- 互联网晚报 | 12月6日 星期一 | 荣耀线下门店超3万家;鸿蒙系统明年正式登陆欧洲;凯撒旅业与众信旅游终止合并...
今日看点 ✦ 华为:鸿蒙Harmony OS系统明年将正式登陆欧洲 ✦ 荣耀线下门店超3万家,线下销售占比超过70% ✦ 阿里达摩院成功研发存算一体AI芯片,突破冯·诺依曼架构性能瓶颈 ✦ 360:将 ...
- 双中台在医疗|天台县人民医院医共体裘银虹:让优质医疗资源从“云上”延伸至“田间地头”
导读:借助"双中台","云上医共体"有力支持天台县医共体"医疗集市"等新服务.新业态的开展. 浙江省天台县,拥有神山秀水.佛宗道源.桃园胜境 ...
最新文章
- 《The Art of Readable Code》 读书笔记 01
- 微秒时间_Ublox 1PPS时间脉冲精度配置问题
- dev c++ 最新版本5.0
- C语言指针作为函数返回值
- Python 网络爬虫笔记9 -- Scrapy爬虫框架
- java新建配置文件_使用Java输出字符流FileWriter创建配置文件
- 写时复制就这么几行代码,还是不会?
- iBatis for Net 代码生成器(CodeHelper)附下载地址(已经升级为V 1.1)
- 二本毕业生逆袭成大厂架构师的成长心得
- Collaborative topic modeling(推荐)算法实现中的大数组问题
- 30个你 “ 不可能全部会做 ” 的javascript题目
- HTTP 304状态码
- 信鸽 ios tag推送 php,信鸽推送平台常见问题汇总iOS端
- c语言编程实现今日星期几,计算任何一天是星期几的C语言源代码.
- 爆文标题怎么写,分享四个吸睛标题的万能套路写法,新手速看!
- Gtk-ERROR **: GTK+ 2.x symbols detected. Using GTK+ 2.x and GTK+ 3 in the same process is not suppor
- Rockchip HDMI 软件开发指南
- 用Chrome浏览器模拟手机,andriord,iphone,ipad访问网站
- Linux安装Kafka单机版本
- 《嵌入式系统 - RT-Thread开发笔记》手把手教你使用RT-Thread制作GD32 RISC-V系列BSP
热门文章
- uva1391Astronauts【2-SAT】
- Windows错误、问题汇总
- 【教程】docker容器间跨宿主机通信-基于overlay
- 电线电缆材料stru结构检测知识大全
- matlab如何把正弦转化为余弦公式,高中正弦和余弦公式定理,正余弦转化公式
- 前端学习-案例:制作一个超简单的静态页面
- 使用Go语言实现单词翻译功能/simpledict 命令行词典
- 使用GoldWave制作“淡入/淡出”效果
- goldwave教程分享:用GoldWave进行音量调节
- 钢笔墨水能否代替打印机墨水_喷墨打印机该用染料墨水还是颜料墨水?