解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用

7月9日，由微众银行（WeBank）开源的一站式金融级大数据平台套件WeDataSphere（WDS），举办了第二期开发者社区的线上meetup，来自中国电信天翼云、艾佳生活、MobTech等WeDataSphere社区合作伙伴公司的大数据技术专家，在线呈现计算中间件Linkis 在其公司的应用案例与生产实践。

微众银行大数据平台负责人邸帅介绍了Linkis 1.0.0最新版本的Roadmap和架构设计思路以及WeDataSphere大数据平台套件的最新开源进展和相关规划。他在主题为《Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍》的主题演讲中表示，随着大数据的普及和深入发展，分布式架构层面越来越复杂化，服务治理也紧随其上，但目光往下一层，从上层 APP、Service，到底层计算引擎这一层面，却还是各个引擎各自为政，Client-Server 模式紧耦合满天飞的情况。这样的情况下，计算中间件应运而生：解决紧耦合、重复造轮子、扩展难、应用孤岛等计算治理问题，主要运用在分布式架构的典型场景-数据平台环境下的计算治理问题。

邸帅表示，基于对计算治理问题的深挖思考，和广大社区用户使用实践反馈，Linkis1.0对核心处理流程和模块的梳理将会进一步优化。同时，邸帅提出了更丰富强大计算治理功能需求的设计实现思路以及基于全新的1.0架构，Linkis未来对更全品类计算存储场景的支持覆盖能力建设，对路由、高可用、HTAP、跨引擎混算等复杂痛点问题的解决思路。

中国电信天翼云大数据平台负责人王小刚在主题为《Linkis在中国电信的实践与展望》演讲中介绍，国建新基建正在朝向数字化转型，智能升级、融合创新，国家也在号召一业带百业，数字化基建。在此基础上，电信天翼云智能产品成为数字化产业链上重要的一环。当然，挑战与机遇并存：同时维护多个集群、集群规模大会造成运营压力变大；边缘集群同步到中心集群的同时，会漏掉很多高价值数据；同时，数据应用开发成本比较高。

“我们在对比和选择了多样的组件之后，选择了Linkis”，王小刚解释到，首要原因就是其强大的统一接入能力和多资源管控、多租户隔离、高可用&高并发&可扩展&高性能的特点，当然，作为中国通信行业三巨头之一的电信，拥有海量的数据宝藏，也意味着大量用户的信任，电信天翼云在系统安全性和私密性的要求会很高，而Linkis+DSS等在天翼云大数据平台上的应用完美的实现了天翼云的需求。Linkis+DSS 源码是完全开放的，电信天翼云基于Linkis构建大数据开发与服务平台，做相应配和加强。基于Hadoop3的适配，一些组件的整合，天翼云正在做的引擎启动慢优化思路，预计在未来围绕Linkis逐步打造计算漂移能力和跨调度框架能力。希望能跟Linkis一起成长，积极响应国家新基建战略号召，为国家新基建的建设尽一份力量。

艾佳生活架构师张荣在主题为《Linkis on K8S》的演讲中首先对Kubernetes和Linkis-dev 0.10.0特性做了介绍，然后讲述了未来规划，最后做了相应的演示。艾佳生活基于云原生12要素：基准代码、依赖、配置、后端服务、构建发布运行、进程、端口绑定、并发、易处理、环境等价、日志、管理流程，在Linkis基础上发布Linkis on k8s，分支dev-0.13.0。两者结合也擦出了新的火花：Linkis docker镜像作为制品发布，省去了每个人排包，编译过程基于cgroup隔离保证了每个Linkis微服务不会由于超卖而影响其他Linkis微服务，做到cpu，mem，io，disk的隔离；同时，为了让Linkis每个微服务持续服务，k8s也会自动监控Linkis微服务并重启、新建，为了保证Linkis高SLA以满足业务7*24的使用需求，k8s提供滚动发布，弹性伸缩，故障迁移功能。

MobTech大数据平台专家工程师王震在主题为《借力Linkis完善Mobtech大数据开发平台》演讲中介绍，在常规大数据任务的开发和运维中，各个平台系统相互独立，这不仅仅使得开发流程变得繁琐，也极大的加大了系统的维护成本。MobTech在研发过程中做了很多的讨论和尝试，最终选择基于Scriptis和Linkis搭建数据开发平台，打通大数据任务的开发、发布调度等。在使用Linkis的过程中MobTech团队也成为了社区重要的合作伙伴之一，主导了0.11.0版本的发布。

解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用相关推荐

微众银行大数据爽约？回应:这是一种误解
近日,微众银行征信查询屡遭质疑.微众银行人士回应称,"微众银行互联网大数据爽约是一种误解,微粒贷的征信数据是多维度的".同时表示,为方便客户理解,就贷款余额为零达到一定时间的客户, ...
详解智能交通应用大数据“三重门”
文章讲的是详解智能交通应用大数据"三重门",武汉市悬在路口立杆上的金属小盒子--超级电子眼3个月抓了13万起交通违法,逆行.压线.套牌一眼识别,并能自动报警. 只需10秒,重庆市凭 ...
TiDB x 微众银行 | 耗时降低 58%，分布式架构助力实现普惠金融
「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付.从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来 ...
2022全球隐私计算专利排行榜发布，微众银行位居全球银行业第一
近日,全球知识产权综合信息服务提供商IPRdaily与incoPat创新指数研究中心联合发布了"全球隐私计算技术发明专利排行榜(TOP100)".榜单显示,入榜前10名企业主要来自 ...
详解:微众银宝软件对互联网新手的意义
作为一名程序主导工程师,并长期研究互联网创业的人,经常会分享一下互联网创业心得和对一些新软件程序的看法,今天就为大家详细解剖微众银宝这款软件带给互联网新手的作用与意义! 我研究过微众银宝这款软件经历2 ...
万字HBase详解带你畅游大数据的海豚湾
写在前面:我是「且听风吟」,目前是某上市游戏公司的大数据开发工程师,热爱大数据开源技术,喜欢分享自己的所学所悟,现阶段正在从头梳理大数据体系的知识,以后将会把时间重点放在Spark和Flink上面. ...
《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊
目录 Hadoop部署部署组件一.VMware部署安装二.Ubuntu18.04.5版本的部署安装三.安装VMware Tools 四.配置ssh免密登陆五.Java环境安装 Hadoo ...
python 写入excel 日期_详解：Python实现大数据收集至excel的思路大牛分享（建议收藏）...
一.在工程目录中新建一个excel文件二.使用python脚本程序将目标excel文件中的列头写入,本文省略该部分的code展示,可自行网上查询三.以下code内容为:实现从接口获取到的数据值写入 ...
案例详解：基于工业大数据和工业互联网的离散型智能工厂
1.企业简介深圳市豪恩声学股份有限公司创立于2001年,注册资本总额4168万元,公司在深圳坪山自建工业园区,拥有现代化办公及生产场地3.5万平方米,现有员工2000人,智能机器人近100台,现代化 ...

解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用

解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用相关推荐

最新文章

热门文章