上几期介绍了不同的技术和发展历程,本期着重介绍基于API的新一代面向服务框架(SOA)技术集成技术。由此类技术开发的集成平台,将系统连接、数据集成、业务逻辑全部通过松耦合集成于一体。为系统集成开发者通过统一的规范模式,快速地与各类IT系统,数据库,云计算服务和智能设备高效对接。成为一个高内聚、低耦合的核心中台(中间件),帮助开发者简化了许多与底层设备对接的复杂操作,提供系统的可拓展性和软件复用性。

为了适应广泛的异构系统,平台通过标准的、支持Internet、与操作系统无关的通用协议实现了连接互操作。数据和服务的封装是采用简洁的数据协议,具有轻量,简洁,自解析和自定义的特性,实现语义的互操作。通过强大的智能API网关为连接枢纽实现智能路由转换对接。

灵长科技自主开发的智能连接和数据集成平台,正是利用这一技术,其核心亮点是拥有自主知识产权的简洁,通用,统一的API规范,可以轻松顺应不同的服务需求。通过统一的规范,平台可以轻松的连接,管理不同的系统,设备,数据库和服务。将不同厂商的云服务API,各种智能设备,物联网IOT, 通过统一封装, 创建出统一的接口方便了前端调用。同时支持智能设备和服务自动化联动等丰富应用场景。

平台的基本功能如下,对客户选购类似产品有参考作用:

集成自动化开发环境 (针对服务端开发人员的开发者门户):平台的开发者门户为开发者提供了一个云端一体化的集成开发环境,开发人员无需安装配置单独的开发环境工具,登陆浏览器即可以随时随地在线开发,并保证开发与最终部署的生产环境的配置一致性。平台提供一键编辑热更新机制,实时反映代码改动效果,实时输出调试信息,方便代码改动调试。并设有内置Web Terminal,支持各类命令行工具。这一开发环境也支持多用户的团队同时在线开发和独立部署,支持应用管理权限的审核,分享和移交。平台还提供多种自动化开发工具:包括自动生成API文档。提供文档编辑工具和校验机制,开发者无需再手写和维护变更的API文档。接口参数按规范定义后,系统一秒内自动产生文档,永远与实现代码保持自动同步。同时,接口测试工具界面也自动根据规范参数生成。用生成的测试表单,可以一键导入测试数据,实现全自动的API伪数据测试,无需人工干预。这一完整的自动化开发辅助流程,可以大大的提高开发者对应用的开发,更新和运维管理效率。

API和应用服务管理功能(针对服务端运维管理人员的管理者门户):平台提供的运营管理者门户,是统一的API应用管理中心,方便应用的注册、分类索引、查看和使用。支持API权限设定,分享、审计等能力和全生命周期的版本管理。平台提供严谨的API运营管理功能:包括多层次的调用权限,密钥和用户身份认证,流量监控和限流管理。平台也提供多维度API数据统计和定制化数据分析能力,依据数据,平台支持灵活的API计费能力。提供预付费、后付费、套餐等多种计费模式。方便实现收费API业务模式。

统一的调用接口(针对调用端开发人员的调用者门户):平台系统的调用用户可以通过平台提供的统一接口和统一的数据格式,轻松连接平台封装管理的系统,设备,物联网IOT,云技术服务和数据库。平台为调用客户屏蔽了底层设备和数据的复杂性,让他们可以通过统一的调用方式轻松地开发客户端应用。

“微服务”应用开发管理平台:基于微服务理念,平台上任意“应用”都被单独模块化封装,模块间交互通过统一的API调用来实现。也就是说,应用可以通过标准接口调用其他的应用,形成了多层次的组合应用。极大的提高了软件模块的复用性,轻松地创造出丰富多彩的集成应用。平台与JAVASCRIPT 的NPM社区100%兼容,这就为开发提供了超过70万个可复用开源模块,包括大量的标准数据处理模块,极大地提高了开发效率。

不断拓展中的连接模块:平台兼容支持通用网络服务(web service)的SOAP标准协议,广泛应用于移动互联服务的REST协议和物联网器件MQTT协议。对常用数据库已形成丰富完整的连接模块。我们正在开发支持常用企业应用(ERP,CRM,SCM)等,并提供对企业自定义协议的定制化开发服务。

丰富的模块和强大的数据处理能力;对于开发者来说,平台上可以承载丰富的数据处理应用模块。集成开发者可以通过应用轻松地进行各类数据操作。应用中的数据操作可以使用通用的SQL语言来撰写, 实现数据的调用,清洗,脱敏,转换,归一,整合,编排,重组等多项操作。

平台上应用的编排组合,代表了数据处理的复杂业务流程。平台与所有的系统对接完成后,来自不同异构系统上的数据,就可以按照业务流程实时处理。因此,集成平台支持连接多源异构系统,实现实时数据采集、清理、监控、转换,编排,重组和集成,确保信息的可信度和与数据源的一致性,为统一分析决策提供实时数据服务。经过平台的融合集成,来自不同的源头和质量参差不齐的异构数据就有可能形成有价值的数据资产,最终通过API的开放服务提供给客户。

在数据集成应用上,本系统平台可以

· 快速对接传统遗留数据库,为数据库提供统一的API调用接口,满足实时采集数据。

· 为智能设备和第三方云服务提供统一的API调用接口,满足实时采集数据。

· 实时集成处理转换结构化和非结构化数据。

· 并提供可扩展的大数据处理平台和丰富的可复用数据处理模块。

平台提供的统一数据集成标准,也帮助项目总包商轻松管理各个团队和不同分包商之间的合作。

丰富的核心功能:强大的抽象封装功能,统一管理设备,数据和服务,所有数据统一转换到标准JSON数据结构。并且提供基于JSON数据结构下的调制,编排,转换的功能。

卓越的运维管理:平台拥有卓越的运维管理功能,每一个应用,无论是连接还是数据处理,都以一个驱动(driver)为应用的基本抽象单元,部署应用即为安装驱动,平台支持驱动(应用)的一键部署和零中断热更新。应用代码热更新时,其他依赖服务无感知,无需重新启动平台软件。平台独立的应用线程沙箱,服务间多用户隔离,单独应用的崩溃等异常情况对其他应用互不干扰。平台应用基于Node.js 编写,迷你的应用包尺寸,非常适合一键完成下载、上传、发布等远程操作任务。 平台提供完善的安全保障机制:用户和调用权限管理,调用密钥管理和调用者认证。调用数据实时监管和严格数据校验:既确保安全,也排除了不规范调用对服务器的资源浪费。平台具备自动监控能力,CPU / 内存异常时,无需手工运维监管,单一应用异常崩溃可自动重启,减少服务离线时间,提高平台服务在线率。

平台单核最大并发处理能力在2500次/秒,大大优于传统基于Java技术的产品。平台并发处理能力可以根据服务器资源线性扩展。平台提供双向小数据通道和自定义缓存服务功能,进一步优化了服务器性能。

平台完善的日志和分析能力也为进一步支持优化运营,数据和业务服务提供了有力支持。实现数据服务价值化和API经济。

敬请关注 WWW.APEMESH.COM

转载于:https://juejin.im/post/5cd18b726fb9a031f038115a

论数据集成技术的演变和发展 3/3相关推荐

  1. 中国工程院院士陈纯:链上链下数据协同技术是联盟链发展的重要方向(全文)...

    "联盟链是目前中国最具实际应用前景的技术." 本文旨在传递更多市场信息,不构成任何投资建议. 火星财经APP(ID:hxcj24h)一线报道,10月11~13日,由中国计算机学会主 ...

  2. 数据集成技术概述-常见的CDC方案比对

    导读 数据集成的概念,与主要挑战. CDC技术详解:概念.主流解决方案.以及两个技术流派. 实时增量数据集成的主要开源技术:canal.maxwell.Debezium.FlinkCDC.FlinkX ...

  3. 巨龙信息大数据集成技术 海量数据集成架构实践

    巨龙信息大数据集成系统是一款基于分布式并行计算架构开发的ETL数据集成系统.具备高吞吐.高可用.高扩展特性,可以为海量数据的超大规模数据仓库建设提供抽取.整合.清洗.入库等集成业务. 巨龙信息大数据集 ...

  4. 数据集成方法发展与展望

    数据集成方法发展与展望 一. 摘要 二. 发展概要 三. 技术综述 3.1 早期数据集成技术 3.2 后续集成算法的发展 3.3 面向网页表格的数据集成技术 3.4 基于众包的数据集成技术 3.5 数 ...

  5. 大数据处理技术之数据集成

    大数据处理技术是一个十分重要的工作,就好比做菜,我们做菜之前就需要对蔬菜进行清洗,洗过的菜我们才能够吃的放心,同时还有助于我们的身体健康.而大数据处理就好比清洗蔬菜一样,当我们对数据整理以后,我们才能 ...

  6. 计算机数据交换技术发展的顺序,计算机网络数据交换技术的发展探析

    [摘要] 随着经济的快速发展和网络科技的普及,人们也越来越重视计算机网络技术的发展,未来社会离不开计算机网络技术的应用,加快对计算机网络数据交换技术的创新和发展就变得尤为重要,本文主要是对计算机网络数 ...

  7. Entity Framework技术系列之1:数据访问技术概述

    前言 .NET Framework自2002年发布以来,已经历了十来个年头.相应的,.NET平台上的数据访问技术也在不断发展,从最基础的ADO.NET,到SqlHelper简单帮助类,到DAAB(Da ...

  8. 基于流计算 Oceanus(Flink) CDC 做好数据集成场景

    作者:黄龙,腾讯 CSIG 高级工程师 数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产.无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的PASS平台 ...

  9. 三级综合医院数据集成平台建设与架构设计 | 实践分享

    1.医院数据集成平台建设的背景 国内大多数三级医院信息化起步于上世纪90年代初,至今发展有将近30年历史,主要分为四个阶段: 第一阶段,财务电子化模式:上世纪90年代中期,北上广的三甲医院已开始引入基 ...

最新文章

  1. 华人学者解开计算机领域30年难题:布尔函数敏感度猜想
  2. pde中微元分析法的主要思想_果然是清北学霸,高中数学解题思想与技巧方法,学会不下145分...
  3. hdu 4907(并查集)
  4. 用原生JavaScript实现无缝轮播
  5. 微信小程序,引用扩展组件提示“没有找到可以构建的NPM包”
  6. python hexdigest,Java方法,可以为Hex中的HMAC-SHA256提供与Python方法相同的输出
  7. [JavaWeb-MySQL]多表查询(内连接,外连接,子查询)
  8. 华为设备VRRP+MSTP冗余负载均衡实现
  9. 2D虚拟试衣——服装变形
  10. 不懂就问确实是个好习惯------韩愈《师说》
  11. 基于socket的即时通信系统的设计与实现
  12. vue2.x和3.x中mock数据方式
  13. element-ui图片上传组件之限制每次5张上传(或者自定义每次几张上传)
  14. android 铃音制作工具,来电铃声大全制作软件
  15. php自定义函数全局声明,【phpcms-v9】phpcms-v9中自定义全局函数文件:extention.func.php...
  16. Win系统 - 如何添加新用户,怎么添加管理员帐户?
  17. Map的某种创建方式
  18. D7100 调节白平衡
  19. 初创公司多产品线分红篇
  20. 无法安装X64 在计算机找到X32,怎么看电脑适合装32位还是64位

热门文章

  1. 学习进度 - 004
  2. dede标签用法(来源网页)
  3. Quick BI助力云上大数据分析---深圳云栖大会 1
  4. 简单使用TFS管理源代码
  5. MySQL针对Swap分区的运维注意点
  6. SDUT 2080 最长公共子序列问题
  7. vue-:class的几种使用方式
  8. 总结 创建领取 微信会员卡 踩过的坑
  9. php this指针的用法,C#_C#中this指针的用法示例,本文实例展示了C#中this指针的 - phpStudy...
  10. oracle 物理读突然增加的原因_请教一个诡异的物理读比逻辑读还多的问题!!!!