新兴技术为我们的数据之旅铺平了道路。我们已经看到Kubernetes在应用程序自动化方面处于领先地位,越来越多的公司将赌注押在了云上,以及当今的企业对数据科学的依赖程度正不断提,再加上对大数据的人工智能高级分析,可以看到数据管理领域正出现更多机会。

以下是我期待在2020年看到的一些最大数据趋势。

趋势1:Kubernetes将在2020年推动AI更加可操作

在高级分析和人工智能方面,“ Kubernetizing”将在2020年带来全新的分析堆栈。通过将数据从远程数据孤岛移动到K8s集群中以实现更严格的数据局部性,分析堆栈的 “ Kubernetizing”解决了数据共享和弹性挑战。尽管容器对于管理Web服务器和独立数据库等无状态应用程序非常有效,但在高级分析和AI方面,Kubernetes仍有增长的空间。在2020年,Kubernetes将成为推动运营AI工作负载的关键部分。

分析堆栈正从SQL转移到紧耦合的关系数据库,再到Hadoop和云,逐渐变得更加分散。原始数据库的核心元素可以是它们自己的独立系统或层。诸如Kubernetes之类的技术允许将这些不同的部分组合在一起,从而简化在任何环境中运行的应用程序,并改变与环境无关的软件和应用程序的部署和扩展方式。

现在,当我们仔细思考当今的数据趋势已将我们带到何处时(尤其是高级分析和AI)时,我们看到了对分发模型训练和处理的更大需求。这需要在您的Kubernetes部署中编排数据。这是一个很难解决的问题,因为要顾忌分析堆栈是如何分开的。数据湖(S3,HDFS,GCS等),计算框架(Apache Spark,Presto,Hive,Tensorflow等)以及其他依赖项(例如目录服务)(Hive Metastore,AWS Glue,KMS等)都处于活动状态并自行管理。随着Kubernetes驱动更多可操作的AI,数据编排技术将成为这一趋势的关键部分。

Kubernetes简化了将多个分布式系统一起部署的复杂性,但随着分解变得越来越普遍,我们将看到在K8s集群上运行的更先进的可操作AI。下一组要解决的挑战将是数据访问,数据局部性和数据弹性。

为了在Kubernetes中为可操作的AI做准备,请查看使Kubernetes中的数据能够访问远程数据的技术。对于未来的AI工作负载需求而言,将数据本地化重新带入环境至关重要。

趋势2:无码/低码技术将简化数据科学

到2020年,借助无代码/低代码技术,简化的数据科学将得到发展。我们看到企业中比以往任何时候都更侧重于使用高级的分析和人工智能;公司将业务押在从AI和ML衍生的数据驱动的结果上。如今,要对大量数据进行如此深入的分析和洞察,您需要一名数据科学家或工程师——具有广泛的编程技能和非常深的数学知识的人员。可以想象,这些类型的人的需求量很大,供不应求。

2020年会带来什么?

数分钟被部署而不是数周的AI。这是公司想要实现的目标,尽管可以实现这一目标的专业人员数量有限。我们将看到更多使最终用户(在大多数情况下为业务或数据分析师)从自己的数据中收集深刻见解的技术。这些无代码或低代码技术将把机器学习带到最前沿,并使服务变得更智能,因此企业不会依赖具有特定专业知识的个人。例如,除了构建和部署模型之外,我们还将看到“创建您自己的模型,我们将为您提供训练”的自主技术。

我们最近看到的项目包括Google的Cloud AutoML(“无需编码的AI培训师”)和Teachable Machine 2.0(面向新的ML实践者的入门产品)之类的技术。此类技术将使非技术的最终用户能够实施和运行模型,同时避免出现错误(在构建AI模型时经常发生错误)。

今年,我们看到C3.ai,Mendix和Appian公司在低代码AI领域涌现了几项新技术,所有这些新技术都吹捧了低代码平台,这些平台几乎不需要编码经验,甚至可以提高开发人员的工作效率。

如果此方法适合您,请确保您的无代码/低代码技术具有内置的应用程序逻辑,位于其上方的托管或声明层以及位于其下方的可与数据集和模块配合使用的框架。

趋势3:云计算巨头将专注于多云

在过去三年中,我们一直在听到人们谈论混合云,而在过去的一年中,多云的趋势越来越多。在大多数情况下,这只是讨论,但在2020年将发生变化。在部署和利用多云环境方面,我们将看到显着增长。

我们正处于主要云提供商(AWS,GCP,Azure)的起步阶段,他们向市场推出了能够支持多云部署的技术。

Microsoft Azure Stack Hub允许用户在自己的数据中心中利用Azure云服务,而Microsoft最近刚刚发布了Azure Arc,这是一个多云管理层,将Azure扩展到其他公共云平台(例如AWS和GCP)。

AWS Outposts允许用户在本地运行适用于多云/混合架构的AWS基础设施。用户可以利用任何数据中心,托管空间或本地设施中的任何AWS服务,基础架构或运营模型。

Google Anthos可使应用程序能够在Google Cloud,私有数据中心(确实如此)和/或其他公共云(Azure和AWS)中运行。它使用户真正成为不需可感知云和喜欢使用多云的人。

云提供商意识到不同的用例需要不同的环境,并且正在构建产品,允许其用户从一个数据中心(云)灵活地迁移到另一个数据中心。

这些技术的好处是巨大的。用户可以自由地在他们想要的任何地方轻松地部署,运行和管理其应用程序,同时满足业务和技术要求。必须学习不同的环境和不同的API的日子已经一去不复返了。这些技术使企业可以避免供应商锁定,通过使用更接近客户的数据中心来获得更好的性能(更少的延迟),帮助遵守数据治理要求(例如GDPR),并在发生故障时提供弹性。

在2020年,我们将看到企业在多云环境下的数量翻倍。随着这些类型的服务逐渐成为主流,入门也变得容易。

关于作者

史蒂文·米(Steven Mih)是Alluxio的首席执行官。他在企业技术解决方案的销售,业务开发和市场营销方面拥有20多年的经验。他的营销经验来自于一些领先的组织,包括Aviatrix,Couchbase,Transitive,Cadence Design Systems和AMD。

Kubernetes,多云和低代码数据科学:2020年最热门的数据管理趋势相关推荐

  1. 云原生/低代码/数据科学/计算等方向内容整理志愿者招募了!

    持续招募内容整理志愿者!云原生.数据科学.AI.低代码.计算等方向,有意愿的小伙伴,欢迎识别二维码提前报名哦.我们将持续为爱学习.有时间的小伙伴,提供多重福利! 要求: 1. 你需要具备一定学术背景, ...

  2. 技术控,看这里,一款支持断点调试的数据科学工具

    数据科学是一门利用统计学.机器学习.数据挖掘.数据可视化等技术和方法,从数据中提取知识和信息的交叉学科.自上世纪60年代,统计学家John W.Tukey首次提出"数据分析"(Da ...

  3. 数据科学即将迎来“无代码”时代

    我们正在进入数据科学实践的新阶段,即"无代码"时代. 像所有重大的变化一样,这个变化还没有在实践中清晰地体现,但这个变化影响深远,发展趋势非常明显. 现在,每一周都会有一些自动代码 ...

  4. GoView 开源,一个好用的 Vue3 低代码开发数据大屏系统

    介绍 GoView 是一个高效的拖拽式低代码数据可视化开发平台,将图表或页面元素封装为基础组件,无需编写代码即可制作数据大屏,减少心智负担.当然低代码也不是 "银弹",希望所有技术 ...

  5. 【后端教程】低代码起势,为什么它有希望“干掉”开发? | 甲子光年

    愿程序员早日脱离996. 作者 | 小沐 编辑 | 火柴Q 2005年,在国内某大型化工厂工作的万斌来到位于瑞士的世界第二大造纸厂参观.一般人印象中,造纸是非常传统的制造业,而万斌却看到,在宽如候车厅 ...

  6. 低代码平台,企业服务新战场

    文/智能相对论(aixdlun) 作者/陈壹 如果说数字化创新是破土而出的幼苗,那么数字化技术普及就是其不可或缺的生长环境. 当数字化技术能力得到下放,让应用开发像搭乐高玩具一样,让大众都能参与进来, ...

  7. 2021数据科学平台领域最具商业合作价值企业盘点

    数据智能产业创新服务媒体 --聚焦数智 · 改变商业 6月19日,数据猿携手上海大数据联盟,依托双方优势资源与力量,共同以媒体+联盟的方式推动产业的发展与行业的进步,特以"聚焦数智价值 引领 ...

  8. 谷歌机器学习主管:10年自学数据科学的3点心得体会

    全文共3243字,预计学习时长10分钟 来源:Pexels 数据科学.机器学习和分析被认为是最热门的职业之一. 工业界.学术界和政府对熟练数据科学的从业人员的需求正在迅速增长.因此,目前的" ...

  9. 低代码开发平台建设步骤及思考

    前言 由于毕业至今一直从事于企业应用相关的工作,在整个过程中有很多思考.包括低代码最早运用于bpm行业.随着2020年疫情,推动了整个企业应用相关的进程,尤其突出的是重新提出的 低代码甚至零代码开发平 ...

最新文章

  1. [LCS]启用WindowsMessenger5.0的调试日志功能来诊断登录LCS服务器
  2. 数据库中存储日期的字段类型究竟应该用varchar还是datetime ?
  3. windows下qt5 kinect 2.0开发与环境配置
  4. linux远程图形操作系统,二、Linux操作系统之操作篇-Xmanager 远程访问Linux图形化界面...
  5. Python应用实战系列(一)-正则表达式大全
  6. spring boot应用启动原理分析
  7. Android中Intent传递Object和ArrayListObject对象---笔记
  8. IntelliJ IDEA 运行 Maven 项目
  9. 前端学习(2656):vue2中用v-model实现
  10. SuperMap iDesktop 9D中实现地图配准
  11. oracle怎么变为整数,如何在Oracle 11g SQL中为char添加整数?(How to add integers to char in Oracle 11g SQL?)...
  12. Office 365 SharePoint 迁移浅谈 (一)开篇介绍
  13. IOS 四种保存数据的方式
  14. 通信维修专用电源_万可PRO 2电源 | 开拓性通信功能,自信迈入数字化时代
  15. LINUX SHELL中while循环和遍历参数
  16. 【优化预测】基于matlab天牛须算法优化BP神经网络预测【含Matlab源码 1316期】
  17. 嵌入式Linux学习笔记(1)开篇
  18. 扑克之星网站服务器连不上,扑克之星服务器崩溃一小时引发玩家不满
  19. Oracle 存储过程简单实例
  20. otsu阈值分割算法原理_局部阈值分割算法总结

热门文章

  1. SharePoint2013开发环境搭建(完整版:图文并茂)
  2. objective-c中的static
  3. net读取exchange数据
  4. 唤醒计算机运行此任务_如何停止Windows 8唤醒计算机以运行维护
  5. 如何在Windows 10上设置默认Linux发行版
  6. usb 驱动修复_您可以修复物理损坏的USB驱动器吗?
  7. macos剪切_如何使用macOS的内置“ Kill and Yank”作为替代剪切和粘贴
  8. Unbuntu 自动重启MySQL
  9. MySQL远程访问报错解决
  10. 导入工程后编译不过,报错: apply plugin: 'com.github.dcendents.android-maven'