亚马逊机器学习服务:深入研究AWS SageMaker
作者 | Manish Manalath
译者 | Shawn
编辑 | Carol
出品 | AI科技大本营(ID: rgznai100)
机器学习是一个从数据中发现模式的强大概念。但是,如果您尝试过从零开始构建机器模型,那么您一定知道设计一个可扩展的机器学习工作流是多大的挑战。
使用传统方法构建机器学习模型,标记、训练和微调参数非常耗时。除此之外,训练模型是一个繁琐的过程,需要相当大的计算能力。正因如此,用复杂的模型构建可扩展的工作流,比如强化学习模型,是数据科学家面临的一大挑战。
Amazon试图用AWS SageMaker来解决这些挑战。
Sagemaker是Amazon推出的一项全受管服务,它提供了一组丰富的工具,帮助您轻松地构建、训练、测试和部署模型。Sagemaker可以让您设计一个完整的机器学习工作流,以最小的工作量将智能集成到您的应用程序中。
Sagemaker是一项全受管服务。这意味着没有设置,没有安装,也不需要手动扩展。Sagemaker提供了一个完整的机器学习套件,其中包括IDE,您可以使用它与您的团队进行实时协作。
让我们来看看SageMaker 的各个组件,了解它们如何协同工作,以帮助团队为客户打造和交付更好的解决方案。
SageMakerGround Truth
准备正确的数据集是构建机器学习模型的第一个挑战。这些数据集通常是从不同的来源获得的,可能有着不同的格式。由于算法不能处理原始数据,因此在数据准备阶段经常需要进行手动标记。除了训练模型,预处理数据是工程师花费时间最多的地方。
Sagemaker Ground Truth使用预先训练的机器学习模型自动标记原始数据,大大减少了创建标记数据集所需的时间和精力。随着时间的推移,通过学习手动创建的标签,GroundTruth也逐渐变得更好。
SageMaker Studio
Sagemaker Studio是一个功能丰富的机器学习集成开发环境(IDE)。您可以使用单一的集成接口编写、调试和可视化您的模型。
Sagemaker Studio还提供分步跟踪的功能,您可以使用暂停,重放和克隆步骤。这样,在机器学习工作流中来回移动来分析和迭代单个步骤会很容易。
Sagemaker Studio包含以下同步工作的工具,可以帮助您毫不费力地构建复杂的机器学习架构。
SageMaker AutoPilot
Autopilot是SageMaker中最有用的工具。在设计机器学习模型时,找到正确的算法是另一大挑战。鉴于解决机器学习问题的算法种类繁多,找到最有效的算法往往需要数小时的训练和测试。
Autopilot使用预先训练的机器学习模型来解决这个问题,为您的数据找到正确的算法。通过提供目标列进行预测,Autopilot将探索不同的解决方案,找到最适合您数据集的模型。一旦Autopilot找到了正确的模型,你还可以选择使用自定义的配置来扩展模型。
SageMaker Notebooks
如果您熟悉Jupyter Notebooks, SageMaker Notebooks就是一个可以与他人共享的Jupyter Notebooks。您可以与您的团队协作,使用SageMaker Notebooks实时构建机器学习模型。
Sagemaker Notebooks不受限于初始配置,这意味着您可以使用不同的硬件配置来测试您的机器学习模型。在创建一个新的SageMaker Notebook时,您还可以选择不同的预制模板。
SageMaker Experiments
为了训练模型,您必须在模型中运行数据进行多次迭代,直到获得最好的准确性。这包括尝试不同的算法,微调参数,调整特性等一系列操作。
Sagemaker Experiments可以将每个优化过程作为“实验”存储,并提供可视化界面供您浏览。Sagemaker Experiments 捕获每次迭代的输入参数、配置、结果等,供您浏览和审查它们的性能。
SageMaker Debugger
机器学习模型的准确性只有在训练完成后才能确定。但是训练模型是一个耗时的过程,需要几分钟到几小时不等。如果你不得不改变参数,那么就必须重新训练模型来计算其准确性。
Sagemaker Debugger在训练过程中捕获实时指标。捕获的验证、混淆矩阵和学习梯度等信息,可以帮助您分析整个训练过程,进行优化,以获得更高的准确性,而不用重新训练整个模型。Debugger还会对常见问题发出警告,并提供最佳操作建议。
SageMaker Model Monitor
一旦机器学习模型投入生产,就很难自动监控模型的性能。当模型从用户交互中接收到新的数据时,可能会出现数据偏移,这将改变基值,如均值、方差、平均值等。没有适当的统计分析,很难用传统的方法推断出这些问题。
Sagemaker Model Monitor监视生产中的机器学习模型,并在模型不能按预期那样运行时提醒您。通过配置,Sagemaker Model Monitor可以生成包含常规统计信息和性能指标的报告,并且可以定期存储在S3 bucket中。
SageMaker Neo
像自动驾驶汽车这样的复杂机器学习解决方案是使用一组单独的模型构建的。这些模型必须做出快速、低延迟、高准确的实时预测。这样的模型需要花数年时间来训练、测试和部署。一旦部署后,除非有一个坚实的强化学习架构,否则很难更新edgelocations模型。
这时候SageMaker Neo就可以派上用场了。Neo对模型进行了优化,使其运行速度提高了两倍,而占用的内存不到十分之一,而且在准确性上没有任何损失。
Neo还可以将机器学习模型编译成一个可执行文件,部署到云端或者 Lambda edge上。Neo还支持使用AWSGreengrass对edgelocations(分发节点,是指亚马逊在全球建立的,对源服务器发布的内容进行缓存的节点。终端用户访问时,从最近的节点提供数据)的无线更新。
SageMaker Augmented AI
高度精确的机器学习模型,经过一定程度的人工干预,能更好地保证数据的质量和准确性。Amazon Augmented AI (A2I)使得构建人工审查预测结果的工作流变得容易。
这在处理诸如扫描文档和自然语言文本等低质量数据格式时特别有用。A2I可用于对低可信度预测结果进行人工审查,或持续地对预测进行审核。
AWS Marketplace
AWS Marketplace是一个数字目录,上面提供了数千项由独立软件供应商开发的预配置软件服务。AWSMarketplace提供了从操作系统到数据分析的一系列解决方案。
Aws Marketplace还提供了多种使用 AWS 平台构建、训练和测试的机器学习解决方案。您可以选择Marketplace上可用的现有模型,并将其直接部署到生产环境中。Marketplace解决方案也是可扩展的,在将这些模型部署给客户之前,开发人员能够添加额外的配置层。
总结
如果你是一名机器学习工程师,当你从头开始构建完整的机器学习工作流程时,Sagemaker会帮你大大缩减开销和设置的数量。 Sagemaker 还提供托管现场培训,使用多余的 AWS 现场实例运行您的培训作业。在训练大规模数据集时,这可以帮您节省计算能力方面的成本。
Sagemaker 还能很好地与Tensorflow和 Keras等语言兼容,能够提供一个GPU集群来并行运行计算。毫无疑问,SageMaker 是机器学习工程师工具箱里的一个强大工具。
原文链接:
https://hackernoon.com/amazon-machine-learning-a-deep-dive-into-aws-sagemaker-9mx3zs8
(*本文为AI科技大本营翻译文章,转载请微信联系 1092722531)
◆
精彩推荐
◆
2020年,由 CSDN 主办的「Python开发者日」活动(Python Day)正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作,联手顶尖企业、行业与技术专家,通过精彩的技术干货内容、有趣多元化的活动等诸多体验,共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来,我们和中国万千开发者一起分享技术、践行技术,铸就中国原创技术力量。
【Python Day——北京站】现已正式启动,「新春早鸟票」火热开抢!2020年,我们还将在全国多个城市举办巡回活动,敬请期待!
活动咨询,可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人,无法自动进入,可添加会议小助手微信:婷婷,151 0101 4297(电话同微信)
推荐阅读
伯克利新无监督强化学习方法:减少混沌所产生的突现行为
机器推理文本+视觉,跨模态预训练新进展
中国搜索 20 年:易守难攻、刚需不减!
悲痛!临近年关,一位 IT 创业者自杀,曾卖房给员工发工资
年终没有奖
以太坊 2.0 前途光明!
-
你点的每个“在看”,我都认真当成了AI
亚马逊机器学习服务:深入研究AWS SageMaker相关推荐
- 亚马逊云服务(AWS)与Formula 1共同宣布 2020赛季新增六项赛车性能统计数据
第一项实时赛车数据"车辆性能得分"将于7月3-5日在F1奥地利大奖赛首次亮相,它将车手表现.车队表现和车辆性能相结合,为车迷观赛提供更深入的洞见. 北京时间6月23日,亚马逊云服务 ...
- Nutanix混合云基础架构现已支持亚马逊云服务(AWS)
携手AWS,Nutanix Clusters支持应用云间无缝迁移及统一操作,助力企业加速云上旅程 企业云计算领导者Nutanix(纳斯达克:NTNX)今日宣布,Nutanix Clusters现已在亚 ...
- 亚马逊云服务(AWS)云原生自研处理器首次落地中国区域!
2021年1月28日,亚马逊云服务(AWS)正式宣布,由 AWS Graviton2 处理器提供支持的 Amazon Elastic Compute Cloud (Amazon EC2) M6g.C6 ...
- 亚马逊云服务(AWS)中国宁夏及北京区域正式上线Amazon SageMaker
Amazon SageMaker 是一项完全托管的服务,使开发者和数据科学家能够更广泛.更成功地使用机器学习 亚马逊云服务Amazon Web Services, Inc. (AWS) 今天宣布,Am ...
- 亚马逊云计算服务器在哪,亚马逊云服务(AWS)的“服务器型号“已近400种
亚马逊云服务(AWS)的"服务器型号"已近400种 2021-02-04 10:59:06 来源:IT运维网> 2021年1月28日,亚马逊云服务(AWS)正式宣布,由 ...
- 《姐姐2》同款热销,亚马逊云服务(AWS)助力“小芒”启航
上班族洋洋习惯在中午打开手机,边看综艺视频边吃饭.2020年夏天大火的<乘风破浪的姐姐>,是洋洋最喜欢的下饭视频了.节目中,30位姐姐们打破千人一面的温柔懂事刻板印象,在镜头前展现当代女性 ...
- AWS系列之一 亚马逊云服务概述
AWS系列之一 亚马逊云服务概述 云计算经过这几年的发展,已经不再是是一个高大上的名词,而是已经应用到寻常百姓家的技术.每天如果你和互联网打交道,那么或多或少都会和云扯上关系.gmail.github ...
- aws cloud services亚马逊云服务分类
1. 亚马逊云 官网 在aws cloud 官方网站https://us-west-2.console.aws.amazon.com/console/home?region=us-west-2 登陆后 ...
- AWS(Amazon Web Services, 亚马逊网络服务系统)简介
1.简介 亚马逊网络服务系统(英语:Amazon Web Services,简称为AWS),由亚马逊公司所建立的云端运算平台,提供许多远端Web服务.Amazon EC2与Amazon S3都架构在这 ...
最新文章
- blender硬表面建模渲染终极教程
- ntellijIDEA用鼠标滚轮调整代码文字大小
- python装饰器 property_Python中@property装饰器的使用技巧性解析(代码示例)
- Oracle中的Union、Union All、Intersect、Minus
- css中哪些属性与创建多列相关,css3中的新增属性有哪些
- 如果信用卡欠款不还被坐牢,那所欠的钱还用还吗?
- Windows系统USB转CDC串口驱动限制说明
- ubuntu11.10 源码编译安装php5.3.8,Ubuntu 11.10编译安装Nginx、PHP 5.3.8、MySQL、MongoDB、Memcached、SSL、SMTP...
- linux使用外部smtp发送邮件,Centos 配置mailx使用外部smtp发送邮件
- 618预售首日 李佳琦、薇娅直播间场观均破亿
- Spring : @EnableConfigurationProperties注解
- 华为应用锁退出立即锁_华为P40系列三大安全锁,教你锁住你的隐私 - 企业资讯...
- se105模板,产品详情页去掉多余的review栏目。
- day 11 Python课上练习解释与基础知识练习题试题一
- 老男孩python作业_老男孩python学习之作业一购物小程序
- Java项目本地部署宝塔搭建实战-医院HIS系统源码
- 软考-中级-网络工程师-知识点个人总结(一)
- 2017年迪培思昆明国际广告标识及LED照明展会刊(参展商名录)
- php pdo 遍历,PHP PDO操作总结
- iWork8删除Android分区,摆脱安卓,释放空间——iwork1x双系统变win10单系统教程
热门文章
- route命令相关整理
- selenium+python自动化81-html报告优化(饼图+失败重跑+兼容python23)
- zookeeper集群环境搭建
- apache性能测试工具ab使用详解
- Red Hat 5.8 CentOS 6.5 共用 输入法
- IHttpHandler 在SharePoint中的应用
- eclipse 出现user operation is waiting
- 近期上海面试总结(一)
- Spring MVC 返回json数据 报406错误 问题解决方案
- java.io.EOFException java.io.ObjectInputStream$PeekInputStream.readFully 错误