2020-02-14 12:35:39

全文共2626字，预计学习时长8分钟

来源：blog.sina

Python是机器学习项目中最流行的语言，这点是毋庸置疑的。

虽然像R语言、C++和Julia这样的程序语言有其特有的使用群体与用例，使它们经久不衰，但Python仍是使用最广泛的语言，并用于每个主要的机器学习框架中。

然而，你能想象？在Cortex（将机器学习模型部署为API的开放源代码平台之一）代码库中，87.5%的代码都是使用GO编写。

图源： Cortex GitHub

Python引以为豪的机器学习算法只是生产环境机器学习系统的一个组成部分。如要实际大规模运行生产环境中的机器学习API，您的基础结构需要实现以下功能：

· 自动缩放，确保流量波动不会破坏API

· 实行API管理，以处理API同步部署

· 滚动更新，确保更新模型不会中断用户服务

Cortex旨在自动实现所有上述基础架构，以及其他一些问题，例如日志记录和成本优化。

出于以下考虑，Go是构建满足上述需求软件的理想之选：

1. Go生态系统非常适合基础设施项目

来源：zcool

开源的好处之一就是您可以从自己欣赏的项目中不断学习。例如，Cortex存在于Kubernetes（本身用Go编写）生态系统中。很幸运，我们能够在该生态系统中参考许多出色的开源项目，其中包括：

· kubectl: Kubernetes CLI

· minikube: 一种在本地运行Kubernetes的工具

· helm: Kubernetes软件包管理工具

· kops: 管理生产Kubernetes的工具

· eksctl: 亚马逊EKS的官方CLI

以上所有工具不仅仅是Kubernetes项目，并且都是用Go语言编写。无论是查看CockroachDB还是Hashicorp的基础设施项目（包括Vault, Nomad, Terraform, Consul和 Packer），您将发现它们均是使用Go语言编写。

Go在基础架构领域的流行还有另一个影响，那就是大多数对基础架构感兴趣的工程师都熟悉Go语言。所以，很容易通过GO吸引这些工程师。实际上，Cortex Labs最优秀的工程师之一就是通过在AngelList上搜索Go职位找到我们的。他找到了我们，我们感到非常幸运。

2.并发对于机器学习的基础架构至关重要

用户可以将许多不同的模型部署为不同的API，并把所有模型都在同一个Cortex集群中以便管理。而Cortex Operator也需要通过一些API来管理这些不同的部署。举例：

· Cortex调用Kubernetes API在集群上部署模型。

· Cortex调用各种AWS API（包括EC2 Auto Scaling，S3，CloudWatch等）来管理AWS上的部署。

用户不会直接与这些API进行交互。相反，Cortex以编程方式调用这些API来提供群集，启动部署和监视API。

以一种高效、可靠的方式交叉调用API是一项重大挑战。采用并发的方式使用API是最高效的方法，但也引发了问题，因为现在我们不得不担心竞态条件之类的事情。

Go提供了一个解决该问题的简便方案：Goroutines。

Goroutines是Go以并发方式执行代码的普通函数。我们可以另写一篇长文深入探讨Goroutines背后的工作方式，但是概括而言，Goroutines是Go运行时自动管理的轻量级线程。多个Goroutine可以放置在一个OS线程上，如果Goroutine阻塞了OS线程，则Go运行时会自动将其余Goroutine移到新的OS线程上。

Goroutines还提供了一个称为“channel”的功能，此功能允许用户在Goroutines之间传递消息，帮助用户调度请求并预防竞态条件。

当然，用户也可使用asyncio等最新工具在Python中实现这些功能，但Go在设计时就考虑到了这些情况，使用GO可以减轻我们的工作和生活负担。

3.使用Go语言编程是一种享受

来源：Pexels

我们使用Go构建Cortex的最后一个理由就是：Go语言真的非常好。

相对于Python，Go的入门有点痛苦。但是，Go的包容性能为大型项目带来舒适感。我们仍然在严格测试软件，但静态输入和编译（Go初学者的两大难题）充当了我们的护栏栏，有助于我们编写（相对而言）没有错误的代码。

您可能会说其他语言也会提供特定的优势，但总的来说，Go最大限度地满足了我们的技术和美学需求。

4.使用Go构建跨平台的CLI更容易

Cortex CLI是一个跨平台工具，允许用户直接从命令行部署模型并管理API。以下动图显示了运行中的CLI：

图源： Cortex GitHub

最初，我们使用Python编写CLI，但事实证明，跨平台分发CLI太困难了。而Go可以编译二进制文件（无需依赖管理），为我们提供了跨平台分发CLI的便捷易行方案，而无需进行额外的工程工作。

Go编译的二进制代码与解释型语言相比，具有显而易见的性能优势。根据计算机基准测试结果，GO的速度远胜Python。

许多其他的基础设施CLI工具也是用GO编写，这可能并非偶然。

Python适用于机器学习，而Go适用于基础架构

我们也很喜欢Python，它在Cortex中占有一席之地，特别是在处理推理方面。

Cortex服务于TensorFlow，PyTorch，scikit-learn和其他Python模型，这意味着与模型的接口，推理之前和之后的处理均在Python中完成。但是，即使Python代码经过打包部署到了Docker容器中，这些容器是由用Go编写的代码精心编排的。

来源：Pexels

如果您有兴趣成为一名机器学习工程师，那么必须熟悉掌握Python。但是，如果您对使用机器学习的基础结构感兴趣，认真考虑一下Go语言，一定会收获满满~

为什么用Go编写机器学习的基础架构，而不是Python？相关推荐

为什么用Go编写机器学习的基础架构，而不是Python？
全文共2626字,预计学习时长8分钟来源:blog.sina Python是机器学习项目中最流行的语言,这点是毋庸置疑的. 虽然像R语言.C++和Julia这样的程序语言有其特有的使用群体与用例,使 ...
抛弃Python，我们为什么用Go编写机器学习架构？
所有参与投票的 CSDN 用户都参加抽奖活动群内公布奖项,还有更多福利赠送作者 | Caleb Kaiser 译者 | 弯月,编辑 | 郭芮来源 | CSDN(ID:CSDNnews) 如今,众 ...
我们为什么用 Go 编写机器学习架构，却不用 Python？
"如果你有兴趣成为一名机器学习工程师,那么必须熟练掌握Python--但是,如果你对机器学习的基础架构感兴趣,则应该认真考虑Go." 作者 | Caleb Kaiser 译者 | ...
机器学习的中流砥柱：用于模型构建的基础架构工具有哪些？
本文转载自公众号"读芯术"(ID:AI_Discovery) 人工智能(AI)和机器学习(ML)已然"渗透"到了各行各业,企业们期待通过机器学习基础架构平台,以 ...
pass基础架构分析
pass基础架构分析 Relay 和 TVM IR,包含一系列优化passes,可提高模型的性能指标,如平均推理,内存占用,或特定设备的功耗.有一套标准优化,及特定机器学习的优化,包括常量折叠,死代码 ...
MLIR: 编译器基础架构重定义
MLIR: 编译器基础架构重定义 MLIR(多级中间表示)是语言(如 C)或库(如 TensorFlow)与编译器后端(如 LLVM)之间的中间表示 (IR) 系统.允许不同语言的不同编译器堆栈之间的 ...
边缘计算架构_边缘计算与开放基础架构的重要性
边缘计算架构古老的科幻电影描绘了计算机如何渗透到未来生活的方方面面. 它已经过去了,并且几乎没有引起我们的注意:它使家用PC变得司空见惯,我们的手机变成了小型智能设备,并且我们的汽车开始由数千个传感 ...
亚马逊云基础架构：一场从未停歇的技术创新革命
在亚马逊的每一份年报中,Jeff Bezos 都会附上一份 1997 年致股东信的原件副本.在信中,Bezos 概述了亚马逊是否成功的基本衡量标准:坚持不懈地关注客户.创造长期价值而不是关注企业短期利 ...
自制时代，七种自动化的基础架构即代码工具（IaC）
自从十多年前被创建以来,基础架构即代码(Infrastructure-as-Code,IaC)一直在改变着各个企业IT架构的设置与管理方式.过去对于IT人员而言,构建新的基础架构,就意味着在某个功能强 ...

为什么用Go编写机器学习的基础架构，而不是Python？

1. Go生态系统非常适合基础设施项目

2.并发对于机器学习的基础架构至关重要

3.使用Go语言编程是一种享受

4.使用Go构建跨平台的CLI更容易

为什么用Go编写机器学习的基础架构，而不是Python？相关推荐

最新文章

热门文章