2019独角兽企业重金招聘Python工程师标准>>>

英特尔分布式深度学习平台Nauta-安装、配置与管理指南

随着人工智能的发展,深度学习的价值不断增长,但实现它可能是一个复杂耗时的过程。英特尔(Intel)正寻求通过其在 Kubernetes 进行分布式深度学习的新开源平台来改变这一状况,该深度学习平台称为:Nauta 。

本指南包括 Nauta 安装、配置和管理,提供安装和配置Nauta的具体步骤。 同时包含了Nauta 要求、配置的选项,以及管理任务。

注意: 配置 Nauta 客户端的指南,参考 Nauta User Guide。

Nauta 是一个软件套件,提供了多用户、分布式计算环境用于运行深度学习的模型训练试验。 实验结果可以查看和监视,可以通过命令行界面 (CLI)、Web UI 或 TensorBoard*来查看。你可以使用已有的数据集,自己的数据或者在线下载数据,创建共有或私有目录来在团队间协作。

Nauta 运行于 Kubernetes* 和 Docker*,易于管理,具有较好的伸缩性。Nauta 使用定制模版来消除创建和运行单个/多个节点深度学习的复杂性,在标准的容器环境中运行,不需要复杂的系统和脚本。

硬件需求

Nauta is intended to run on a multi-server Kubernetes cluster. To run Nauta, you will need at least one Master node, and one or more Worker nodes. Nauta is a platform for performing Deep Learning training, and requires robust hardware specifications to run with optimal performance.

安装概览

安装Nauta 在 'bare metal' (for example, non-cloud) 服务器环境,需要:

  • 执行下面的命令:

    • git clone --recursive https://github.com/IntelAI/nauta.git
    • cd nauta
  • 编译基本package (makefile实现自动化的系列处理,有一些需要的最小的 packages集合)。
  • 发布 Nauta's inventory 文件告诉master 和 worker nodes在哪里,以及如何访问。
  • 配置Nauta's 配置文件,告诉关于 proxies, network quirks 和 filesystem 偏好等。
  • 运行安装脚本。

该过程包括:

  • 创建 Kubernetes cluster, 所有的需要的 Docker files用于运行 Tensorflow*, Jupyter*, Tensorboard, 和 Horovod*。

  • 安装 Nauta server-side 应用到新的Kubernetes cluster,然后启动系统来运行。

完成上面的操作需要花一些时间,我们一步步来。

文档 Flow

该指南包含下面的主题:

  • System Software Components Requisites
  • Building Nauta
    • Installer System Requirements
    • Target Host Requirements
  • Inventory Configuration
  • Nauta Configuration (Variables)
    • Installation Package Requirements
  • Installating and Starting Nauta
  • User Management
  • Troubleshooting

更多:

  • 英特尔为 Kubernetes 推出分布式深度学习平台:Nauta

转载于:https://my.oschina.net/u/2306127/blog/3017232

英特尔分布式深度学习平台Nauta-安装、配置与管理指南相关推荐

  1. 英特尔为 Kubernetes 推出分布式深度学习平台:Nauta

    2019独角兽企业重金招聘Python工程师标准>>> 随着人工智能的发展,深度学习的价值不断增长,但实现它可能是一个复杂耗时的过程.英特尔(Intel)正寻求通过其在 Kubern ...

  2. 英特尔贡献基于 Kubernetes 分布式深度学习平台:Nauta

    随着人工智能的发展,深度学习的价值不断增长,但实现它可能是一个复杂耗时的过程.英特尔(Intel)正寻求通过其在 Kubernetes 进行分布式深度学习的新开源平台来改变这一状况,该深度学习平台称为 ...

  3. 分布式深度学习最佳入门(踩坑)指南

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨Lyon@知乎(已授权) 来源丨https://zhuanla ...

  4. 英特尔推深度学习加速工具包OpenVINO,布局边缘计算,发力物联网业务

    上周五(7 月 27 日),英特尔面向中国市场推出了专注于加速深度学习的 OpenVINO 工具包,可以帮助企业在边缘侧快速实现高性能计算机视觉与深度学习的开发. OpenVINO (Open Vis ...

  5. [编译环境]百度深度学习平台PaddlePaddle安装、官方跑通、跑通自己想用的模型(deepLab,swin-transformer哒哒哒)

    前言: 新的学期新的方向,新的学期成功转型--由目标检测成功登陆语义分割.最近一直在研究语义分割领域中的优秀模型,但是部分模型复现还是挺麻烦的,其中最烦的应该得包括安装库文件和看源代码了 一 简介: ...

  6. caffe linux 教程,Caffe 深度学习入门教程 - 安装配置Ubuntu14.04+CUDA7.5+Caffe+cuDNN_Linux教程_Linux公社-Linux系统门户网站...

    安装配置Ubuntu14.04+CUDA7.5+Caffe+cuDNN 一.版本 Linux系统:Ubuntu 14.04 (64位) 显卡:Nvidia K20c cuda: cuda_7.5.18 ...

  7. 【深度学习】老师木讲架构:深度学习平台技术演进

    新智元推荐   来源:OneFlow [新智元导读]近日,袁进辉(老师木)代表OneFlow团队在全球互联网架构大会上海站做了<深度学习平台技术演进>的报告.报告包括深度学习的计算力问题. ...

  8. cuda, cudnn的升级,各种深度学习库的安装

    新版本的tensorflow和keras已经要求cudnn v6了,并且将来会升级到cuda9 和 cudnn7.  cudnn7最大的特点是支持group convolution, 这里原先的环境是 ...

  9. 深度学习平台的分布式实现综述

    前一篇文章中,我们提到了Eric Xing教授针对如何构建大规模机器学习平台的综述[1],包含数据并行,模型并行等,那么具体到深度学习来说,应当如何有效构建呢?本文在这方面做个简要概述. 如果模型能够 ...

最新文章

  1. 专访周志华、宋继强:高端AI人才要具备哪些素质?深度学习的局限性和未来?...
  2. 使用技巧_信用卡的使用技巧
  3. Mask_RCNN训练自己的模型(练习)
  4. 使Win10用户获得特殊权限以便删除相应文件(夹)
  5. 万向节死锁_万向节死锁 gimbal lock
  6. 拖拽功能-jquery
  7. 前端学习(237):IE条件注释法
  8. HEVC/H265 HM10.0 分析(一)NALread.cpp
  9. SQL SERCER 控制 SERVERICE BROKER 服务
  10. 体现临床实际基线疾病活动度的早期RA患者中, 治疗起效时间对临床和放射学的影响...
  11. 测试 jdbc 中连接关闭的时机
  12. 一款超好用的企业级URL采集软件(Msray-plus)
  13. Egret引擎的常用倒计时
  14. java isbn_JAVA ISBN计算问题。。简单JAVA编程
  15. 阴阳师2017 7服务器维护,《阴阳师》手游4月17日维护更新公告
  16. 【css】fa图标变细
  17. 【题解】P3387 【模板】缩点
  18. scikit-image图像处理入门
  19. pycharm python下载_PyCharm下载|PyCharm(Python开发工具) V2019.2 官方最新版 下载_当下软件园_软件下载...
  20. Ubuntu设置屏幕分辨率

热门文章

  1. 用老司机的理财经历告诉你,这才是程序员理财的正确姿势
  2. 鄙人为啥要在博客上记录学到的技术细节?
  3. app.config中增加appSettings节点,conn.open时报初始化错误
  4. 第十九章 代码重用 5包含对系统的消耗
  5. 刚刚入手一台G11,发短信是老是出现“发送自HTC手机”字样
  6. 简单的3个SQL视图搞定所有SqlServer数据库字典
  7. Lync 小技巧-51-Lync 2013-不加域-客户端-1-下载-证书-信任链
  8. iOS环信3.1·集成·功能的实现
  9. 图表 Echarts 3.0 简单使用
  10. hdu 1213 How Many Tables ([kuangbin带你飞]专题五 并查集)