redis生产环境持久化

SageMaker is a great environment for data scientists to explore new languages and methods without having to worry too much about the underlying infrastructure. As long as you don’t need to customize the existing environments, everything looks great and just works. However, as soon as you want to venture off the beaten path you will run into some unexpected challenges.

SageMaker为数据科学家提供了一个探索新语言和新方法的绝佳环境,而无需过多地担心基础架构。 只要您不需要自定义现有的环境,一切看起来就很好并且可以正常工作。 但是,一旦您想走人迹罕至的道路,就会遇到一些意想不到的挑战。

Our data scientists are generally cost conscious and happily stop their SageMaker instances when they are not using them. Unfortunately, SageMaker doesn’t persist any data written outside of the ~/SageMaker directory. This means that changes to the Anaconda environments don’t persist across restarts of the notebook. This is very frustrating. To fix this we need to create a persistent Anaconda environment in the ~/SageMaker folder and tell Julia to place its packages there as well. Let’s get started!

我们的数据科学家通常精打细算,并且在不使用SageMaker实例时会高兴地停止它们。 不幸的是,SageMaker不会保留~/SageMaker目录之外写入的任何数据。 这意味着对Anaconda环境的更改不会在笔记本计算机重新启动后持续存在。 这非常令人沮丧。 为了解决这个问题,我们需要在~/SageMaker文件夹中创建一个持久的Anaconda环境,并告诉Julia也将其软件包放置在此处。 让我们开始吧!

Log on to your SageMaker environment and open a new Terminal session. Let’s create a new, empty Anaconda environment, located in the ~/SageMaker directory.

登录到您的SageMaker环境并打开一个新的终端会话。 让我们在~/SageMaker目录中创建一个新的空Anaconda环境。

conda create --yes --prefix ~/SageMaker/envs/julia

Download and extract the latest version of Julia

下载并提取最新版本的Julia

curl --silent https://julialang-s3.julialang.org/bin/linux/x64/1.5/julia-1.5.0-linux-x86_64.tar.gz | tar xzf -cp -R julia-1.5.0/* ~/SageMaker/envs/julia/

Before we start installing packages for Julia we need to make sure that Julia is loading its packages from the right directory. This also ensures that packages you install via a notebook or from the Terminal will also be stored in the persistent space of the SageMaker instance.

在开始为Julia安装软件包之前,我们需要确保Julia从正确的目录加载其软件包。 这还可以确保您通过笔记本电脑或从终端安装的软件包也将存储在SageMaker实例的永久空间中。

mkdir -p ~/SageMaker/envs/julia/etc/conda/activate.decho 'export JULIA_DEPOT_PATH=~/SageMaker/envs/julia/depot' >> ~/SageMaker/envs/julia/etc/conda/activate.d/env.shecho -e 'empty!(DEPOT_PATH)\npush!(DEPOT_PATH,raw"/home/ec2-user/SageMaker/envs/julia/depot")' >> ~/SageMaker/envs/julia/etc/julia/startup.jl

We can now activate the environment and start installing our dependencies including IJulia. Launch the Julia REPL, install and activate IJulia.

现在,我们可以激活环境并开始安装我们的依赖项,包括IJulia。 启动Julia REPL,安装并激活IJulia。

juliausing PkgPkg.add("IJulia")using IJulia

Exit the REPL (Ctrl + D) and open Jupyter or JupyterLabs. The new Julia 1.5.0 Kernel should now be visible and you are all set.

退出REPL(Ctrl + D)并打开Jupyter或JupyterLabs。 现在应该可以看到新的Julia 1.5.0内核,并且一切就绪。

After restarting the SageMaker instance you will notice that the Julia kernel has vanished. To restore the kernel, simply execute

重新启动SageMaker实例后,您会注意到Julia内核已消失。 要还原内核,只需执行

conda run --prefix ~/SageMaker/envs/julia/ julia --eval 'using IJulia; IJulia.installkernel("Julia")'

You can get fancy and register this script as a Notebook Lifecycle Configuration which is executed automatically whenever the SageMaker instance is launched. You can find more details on how to set that up at https://docs.aws.amazon.com/sagemaker/latest/dg/notebook-lifecycle-config.html.

您可以将这个脚本注册为Notebook Lifecycle Configuration,并在启动SageMaker实例时自动执行。 您可以在https://docs.aws.amazon.com/sagemaker/latest/dg/notebook-lifecycle-config.html上找到有关如何进行设置的更多详细信息。

翻译自: https://towardsdatascience.com/installing-a-persistent-julia-environment-on-sagemaker-c67acdde9d4b

redis生产环境持久化


http://www.taodudu.cc/news/show-863769.html

相关文章:

  • alexnet vgg_从零开始:建立著名的分类网2(AlexNet / VGG)
  • 垃圾邮件分类 python_在python中创建SMS垃圾邮件分类器
  • 脑电波之父:汉斯·贝格尔_深度学习,认识聪明的汉斯
  • PyCaret 2.0在这里-新增功能?
  • 特征选择 回归_如何执行回归问题的特征选择
  • 建立神经网络来预测贷款风险
  • redshift教程_分析和可视化Amazon Redshift数据—教程
  • 白雪小町_町
  • 机器学习术语_机器学习术语神秘化。
  • centos有趣软件包_这5个软件包使学习R变得有趣
  • 求解决方法_解决方法
  • xml格式是什么示例_什么是对抗示例?
  • mlflow_在生产中设置MLflow
  • 神秘实体ALIMA
  • mnist数据集彩色图像_使用MNIST数据集构建多类图像分类模型。
  • bert使用做文本分类_使用BERT进行深度学习的多类文本分类
  • 垃圾邮件分类器_如何在10个步骤中构建垃圾邮件分类器
  • ai 图灵测试_适用于现代AI系统的“视觉图灵测试”
  • pytorch图像分类_使用PyTorch和Streamlit创建图像分类Web应用
  • 深度学习之对象检测_深度学习时代您应该阅读的12篇文章,以了解对象检测
  • python 梯度下降_Python解释的闭合形式和梯度下降回归
  • 内容管理系统_内容
  • opencv图像深度-1_OpenCV空间AI竞赛之旅(第1部分-初始设置+深度)
  • 概率编程编程_概率编程语言的温和介绍
  • TensorFlow 2.X中的动手NLP深度学习模型准备
  • 时间序列 线性回归 区别_时间序列分析的完整介绍(带R)::线性过程I
  • 深度学习学习7步骤_如何通过4个简单步骤为深度学习标记音频
  • 邮件伪造_伪造品背后的数学
  • 图像匹配与OpenCV模板匹配
  • 边缘计算边缘计算edge_Edge AI-边缘上的计算机视觉推理

redis生产环境持久化_在SageMaker上安装持久性Julia环境相关推荐

  1. ffmpeg添加到环境变量_在 Mac 上为 FFmpeg 配置环境变量

    之前为了分析视频,在 Mac 上下载了 FFmpeg 三件套,但是 Mac 上配置环境变量没有 Windows 系统那么直观,所以走了一些弯路. 这里记录一下尝试的过程以及最终是怎么配置成功的. 1. ...

  2. 在Ubuntu18.04上安装ros2的环境,ros2的常用命令:播放包、录制包等

    在Ubuntu18.04上安装ros2的环境,ros2的常用命令:播放包.录制包等 1 添加密钥和ros2下载 2 更新源和安装ros-eloquent-desktop及其依赖 3 配置环境 3.1 ...

  3. Mint系统使用介绍,Mint系统安装,在Mint系统上搭建GPU环境,在Mint系统上安装Pycharm、Anaconda等软件,在Mint系统上安装cuda和cudnn

    欢迎大家关注笔者,你的关注是我持续更博的最大动力 原创文章,转载告知,盗版必究 Mint系统使用介绍,Mint系统安装,在Mint系统上搭建GPU环境,在Mint系统上安装Pycharm.Anacon ...

  4. 在odoo服务器文件夹,在windows10上安装odoo12开发环境的方法

    前言 鉴于好多朋友说没有mac电脑,windows开发其实也差不了多远,只是个人习惯问题,而且吧,windows的电脑其实配环境也挺快的其实,我在这里再稍微补一个比较简单的windows环境部署,希望 ...

  5. linux安装debian桌面,在Debian 10 Buster上安装Cinnamon桌面环境的方法

    在本文中,我们将介绍在Debian 10(Buster)操作系统上安装Cinnamon桌面环境的方法.安装Debian 10 Buster之后,可能需要将桌面环境更改为你喜欢的桌面环境,默认安装搭载G ...

  6. deepin linux桌面环境,如何在Ubuntu上安装Deepin桌面环境

    到目前为止,Deepin拥有最时尚的桌面环境.它可能是最漂亮,最好的user-friendly桌面Linux发行版之一.当我们谈论视觉吸引力时,我说它吹走了Windows 10和MacOS并没有错. ...

  7. Ubuntu18上安装QSV+FFMPEG环境

    Ubuntu18上安装QSV+FFMPEG环境 Intel Media SDK相关下载 编译前的准备 安装libva 安装libva-utils 安装gmmlib 安装media-driver 安装M ...

  8. linux安装kde桌面环境,在Debian 10(Buster)上安装KDE桌面环境的方法

    本文介绍在Debian 10(Buster)操作系统上安装KDE桌面环境(KDE Plasma Desktop Environment)的方法.Debian并没有为每个新版本提供KDE版本,但你可以在 ...

  9. eclipse配置python环境后啷个写java类_在Eclipse上配置Python开发环境

    问题导读: 1.什么是PyDev?2.如何安装PyDev? 3.安装Eclipse过程中如何解决遇到的问题? 1.jpg (33.67 KB, 下载次数: 3) 2016-3-7 14:31 上传本文 ...

最新文章

  1. java语言修饰符$_Java语言中的修饰符
  2. 计算机信息应用知识题库,计算机基础知识题库(含答案).doc
  3. 淘宝特价版月活过亿背后,下沉市场正进入C2M时代
  4. 剑指offer之礼物的最大值
  5. java 是否继续_Java异常被抛出或被捕获之后,代码是否继续执行的问题
  6. ros怎么跑小车_ROS坐标转换讲解 | Autolabor Simulation
  7. [转]MSSQL CURSOR (游标) 笔记
  8. SwiftyJSON 对网络请求来的数据进行解析或者转为modul
  9. php player baidu,BaiduPlayer.php
  10. vue axio的使用
  11. python 报错 TypeError: tuple indices must be integers or slices, not tuple
  12. Relion在K1 Power Linux实践
  13. C# 中的委托和事件(详解)
  14. 计算机设置表格内框线,word表格和边框在哪里 exl表格内框线怎么设置
  15. 冰湖,风筝,喜鹊,跳水台
  16. 祖思机——第一台二进制可编程计算机
  17. 新品发布-T3M系列宽带高速MIMO Mesh自组网电台
  18. 【操作系统】用户态和内核态
  19. Python【queue】
  20. mysql云架构设计_MySQL云数据库架构设计实践 洪斌@爱可生

热门文章

  1. WMAP环境上传图片报错【找不到临时文件夹】解决方案
  2. Ruby中如何识别13位的时间戳
  3. 代码规范(一)——java篇
  4. 搜索引擎分布式爬虫介绍
  5. 人生感悟 --是人才就不要等着老板来安排你的工作
  6. 网段:192.168.6.0的机器A要访问网段:10.1.56.0的机器B
  7. Linux下Bluez的编程实现
  8. [Android]发布Sqlite数据库
  9. .net面试题大全,绝大部分面试题
  10. android mvp 作用,Android MVP与MVC的区别和理解