命令行 (CLI)

SKIL带有一个内置的命令行界面（CLI），用于高级设置和管理任务。有时，你需要用特殊变量手动实例化一个进程，或者编写一个定制的shell脚本来管理你自己的SKIL应用程序—CLI对这些任务很有用。

SKIL命令
SKIL命令是一个python包装器，通常位于/opt/skil/sbin中，如果你已经使用RPM分发文件或docker安装了它。你可以将/opt/skil/sbin添加到你的path环境变量中，并在任意位置使用skil命令或cd 进入/opt/skil/sbin中，然后使用 ./skil运行该命令。
执行./sbin/skil将给出以下输出：

bash-4.2$ ./sbin/skil
SKIL_HOME not set. Using directory: /opt/skil
SKIL_CLASS_PATH not set. Using: /opt/skil/lib/*:/opt/skil/native/*:/opt/skil/jackson-2.5.1/*
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/skil/lib/zeppelin-spark_2.10-0.7.3_skil-1.0.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/skil/lib/slf4j-log4j12-1.7.19.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/skil/lib/logback-classic-1.1.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Please login first with skil login --userId username --password password
usage: skil.py [-h] [--host HOST] [--port PORT]{npm,modelhistory,processes,inference,pkill,agents,nearestneighbor,parameter_server_master,media_driver,zeppelinInterpreter,addplugin,parameter_server_slave,ui,zeppelin,services,datavec,spark,arbiter,parallelwrapper,loadbalancer,login}...
skil.py: error: too few arguments

请注意，你需要验证你的SKIL客户端。每个SKIL命令的可选参数包括定义自定义端口和主机（如果SKIL服务器没有在默认位置上监听）。如果是这种情况，则可以在使用每个命令时添加这些命令：

$ ./sbin/skil --host 192.168.1.1 --port 9008 {这里是命令}

可用命令
SKIL CLI公开了与管理流程、执行推理、设置并行包装器（用于模型训练）相关的命令列表。其中大多数命令用于启动特定的服务，以及定义服务的端口和自定义名称。
请注意，你可以分别使用/skil processes和/skil services命令列出现有流程和服务。

命令 标记 备注
modelhistory 
[--userName USERNAME]
[--modelHistoryPort MODELHISTORYPORT]
[--password PASSWORD]
[--name NAME]
[--dbPort DBPORT]
[--jvmArgs JVMARGS]
[--agentId AGENTID]
[--dbName DBNAME]
[--dbPath DBPATH]

SKIL在启动时创建默认的模型历史服务器。你可以创建一个单独的模型历史服务器来隔离部门或项目之间的模型。
processes   为监视目的返回所有正在运行的进程的JSON表示。
inference 
[--batchLimit BATCHLIMIT]
[--queueLimit QUEUELIMIT]
[--name NAME]
[--inputNames INPUTNAMES]
[--jvmArgs JVMARGS]
[--workers WORKERS]
[--inferenceMode INFERENCEMODE]
[--modelHistoryServerUrl MODELHISTORYSERVERURL]
[--predictServerPort PREDICTSERVERPORT]
[--outputNames OUTPUTNAMES]
[--agentId AGENTID]
[--modelUri MODELURI]
 创建独立模型服务器。SKIL的部署功能在底层下使用此命令。你可以将此命令用于高级部署方案。
pkill [--id [enter a process ID]] 这将从ZooKeeper中删除一个进程和它的配置，以便在启动时不再恢复它。默认的模型历史服务器或默认的Zeppelin进程将仍然被重新创建，除非它们被禁用。你应该只在使用CLI创建的进程上使用pkill。
agents   返回群集中代理的列表
nearestneighbor 
[--name NAME]
[--jvmArgs JVMARGS]
[--labelsPath LABELSPATH]
[--ndarrayPath NDARRAYPATH]
[--nearestNeighborsPort NEARESTNEIGHBORSPORT]
[--similarityFunction SIMILARITYFUNCTION]
[--agentId AGENTID] [--invert INVERT]
 在部署之外启动独立的KNN服务器。对于高级部署方案很有用。
zeppelinInterpreter 
[--zeppelinInterpreterDir ZEPPELININTERPRETERDIR]
[--name NAME]
[--jvmArgs JVMARGS]
[--interpreterPort INTERPRETERPORT]
[--zeppelinHome ZEPPELINHOME]
[--agentId AGENTID]
 启动一个新的zeppelin解释器进程skil创建一个默认的zeppelin服务器和zeppelin解释器进程，但是你可以添加更多，使用此命令为特定的团队成员添加其他服务器，或者运行长时间运行的预处理或训练作业。
Zeppelin解释器进程需要启动和运行Zeppelin服务器进程。
addplugin [enter path to plugin JAR] 上传插件JAR文件。主要用于自定义转换过程步骤或为Spark或并行包装作业定义DataSetProvider类。
ui 
[--jvmArgs JVMARGS]
[--enableRemote ENABLEREMOTE]
[--agentId AGENTID]
[--name NAME]
[--uiPort UIPORT]
 启动用于可视化模型训练过程的DL4J UI服务器。在笔记本内为StatsListener指定--uiport值以跟踪模型性能。
zeppelin 
[--zeppelinInterpreterDir ZEPPELININTERPRETERDIR]
[--name NAME] [--zeppelinBinDir ZEPPELINBINDIR]
[--jvmArgs JVMARGS]
[--zeppelinPassword ZEPPELINPASSWORD]
[--zeppelinConfDir ZEPPELINCONFDIR]
[--zeppelinPort ZEPPELINPORT]
[--zeppelinMemory ZEPPELINMEMORY]
[--zeppelinWarDir ZEPPELINWARDIR]
[--zeppelinNotebookDirectory ZEPPELINNOTEBOOKDIRECTORY]
[--deleteInterpreterRepoOnStartup DELETEINTERPRETERREPOONSTARTUP]
[--master MASTER]
[--zeppelinUserName ZEPPELINUSERNAME]
[--zeppelinLogFile ZEPPELINLOGFILE]
[--zeppelinHost ZEPPELINHOST]
[--zeppelinHome ZEPPELINHOME]
[--interpreterPort INTERPRETERPORT]
[--agentId AGENTID]
[--zeppelinLocalRepo ZEPPELINLOCALREPO]
 启动一个新的zeppelin服务器进程。skil创建一个默认的zeppelin服务器和zeppelin解释器进程，但是你可以使用此命令为特定的团队成员添加其他服务器，或者运行长时间运行的预处理或训练作业来添加更多服务器。一旦创建了一个Zeppelin服务器进程，你需要创建一个或多个Zeppelin解释器进程来评估笔记本。
services    
datavec 
[--name NAME]
[--dataType DATATYPE]
[--jvmArgs JVMARGS]
[--jsonPath JSONPATH]
[--agentId AGENTID]
[--dataVecPort DATAVECPORT]
 启动独立的转换进程服务器。对于高级部署方案很有用。
spark 
[--modelHistoryId MODELHISTORYID]
[--status STATUS]
[--verbose VERBOSE]
[--total-executor-cores TOTAL_EXECUTOR_CORES]
[--driver-class-path DRIVER_CLASS_PATH]
[--uiUrl UIURL]
[--driver-memory DRIVER_MEMORY]
[--kill KILL]
[--class CLASS]
[--multiDataSet MULTIDATASET]
[--principal PRINCIPAL]
[--agentId AGENTID]
[--numEpochs NUMEPOCHS]
[--batchSize BATCHSIZE]
[--deploy-mode DEPLOY_MODE]
[--driver-library-path DRIVER_LIBRARY_PATH]
[--outputPath OUTPUTPATH]
[--num-executors NUM_EXECUTORS]
[--modelPath MODELPATH]
[--master MASTER]
[--evalDataSetProviderClass EVALDATASETPROVIDERCLASS]
[--driver-cores DRIVER_CORES]
[--jars JARS]
[--executor-memory EXECUTOR_MEMORY]
[--files FILES]
[--keytab KEYTAB]
[--properties-file PROPERTIES_FILE]
[--trainingMasterPath TRAININGMASTERPATH]
[--supervise SUPERVISE]
[--queue QUEUE]
[--packages PACKAGES]
[--exclude-packages EXCLUDE_PACKAGES]
[--doInference DOINFERENCE]
[--modelInstanceId MODELINSTANCEID]
[--name NAME]
[--proxy-user PROXY_USER]
[--jvmArgs JVMARGS]
[--evalType EVALTYPE]
[--repositories REPOSITORIES]
[--modelHistoryUrl MODELHISTORYURL]
[--dataSetProvider DATASETPROVIDER]
[--driver-java-options DRIVER_JAVA_OPTIONS]
 使用dl4j在spark上启动一个数据并行模型训练作业。此命令创建一个包含skil所有依赖项的uberjar，并使用指定的spark home启动作业。要使用此命令，只需使用笔记本创建一个模型，将其保存到磁盘或HDF，上传一个插件jar，该插件jar具有一个DataSetProvider 子类，该子类用于提取和向量化数据集，并运行此命令指定类名和模型路径。
parallelwrapper 
[--modelHistoryId MODELHISTORYID]
[--reportScore REPORTSCORE]
[--multiDataSet MULTIDATASET]
[--name NAME]
[--modelOutputPath MODELOUTPUTPATH]
[--averagingFrequency AVERAGINGFREQUENCY]
[--jvmArgs JVMARGS]
[--workers WORKERS]
[--uiUrl UIURL]
[--dataSetIteratorFactoryClazz DATASETITERATORFACTORYCLAZZ]
[--modelHistoryUrl MODELHISTORYURL]
[--averageUpdaters AVERAGEUPDATERS]
[--legacyAveraging LEGACYAVERAGING]
[--modelPath MODELPATH]
[--prefetchSize PREFETCHSIZE]
[--evalDataSetProviderClass EVALDATASETPROVIDERCLASS]
[--agentId AGENTID]
[--evalType EVALTYPE]
[--multiDataSetIteratorFactoryClazz MULTIDATASETITERATORFACTORYCLAZZ]
 使用dl4j在多个GPU上启动一个数据并行模型训练作业。要使用此命令，只需使用笔记本创建一个模型，将其保存到磁盘或HDF，上传一个插件jar，该插件jar具有一个DataSetIteratorFactory子类，用于获取和向量化数据集，并运行此命令指定类名和模型路径。
loadbalancer 
[--jvmArgs JVMARGS]
[--agentId AGENTID]
[--name NAME]
[--urls URLS]
[--loadBalancePort LOADBALANCEPORT]
 创建一个简单的负载均衡器，在使用独立模型、转换和KNN服务器时，将请求路由到指定URL，对高级部署方案有用。
login 
[--userId USERID]
[--password PASSWORD]
 登录skil并将令牌保存到主目录中。
省略--password参数以交互方式输入它。

下面的命令不推荐使用或是测试命令，但为了完整性，这里对它们进行了说明。

命令 状态 标记 备注
npm 过期 
[--jvmArgs JVMARGS]
[--agentId AGENTID]
[--name NAME]
[--moduleName MODULENAME]
[--npmHome NPMHOME]
 这是一个用于开发的命令，将在以后的版本中删除。
parameter_server_master alpha 
[--aeronDirectory AERONDIRECTORY]
[--name NAME]
[--jvmArgs JVMARGS]
[--parameterServerAeronPort PARAMETERSERVERAERONPORT]
[--shape SHAPE]
[--streamId STREAMID]
[--parameterServerStatusPort PARAMETERSERVERSTATUSPORT]
[--agentId AGENTID]
 创建一个参数服务器，用于在非常大的Hadoop集群上加速Spark训练。
media_driver alpha 
[--jvmArgs JVMARGS]
[--aeronDirectory AERONDIRECTORY]
[--agentId AGENTID]
[--name NAME]
创建用于在Spark训练作业中共享权重的服务器。用于非常大的Hadoop集群。
parameter_server_slave alpha 
[--aeronDirectory AERONDIRECTORY]
[--name NAME]
[--jvmArgs JVMARGS]
[--parameterServerAeronPort PARAMETERSERVERAERONPORT]
[--shape SHAPE]
[--masterUrl MASTERURL]
[--streamId STREAMID]
[--parameterServerStatusPort PARAMETERSERVERSTATUSPORT]
[--agentId AGENTID]
 创建参数服务器，用于在Spark训练作业中共享权重。用于非常大Spark集群，以优化机架顶部网络带宽。
arbiter alpha 
[--regressionType REGRESSIONTYPE]
[--dataSetIteratorClass DATASETITERATORCLASS]
[--name NAME]
[--jvmArgs JVMARGS]
[--problemType PROBLEMTYPE]
[--neuralNetType NEURALNETTYPE]
[--modelSavePath MODELSAVEPATH]
[--agentId AGENTID]
[--optimizationConfigPath OPTIMIZATIONCONFIGPATH]
 启动用于神经网络超参数搜索的arbiter服务器。

SKIL/工作流程/命令行相关推荐

  1. uboot流程——命令行模式以及命令处理介绍

    [uboot] (第六章)uboot流程--命令行模式以及命令处理介绍 2016年11月14日 20:39:26 阅读数:4323 以下例子都以project X项目tiny210(s5pv210平台 ...

  2. SKIL/工作流程/与SKIL客户端一起工作

    与SKIL客户端一起工作 SKIL可以通过外部环境通过SKIL Clients使用.外部环境可以是笔记本,也可以是客户端应用程序.SKIL客户端(又称skil-clients)是用于操作SKIL实例的 ...

  3. SKIL/工作流程/执行作业

    执行作业 作业是在后台对连接的SKIL资源运行的计算.作业可以有两种类型: 训练 推理 运行作业 完成将外部资源连接到skil之后,可以通过以下两种方式对其执行训练/推理作业. A. CLI B. R ...

  4. SKIL/工作流程/TensorFlow模型

    TensorFlow模型 SKIL1.0.3使用TensorFlow C++ API (版本1.4)的自定义JVM绑定,不施加限制.未来版本的SKIL将使用nd4j中的samediff功能来执行导入的 ...

  5. SKIL/工作流程/概述

    概述 SKIL减少了实验数据科学建模.关键测试和产品决策以及可扩展部署工程之间的冲突.它弥合了Python生态系统与DevOps.IT和数据工程师部署体系结构之间的鸿沟. 从开始到结束 使用skil的 ...

  6. SKIL/工作流程/嵌入式SKIL

    嵌入式SKIL 除了提供几乎所有用于创建高效机器学习管道的工具之外,SKIL还可以非常方便地作为嵌入式应用程序.这对于一个DevOps团队来说是非常有用的,可以让他们的模型在最短的时间内运行起来,并且 ...

  7. SKIL/工作流程/SKIL上的分布式训练

    SKIL中的分布式训练 SKIL提供了skil spark命令,用于在spark 集群上对DL4J模型进行分布式训练.它几乎类似于使用带有一些附加功能的spark-submit命令,以便能够查看DL4 ...

  8. Git 工作常用命令行

    远程仓库相关命令 #检出仓库: git clone git://github.com/jquery/jquery.git #查看远程仓库: git remote -v #添加远程仓库: git rem ...

  9. SKIL/工作流程/Java部署客户端

    Java部署客户端 SKIL部署客户端是用于处理SKIL客户端请求的Java API.与原始JSON请求相比,它直观且易于使用.它提供了构建请求对象的构建器模式.响应有自己的类对象. 添加到项目 客户 ...

最新文章

  1. 1390 游戏得分(贪心)
  2. VAE--就是AutoEncoder的编码输出服从正态分布
  3. 【转载】c#多线程使用webbrowser控件
  4. ECharts 之 环形图
  5. 网页打开微信链接 无法返回
  6. HDU - 1527 取石子游戏(威佐夫博弈)
  7. 将您重定向的次数过多什么意思_忙忙碌碌将爱麻木是什么歌-所以会忙忙碌碌将爱麻木歌曲意思、出处、含义介绍...
  8. 分布式应用中的一致性协议
  9. 文字处理(WORD/WP)中，布局与绘制必然分开
  10. 手把手教你用ppc手机远程控制电脑(摘自网络)
  11. 什么PDCA循环+原则？
  12. pandas删除最后一列_Python中pandas dataframe删除一行或一列:drop函数详解
  13. java 夏令时jvm设置问题
  14. Win10系统怎么还原？Win10如何回到以前的系统
  15. php 多关键字搜索,php 多关键字搜索示例
  16. 数据系统架构-5.实时离线统计系统
  17. Java Swing事件处理——键盘事件及监听处理 KeyListener 按键测试
  18. Unity3D 安装
  19. HMAC和NMAC 生日攻击
  20. bias and variance在机器学习中的应用

热门文章

  1. 非常详细的/etc/passwd解释
  2. 《惢客创业日记》2022.03.01-31（周二）二月份的总结和三月份的计划
  3. winrar5.40官方无广告版及key 46位 32位都有 64位注册方法，rarreg.key
  4. 【网络】网络的基础知识--TCP/IP协议、IP分组、TCP传输
  5. Promise的简介和用法
  6. python：1只公鸡5元 1只母鸡3元 3只小鸡1元 用100元买100只鸡 问公鸡 母鸡 小鸡各有多少只
  7. IO编程——记事本开发
  8. python分析微博粉丝_GitHub - rainpenber/python_weiboSpider: 微博粉丝数据爬取分析僵尸粉...
  9. 关于补丁程序的分类和安装优先级
  10. 11.12电力交易市场