开源机器学习模型管理工具DVC介绍

2024-06-02 09:09:14

算法工程师往往在使用算法的过程中要不断地调整参数去找到最好的效果，俗称“调参民工”。在不断的调参过程中，会产生各种各样的模型，如何记录好这些参数与模型效果对应的关系，往往另算法工程师很头疼。所以大家都在呼唤一款实用的模型管理工具，因为有了版本管理机制才能更好的做效果比对，甚至多人协同开发。

今天就介绍一款开源的模型管理工具-DVC：https://dvc.org/doc/tutorials/get-started/experiments

1 模型版本控制的误区

在设计模型版本管理功能的时候有一个误区，就是只管理模型文件。模型版本管理这件事，要从整个机器学习pipline的角度去思考，要考虑到每次训练的数据可能不同、算法参数可能不同、评价指标metrics可能不同。

所以模型管理更是一个机器学习全链路工程的管理，这一点DVC和MLflow的设计理念都是比较好的。

2 DVC的设计理念

DVC是一个创业团队维护的开源模型管理SDK，跟客户的交互基本上是通过命令行的形式，只要“pip install dvc”就可以快速安装。

DVC可以看做是对git的一种二次封装，如下图所示，dvc checkout底层调用的就是git checkout

DVC把数据+算法脚本+Metrics当成一次代码checkout，这样就可以天然的利用git的能力进行版本管理。

3 DVC具体使用

（1）创建环境

（2）上传数据

（3）配置数据，设置训练和验证集

（4）设置metrics和生成结果

（5）产出结果

（6）不同版本的模型效果比较

baseline-experiment和bigrams-experiment是不同版本的模型，可以通过checkout不同的版本去控制不同的训练数据和模型参数版本。

开源机器学习模型管理工具DVC介绍相关推荐

机器学习模型管理平台_如何管理机器学习模型
机器学习模型管理平台 Michael Berthold是KNIME的创始人兼首席执行官. 在当今快节奏的分析开发环境中,数据科学家通常承担的任务远不只是建立机器学习模型并将其部署到生产中. 现在,他们 ...
combo：机器学习模型合并工具库
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容机器学习中的模型合并(model combination)可以通过合并多个模型达到提升 ...
ZooKeeper之Web管理工具Shepher介绍
ZooKeeper之Web管理工具Shepher介绍 Shepher是ZooKeeper的管理工具.在小米,我们将它用作配置管理中心. 特征 ZooKeeper节点的可视化操作 ZooKeeper节点 ...
ZooKeeper 的Web管理工具Shepher介绍
ZooKeeper 的Web管理工具Shepher介绍 Shepher 是一款 ZooKeeper 的管理工具. 特性 ZooKeeper 节点的可视化操作 ZooKeeper 节点的快照管理 Zoo ...
Mellanox网卡驱动升级固件管理工具使用介绍
文章目录 1. Mellanox固件升级及管理工具使用介绍介绍 1. MFT工具安装 2. 固件下载 3. 固件烧录 2. Mellanox驱动升级介绍 1. 解压文件 2. 安装依赖 3. 升级驱 ...
ModelX一款开源的机器学习模型管理仓库
为什么要自己设计模型仓库最近需要寻找一种更友好的方式来存储我们的模型. 我们曾经在使用 ormb 时遇见了问题,由于我们的模型有的非常大(数十 GB),在使用 ormb 时将会面临: ormb pu ...
开源的API管理工具和数据库管理工具分享，前端后端包圆喽
今天这篇文章给大家推荐两款非常不错的开源工具,一个是API管理工具,一个是数据库管理工具,前端后端我直接给你包圆了[看]. 话不多说,咱直接开始 Hoppscotch Hoppscotch 是一个开源 ...
【包管理工具】Windows下的软件包管理工具Chocolatey介绍、安装软件出现错误的解决方法
文章目录 1. Chocolatey是什么? 2. 为什么要使用Chocolatey? 3. 如何下载Chocolatey? 4. 如何使用Chocolatey? 5. 示例一:使用Chocolate ...
MacOS 磁盘管理工具 diskutil 介绍
https://www.jianshu.com/p/6a1f365617ad 电脑上的操作系统.应用程序和应用数据一般都需要保存在永久存储器中(通常就是硬盘),这样电脑断电后应用数据等就不会丢失. 为 ...

最新文章

热门文章