开源机器学习平台tipdm

TipDM建模平台

tipdm开源的python机器学习建模平台，用户通过拖拉就可以实现模型开发。

项目结构

backend :为java后台服务代码

frontedn :为vue js前端代码

mock-oauth-server：为java认证服务代码

主要分析backend后台服务代码，典型的java spring mvc web项目，项目结构如下:

framework-common：公共代码,主要为工具类，spring相关公用类

framework-model: 实体类

framework-persist：持久层

framework-service：service层，就两个数据库操作相关的service 接口和抽象类

tipdm-server：服务核心

本次主要介绍下tipdm-server 模型执行代码实现

模型执行入库在ProjectController类中的execute方法,逻辑是验证权限，加载流程文件，执行流程,主要代码：

WorkFlow workFlow = new WorkFlow(executionId, tokenModel.getUsername(), content); //解析工作流文件，创建工作流对象
String workFlowId = workFlowScheduler.execute(workFlow);//执行工作流

进入 workFlowScheduler.execute(workFlow)方法,主要代码:

WorkFlowDexecutor dexecutor = new WorkFlowDexecutor(accessToken, flow, scheduler);//初始化dexecutor-core框架，构建流程执行图
//启动一个线程监听流程
WorkFlowHandler workFlowHandler = new WorkFlowHandler(workFlowId, scheduler, dexecutor, semaphore);
workFlowHandler.start();//执行流程

这里需要对dexecutor-core框架有些了解，dexecutor-core主要为了使用户可以简单快速构建执行依赖任务。

WorkFlowHandler 是个线程类继承了Thread，其run方法:

@Override
public void run() {
this.dexecutor.execute(new ExecutionConfig().nonTerminating()); //通过dexecutor-core执行依赖任务
release();
}

实际最终执行任务的是JobProvider类中的provideTask方法,主要是通过构建quartz定时任务WorkFlowJobBean去执行，WorkFlowJobBean中的executeInternal方法执行IAlgorithm.run执行算法逻辑.

开源机器学习平台tipdm相关推荐

Apache Spark 技术团队开源机器学习平台 MLflow
开发四年只会写业务代码,分布式高并发都不会还做程序员? 近日,来自 Databricks 的 Matei Zaharia 宣布推出开源机器学习平台 MLflow .Matei Zaharia 是 ...
IBM也要开源机器学习平台
这下齐了,IBM也要开源机器学习平台了 2015-11-23 21:18 原创金红 12条评论人工智能是机器人的核心,是机器人的大脑.想要制造一个大脑不是一件容易的事,所以很多机器人公司都在等着, ...
cube 一站式云原生开源机器学习平台
https://github.com/tencentmusic/cube-studio cube云原生机器学习平台-架构(一) cube云原生机器学习平台-架构(二) cube云原生机器学习平台-架构 ...
DeepMind星际争霸2开源机器学习平台
DeepMind 之前开源了<星际争霸2>的深度强化学习平台,这是个很好的训练环境,学起来也很有趣.下面是一份有关设置环境和训练模型的教程,基于Mac环境.我们会跑一遍训练脚本,使用Dee ...
【机器学习 Alink开源】10分钟了解下阿里开源机器学习平台alink
1.什么是Alink? Alink 是阿里巴巴计算平台事业部PAI团队从 2017 年开始基于实时计算引擎 Flink 研发的新一代机器学习算法平台,提供丰富的算法组件库和便捷的操作框架,开发者可以一 ...
全球首个！阿里云开源批流一体机器学习平台Alink……
11月28日,阿里云正式开源机器学习平台 Alink,这也是全球首个批流一体的算法平台,旨在降低算法开发门槛,帮助开发者掌握机器学习的生命全周期. Flink Forward 2019在京举办,吸引众 ...
各个大厂的机器学习平台概述
机器学习的核心是"使用算法解析数据,从中学习,然后对世界上的某件事情做出决定或预测".这意味着,与其显式地编写程序来执行某些任务,不如教计算机如何开发一个算法来完成任务.有三种主要 ...
腾讯AI开源框架Angel 3.0重磅发布：超50万行代码，支持3种算法，打造全栈机器学习平台...
出品 | AI科技大本营(ID:rgznai100) [导语]2019年8月22日,腾讯首个AI开源项目Angel正式发布3.0版本.Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机 ...
腾讯开源框架Angel推出3.0版本：全栈机器学习平台
36氪获悉,腾讯首个AI开源项目Angel正式发布3.0版本.Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程,模型训练,超参数调节和模型服务.从1.0到3 ...
阿里云机器学习平台PAI+AI开源项目测评来啦
一.背景介绍阿里AI(阿里灵杰)依托阿里领先的云基础设施.大数据和AI工程能力.场景算法技术和多年行业实践,一站式地为企业和开发者提供云原生的AI能力体系.帮助提升AI应用开发效率,促进AI在产业中 ...

开源机器学习平台tipdm

TipDM建模平台

开源机器学习平台tipdm相关推荐

最新文章

热门文章