私活之Python数据挖掘建模平台
大家好，我是脚丫先生 (o^^o)
生活不完全是工作，但是工作却填满了生活。
最近一段时间实时流模块的研发，也的确填满了日常。
虽然很累，但是能掌握Flink的知识点又是格外的兴奋。
知识的海洋是无边无际的，软件研发的工作是枯燥无味的，而我拥有充足的自学动力。
如果没有兴趣，那么将是多么痛苦的领悟。
今天想和大家分享之前做的一个私活案例，虽然已破产，但是经验是值得复盘总结的。
不过，这次我负责全局，沟通和后端研发。
项目成员
- springboot、python数据挖掘算法 技术栈
- 前端技术栈 Vue.js
- 开发周期2个月
- 开发人数 2 人
- 整体费用是 4w
技术选型
核心框架：springboot
技术角度而言，是一个完整的Python数据挖掘平台。
以微服务为基础，python的SKlearn机器学习工具包为核心，研发一套数据挖掘建模平台。
项目背景及需求
随着互联网技术的飞速发展，万物互联成为未来发展的必然趋势，人类正从计算机时代走向数据技术时代。
各个院校争先恐后的开展了Python数据挖掘课程，为了更好的进行线上教学。
让学生能够完整流程的体验机器学习的神奇。
需要研发Python数据挖掘建模平台，提供一个可进行拖拽方式建模和notebook建模。
客户对于建模平台的需求是：
完成需求表格里的主要功能，初版只提供演示能力即可。
之前在公司已经研发过大数据的数据科学平台，算是有建模思路。
不过真正自己完全去研发整个平台的时候，又是显得那么无力。
难点：
1、整个平台以java为基础，但是不仅仅如此，需要掌握python语言。
2、需要掌握常用的python机器学习算法。
3、时间不是很充足，只有业余时间进行研发。
钱不是这么好拿的，报价是真的低了
Python数据挖掘建模平台思路文档
好吧，说干就干。
我负责整个后端以及Python算法建模。
在分析了客户提供的整个需求文档，进行详细的交流之后，梳理了一个设计流程文档。
当时，梳理完这个流程文档后，感觉整个人都不好了。
数据源管理->数据集成->项目管理(拖拽和notebook)->系统算法组件管理
难受！！！
Python数据挖掘建模平台模块
在参考泰迪数据挖掘建模基础上，本项目采用springboot框架作为建模平台研发的基础，总体分为四个大模块。
工作台
对项目的简单统计，比如：专题项目里的建模任务的统计。
数据源管理
异构数据源连接，进行数据的集成到挖掘平台仓库。
项目管理
首先是一个新建的工程项目->接着进入建模中心管理
两种建模方式：可视化拖拽建模+nodebook建模
1、Nodebook建模
2、可视化拖拽建模
系统组件管理
进行建模算法组件的管理，可以自行设计算法组件模板
总结
虽然，此次项目由于某些原因没有完结。
但是整个Python数据挖掘建模流程思路，研发过程都已经了然于心。
可以作为：自研大数据平台的数据科学模块
好了，今天就聊到这里，祝各位终有所成，收获满满！
我是脚丫先生，我们下期见~
更多精彩内容请关注 微信公众号
私活之Python数据挖掘建模平台相关推荐
- 大数据挖掘企业服务平台（数据挖掘建模平台）产品概述
一.产品功能(一站式数据挖掘与人工智能建模服务平台) TipDM数据挖掘建模平台 TipDM数据挖掘建模平台是由广东泰迪智能科技股份有限公司自主研发打造的可视化.一站式.高性能的数据挖掘与人工智能建模 ...
- 分享大数据建模工具-大数据挖掘建模平台
大数据挖掘建模平台 是面向企业级用户的大数据挖掘建模平台.平台采用可视化操作方式,通过丰富内置算法,帮助用户快速.一站式地进行数据分析及挖掘建模,可应用于处理海量数据.高复杂性的数据挖掘任务,为其提供 ...
- 大数据挖掘建模平台和模型交易平台怎么用？
大数据挖掘建模平台是面向企业级用户的大数据挖掘建模平台.平台采用可视化操作方式,通过丰富内置算法,帮助用户快速.一站式地进行数据分析及挖掘建模,可应用于处理海量数据.高复杂性的数据挖掘任务,为其提供准 ...
- python数据挖掘建模实战_#Python3组数据挖掘实战总结#
数据挖掘实战课程 章节1 课时2 定义 Data mining, DM 大量的数据中,通过统计学.人工智能.机器学习等方法挖掘出未知的.且有价值的信息和知识的过程. 案例:啤酒与尿布 可视化 算法 数 ...
- 程序员接私活的几个平台和建议，避免掉坑！
大家对于程序员接私活这件事的看法,褒贬不一.但是你如果确实用钱,价格又合适,那就大胆去接. 如果不那么缺钱,那么接私活之前先考虑清楚,如果自己将空余时间用在接私活所产生的价值是不是大于提升自己.如果是 ...
- python怎么接单子平台有哪些_17个Python接私活的平台，总有适合你的，有技术就有收入...
这里为大家整理了17个国内Python接私活的平台,另外还有一些接私活的注意事项.当然这些平台不止Python语言能接单,事实上基本所有语言都能找到合适的单子~ 温馨提示: 1.没有第三方担保的个人单 ...
- 业余学Python是如何兼职挣钱的？以及接私活的24个平台
学python能兼职挣钱吗?怎么挣钱? 一.Python兼职种类: 接私活刚学会python那会,就有认识的朋友介绍做一个网站的私活,当时接单赚了4K,后又自己接过开发网站后台接口.做数据处理等事情, ...
- 10个python接私活的平台，整整10个，总有适合你的，你有技术就有钱
接私活一定要注意的个点: 1.没有第三方担保的个人单子尽量少接 2.无需求文档,没具体需求的不接 3没有预付不做,尽量用442的分步骤方式 然后就是正题的网站推荐了 1.码市 https://code ...
- 10个python接私活的平台，整整10个！总有适合你的，你有技术就有钱
接私活一定要注意的个点: 1.没有第三方担保的个人单子尽量少接 2.无需求文档,没具体需求的不接 3没有预付不做,尽量用442的分步骤方式 然后就是正题的网站推荐了 1.码市 https://code ...
最新文章
- python中__name__的使用
- c语言中如何让诊断代码右移_如何检测和诊断生产中的慢代码
- 小程序点击地图气泡获取气泡_气泡上的气泡
- 从零搭建 vue-cli 脚手架
- php exec执行多条命令,小技巧：在PHP中调用多条shell指令
- 如何让apache支持php,Apache怎么才能支持PHP程序？
- HttpRunnerManager接口自动化测试框架在win环境下搭建教程
- Linux printf()占位符
- 数据结构算法题整理5
- 【UEFI实战】EDK的编译流程说明
- 常微分方程编程基础(ODE)
- Cocoa Touch Layer
- Android 如何加载网页、图片以及PDF文件之项目实战
- 全球经济寒冬将至？且看顶级资本大鳄的大数据分析
- 微服务架构实战第八节 微服务安全框架，认证与授权
- 存储之Block-MultiQueue机制详解（二）
- 编程 学习视频教程大全
- 利用机器学习进行管理风险
- matlab 轮廓评估标准,基于MATLAB的平面线轮廓度误差评定
- Mysqk 多表连接查询的 “打字练习”
热门文章