AI创业公司最佳「开发工具」指南火了,还发现了个可挑战Jupyter的「杀手」
白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
一份AI创业公司最佳「开发工具」指南,火了。
Reddit上,一份来自41家创业公司的调研答案,热度已达471。
除了比较流行的开发环境Jupyter以外,还出现了这样一个身影——Deepnote。
小团队制作,堪称可挑战「Jupyter Notebook」的Deepnote,目前已经有少数公司在使用了。
网友纷纷表示要去试试。
于是进一步吸引了Deepnote开发者亲自过来答疑。
所以这究竟是一份怎样的指南?还有哪些其他有意思的开发工具?
调研结果
这份调查来自一家轻量工具集成网站neptune.ai,他们采访了41家AI初创公司。
调查结果如下:
软件开发设置
IDE:Jupyter Lab+NB扩展(少数用Deepnote),Colab和PyCharm、VSCode(R用户喜欢 R studio)
Github
Python(大多数),R(部分)
机器学习框架
处理数据和可视化:Pandas + Matplotlib + Plotly
经典算法:Sklearn + XGBoost
深度学习:Tensorflow + Keras或Pytorch
MLOps
编排:Kubeflow,Airflow,Amazon Sagemaker,Azure
模型包装/服务:Kubeflow,MLflow,Amazon Sagemaker
模型从训练到推理的剖析和优化:pytest-benchmark、MLperf
实验管理:MLflow,Comet,Neptune
具体情况,是这样的。
软件开发设置
开发环境是每个团队工作流程的基础,而对于IDE,很多团队都喜欢Jupyter Notebooks和Jupyter Lab及其NB扩展。
而有些团队则是使用标准软件开发IDE,提及最多的是Pycharm和VSCode。
使用Pycharm的一家公司Hotelmize称,这是最好的Python IDE。
而使用VSCode的公司则为其正名。
VSCode易于与Azure连接,并提供了许多基于ML的扩展。
对于使用R语言的团队来说,RStudio是他们最好的选择。
还有一项工具——GitHub。我想这对每个AI团队都是福音,初创公司更是。
调查结果正是如此,GitHub因为其免费、强大的版本控制系统、共享功能,对团队来说都是超级有用的。
对于最流行的编程语言里,Python、R语言上榜,竟还有一个Clojure。
值得一提的是,对于环境/基础设施的设置方面,有一些团队给出了以下建议:
AWS作为部署平台(Simple Report)。
Anaconda是我们运行ML实验的首选工具,因为它的活代码功能,可以用来将软件代码、计算输出、解释性文本和多媒体资源结合在一个文档中。(Scanta)
Redis作为内存中的数据结构存储,由于它支持不同类型的抽象数据结构,如字符串、列表、映射、集、排序集、HyperLogLogs、位图、流和空间索引等,因此Redis作为内存中的数据结构存储占据了主导地位。(Scanta)
Snowflake和Amazon S3用于数据存储。(Hypergiant)
Spark-pyspark—-非常简单的api,用于大数据的分配作业。(Hotelmize)
机器学习框架
机器学习框架也必不可少。而这一部分,选择的工具有很多。
在处理表格数据方面,最多提及的是Pandas。
Sigma Polaris CEO表示,Pandas可能是最有价值的工具之一,尤其是在与外部开发人员合作进行各种项目时。所有的数据以数据框架的形式存在,协作更加流畅,减少了不必要的麻烦。
提到可视化,Matplotlib、Plotly是最多的选择。
还有公司推荐了Dash,它是一个在Plotly图表为基础建立的交互式仪表盘的工具,这对于用户来说更加友好。
对于标准的机器学习问题,大多数团队使用Scikit-Learn和XGBoost,尤其是Scikit-Learn。
iSchoolConnect公司就解释道:
Scikit-Learn是机器学习研究人员、工程师和开发人员最常用的工具箱之一。你可以轻松获得你想要的东西,这一点让人惊叹不已!
对于深度学习框架而言,PyTorch、Tensorflow+Keras很受团队欢迎。
而在具体的方向上,比如NLP,Huggingface、Spacy、Gensim是常用的工具,CV方面,OpenCV无疑是必需的了。
MLOps
类似于DevOps,有人称,MLOps是用于机器学习的DevOps。
MLOps是将模型集成并部署到生产系统中的所有工具。
这包括模型被部署到哪里,如何到达那里,如何被更大的软件/应用程序访问,如何跟踪ML模型在现实世界中的性能,以及如何对模型进行实时管理和测试。
每个团队针对于自身的不同任务,所使用的工具也不尽相同。
调查的结果如下:
编排:Kubeflow,Airflow,Amazon Sagemaker,Azure
模型包装/服务:Kubeflow,MLflow,Amazon Sagemaker
模型从训练到推理的剖析和优化:pytest-benchmark、MLperf
实验管理:MLflow,Comet,Neptune
总的来说,很多团队用Jupyter进行探索,用Pycharm/VSCode进行开发。
他们都喜欢GitHub,Python语言使用的最多。
对于深度学习框架,他们更喜欢使用Tensorflow、Keras和Pytorch。
值得注意的是,越来越多的人开始使用高级的PyTorch训练框架,如Lightning、Ignite、Catalyst、fastai和Skorch。
在可视化探索方面,人们使用matplotlib, plotly, altair和hiplot。
对于实验跟踪,团队通常使用如TensorBoard、MLflow和Sacred这些的开源软件包。
想要了解更多,传送门在此:
https://neptune.ai/blog/tools-libraries-frameworks-methodologies-ml-startups-roundup?utm_source=reddit&utm_medium=post&utm_campaign=blog-tools-libraries-frameworks-methodologies-ml-startups-roundup
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
每天5分钟,抓住行业发展机遇
如何关注、学习、用好人工智能?
每个工作日,量子位AI内参精选全球科技和研究最新动态,汇总新技术、新产品和新应用,梳理当日最热行业趋势和政策,搜索有价值的论文、教程、研究等。
同时,AI内参群为大家提供了交流和分享的平台,更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅:
加入AI社群,与优秀的人交流
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
AI创业公司最佳「开发工具」指南火了,还发现了个可挑战Jupyter的「杀手」相关推荐
- 开学季,给Java开发学习者的开发工具选择指南
又到了大学开学和升级时间,这个时候很多同学们陷入了又一轮沉默:教材中开发工具都10年高龄了.新版本工具如何配置··· 对于此,小编为Java开学做一份开发软件的使用教程导航: Eclipse 作为诸多 ...
- 利用十大最佳游戏开发工具开发游戏
游戏无疑是最神奇的和有趣的休闲活动.每个人都喜欢玩游戏,所有年龄组的人喜欢玩游戏但游戏的类型可能会有所不同.有些人可能喜欢玩动作游戏,有些人喜欢玩关卡类游戏.而我只喜欢玩扫雷. 人们非常喜欢游戏,有时 ...
- python的最佳开发工具_10款最佳Python开发工具推荐,每一款都是神器!
1. 最强大的终端:Upterm原来想推荐鱼或zsh,但事实上,我主要是想自动完成这个功能.最近使用的Upterm其实是非常简单易用.它是一个全平台终端,这可以说是一个IDE终端,强大的自动完成功能. ...
- 音视频开发者都用什么工具|15款开发工具使用指南
对于音视频开发者来说,有个高效的辅助工具能大大提升开发效率.今天博主推荐这些年来桌面必备的工具,如果您觉得对你有用,可以收藏防止下次找不到.
- gbk编码在线转换工具_珍藏的4个PDF格式转换网站「在线工具,无需下载,还免费哦。」...
PDF文件相信大家并不陌生,我们经常在工作中都会收到客户.同事.老板发来这种PDF文件,这些文件往往都会记录着一些产品的详细介绍与说明.但是PDF并不是那么好编辑的,我们通常都会将PDF转换成Offi ...
- 2020 年度开发工具 Top 100
以下内容转载自 https://stackshare.io/posts/top-developer-tools-2020 [CSDN 编者按]在过去的 2020 年,诞生了哪些新的开发工具?最优秀的开 ...
- 顶级React开发工具
每个框架都有一套独特的工具,可以在其开发过程中无缝工作.如果你选择了 Reactjs 作为你的主要开发框架,那么你将拥有多样化的工具和选项. 在这篇文章中,我们将深入研究不同的 React 开发工具, ...
- Android Studio for mac(Android集成开发工具)
Android Studio for mac是谷歌称为将会让开发者更快.更具生产力,它完全免费,跨平台支持 Win/Mac/Linux,Android Studio for mac是替代 Eclips ...
- 神级程序员都用什么工具?2020 年度开发工具 Top 100
[CSDN 编者按]在过去的 2020 年,诞生了哪些新的开发工具?最优秀的开发工具和开发服务是什么?神级程序员们是怎么使用它们来开发顶尖的软件和服务? 作者 | StackShare Team ...
最新文章
- 怎么高效刷LeetCode?
- Linux之du df free:du文件大小 df分区使用 free内存
- Codeforces Round #421 B
- LoadRunner监控局域网内其他服务器系统资源设置
- WinPcap笔记(6):过滤数据包
- 深入理解PHP+Mysql分布式事务与解决方案
- 苹果下调macbook AppleCare+价格 英特尔芯pro除外
- chrome 使用gpu 加速_DLI每周一课|用CUDA C的GPU加速库加速应用程序(新人有礼)
- python-3.8.0安装
- paper reading:高光谱遥感影像空谱特征提取与分类方法研究 - 康旭东
- 跨库访问-dblink
- vue实现密码的表单验证~(旧密码,新密码,重复新密码)
- ArcGIS分享: 地图分幅及编号
- Base64编码原理分析
- 个人风景网站模板HTML+CSS+JS(源码)
- 《东周列国志》第七十八回 会夹谷孔子却齐 堕三都闻人伏法
- 数字电子技术课程设计报告——电子脉搏测试仪的设计
- Mathmatica的学习打卡day 16
- 中国BBS社区前10名
- 大学生如何在网上赚零花钱,适合学生党可做的零花钱项目