2021年Python十佳ML库大盘点,国产选手GitHub半年获5k+star,第一名是升级版NumPy
函擎 发自 凹非寺
量子位 报道 | 公众号 QbitAI
2021年里AI飞速发展,优秀算法层出不穷,令我们大开眼界。
而真正要将这些算法实现,一定少不了Python这个主流机器学习语言的加持。
今年各大公司和研究小组都推出了一系列方便使用的高性能开源库,其中还不乏一些国产的优秀作品。
在这里将盘点出最佳的10名,致力于帮你解决各种问题。
如果你还在为模型训练中的“杂务”头疼,那就快来看看吧。
1. Awkward Array
根据官方介绍,Awkward Array用于嵌套的、大小不一的数据,包括任意长度的列表、记录、混合的类型和缺失数据,使用起来类似NumPy。
看起来像是升级版的NumPy呀。
果然,不同长度的数组可以直接放在一起运算。
并且,官方表示Awkward Array不仅使用起来更简便,在速度和内存上也有量级的优势。
看看是不是可以安排上了~
https://pypi.org/project/awkward/
2. Jupytext
相信大家对Jupyter Notebook都不陌生。
当你有了Jupytext这个小插件就可以将Jupyter Notebook和IDE完美结合,听起来是不是很棒!
从此Jupyter Notebook可以被存储为Markdown文件或多种语言的脚本文件。
Jupytext可以做的事主要有:
Jupyter Notebook的版本控制
在你喜欢的文本编辑器中编辑、合并或重构Notebook
在Notebook上使用Q&A检查
在Python中使用的样子:
此项目在Github上已有5k+star。
https://github.com/mwouts/jupytext
3. Gradio
比Streamlit还轻量的UI设计库,Gradio让你轻松在浏览器中“玩转”你的模型,可以直接在浏览器中拖放图片,粘贴文字,录制声音,等等。
只要将launch()函数中的参数设置为share=True,还能得到一个可分享的网址,拿到链接的朋友在电脑和手机端都能打开,活脱脱就是一个小程序。
时常需要做Demo的小伙伴快看起来吧,此项目在Github上已有4.5k+star。
https://github.com/gradio-app/gradio
4. Hub
这个Hub在数据管理和数据预处理上可是一把好手。
它可以处理任何类型,任何大小的数据,并且因为数据储存在云端上,所以可以无缝在任何机器上访问。
被压缩为二进制字节的数据可以被存储在任何地方,并且只有在需要的时候才会被获取,所以没有TB级硬盘也可以处理TB级数据。
Hub贴心地提供了重要API,支持数据在常用工具(PyTorch等)上的使用,数据版本控制,数据转换等功能。
此项目在github上已有4.1k+star。
https://github.com/activeloopai/Hub
5. AugLy
AugLy是facebook最新推出的数据增强库,同时支持语音,文本,图像和视频类型的数据,包含了100多种增强方式。
数据对于模型训练至关重要,而标注大规模数据十分困难。由于人力资源,和模型特性的限制,数据增强的应用越来越广泛。
AugLy的优点:
处理类型更为全面。其他的数据增强库,例如Albumentations和NVIDIA DALI,主要负责图像相关数据的处理,文字数据不支持。
处理方式十分人性化。AugLy可以将一张图片做成备忘录,在图片/视频上叠加文字/Emojis,转发社交媒体上的截图,还可以帮助你处理诸如拷贝检测、仇恨言论检测或版权侵权等问题。
此项目在Github上已有4.1k+star。
https://github.com/facebookresearch/AugLy
6. Evidently
Evidently是用来监测模型效果的工具,可从Pandas DataFrame或csv文件中生成交互式可视化报告和JSON格式的效果简介。在Jupyter Notebook中可以使用。
目前可以提供6种报告:数据漂移、数值目标漂移、分类目标漂移、回归模型性能、分类模型性能和概率分类模型性能。
此项目在Github上已有1.8k+star。
https://github.com/evidentlyai/evidently
7. YOLOX
如果你熟悉YOLO的话,那你或许会对旷视今年推出的YOLOX感兴趣。
YOLO就是那个目标检测算法,可以被使用在汽车自动驾驶等前沿技术中。
而YOLOX是YOLO的无锚版本,设计更简单,但性能更好!它的目标是在研究界和工业界之间架起一座桥梁,同时弥合两方之间的差距。
这个Github上的开源项目在短短半年内已获得5.2k+star。
https://github.com/Megvii-BaseDetection/YOLOX
8. LightSeq
正如它的名字一样,LightSeq是一款由字节跳动开发的支持BERT、GPT、Transformer等众多模型的超快推理引擎。
可以看到它的表现,比FasterTransformer还要Fast。
LightSeq支持的模型也是非常全面。
总之就是两个字“好用”。此项目在Github上已有1.9k+star。
https://github.com/bytedance/lightseq
9. Greykite
想预测COVID-19的恢复速度吗?那就来看看LinkedIn为了自家时间序列预测需求开发的Greykite吧。
功能全面(多种时间趋势),界面直观,预测速度快和可扩展性强是它最大的亮点。
被应用在上面的三大算法:
Silverkite (Greykite’s flagship algorithm)
Facebook Prophet
Auto Arima
感兴趣的话就去研究看看吧,此项目在Github上已有1.4k+star。
https://github.com/linkedin/greykite
10. Jina and Finetuner
如今,在搜索引擎等应用上,语义识别的地位越来越高,因为它可以有效避免字词匹配的局限。
不过语义识别涉及的神经网络可能会让很多人感到头大,Jina和Finetuner可以帮你解决这些问题。
Jina是一个神经搜索框架,使任何人都能在几分钟内建立可扩展的深度学习搜索应用程序。
Finetuner配合Jina帮助你对神经网络进行调参,以获得神经搜索任务的最佳结果。
Jina和Finetuner适合没什么经验,又想尝试的朋友。
https://github.com/jina-ai/finetuner
参考链接:
https://tryolabs.com/blog/2021/12/21/top-python-libraries-2021
2021年Python十佳ML库大盘点,国产选手GitHub半年获5k+star,第一名是升级版NumPy相关推荐
- Python常用第三方库大盘点
Python语言有超过12万个第三方库,覆盖信息技术几乎所有领域.下面简单介绍下网络爬虫.自动化.数据分析与可视化.WEB开发.机器学习和其他常用的一些第三方库,如果有你感兴趣的库,不妨去试试它的功能 ...
- python第三方库有哪些-Python常用第三方库大盘点
Python语言有超过12万个第三方库,覆盖信息技术几乎所有领域.下面简单介绍下网络爬虫.自动化.数据分析与可视化.WEB开发.机器学习和其他常用的一些第三方库,如果有你感兴趣的库,不妨去试试它的功能 ...
- 十大累成狗的大学专业排名,第一名我服!
今天我们来吐槽一下十大累成狗的专业,猜猜,第一名的专业是哪个? No.10 文学专业 苦逼指数:二颗星 凌晨起来背论语,吹面不寒杨柳风; 昨夜星辰昨夜风,每天早起背沙翁; 春江水暖鸭先知,中午还得背唐 ...
- 干货丨Python常用的1000+库大盘点
Python常用库 Chardet字符编码探测器,可以自动检测文本.网页.xml的编码. colorama主要用来给文本添加各种颜色,并且非常简单易用. Prettytable主要用于在终端或浏览器端 ...
- CVPR 2020学术竞赛大盘点,中国团队揽获众多冠军
2020-06-23 03:20:03 作者 | 蒋宝尚 编辑 | 丛 末 CVPR 2020已经落下帷幕,除了为期三天的主会议,还穿插着同为期三天的Workshop,这些研讨会有一些是讨论性质的,还 ...
- 最难学的十大编程语言,Java排第二,它竟是第一名!
开发者经济分析公司 SlashData 曾发布了< 2018 年第 2 季度各国开发者状况>调查报告,共有 167 个国家的 20500 多名开发者参与其中. 报告面向全球所有类型的程序员 ...
- python文档处理第三方库_Python常用第三方库大盘点
Python语言有超过12万个第三方库,覆盖信息技术几乎所有领域.下面简单介绍下网络爬虫.自动化.数据分析与可视化.WEB开发.机器学习和其他常用的一些第三方库,如果有你感兴趣的库,不妨去试试它的功能 ...
- python网络爬虫第三方库_Python常用第三方库大盘点
Python语言有超过12万个第三方库,覆盖信息技术几乎所有领域.下面简单介绍下网络爬虫.自动化.数据分析与可视化.WEB开发.机器学习和其他常用的一些第三方库,如果有你感兴趣的库,不妨去试试它的功能 ...
- 学生党福利!学习python电脑及配置大盘点,游戏学习两不误
前言 有时候小鱼在逛一些问答专栏的时候,经常会看到一些新手朋友问:学习编程,学习Python是不是对电脑的要求很高啊?价位较低的电脑能不能搭建Python环境啊? 不管是为学习编程Python做准备的 ...
最新文章
- Android 注册登入界面完美设计
- CVPR论文 | 所见所想所找:基于生成模型的跨模态检索
- 教徒计划出品:AIM-IPS升级到7.0步骤
- spring的InitializingBean介绍
- 基于asp.net + easyui框架,js实现上传图片之前判断图片格式,同时实现预览,兼容各种浏览器+下载...
- GitLab的CICD配置文件.gitlab-ci.yml
- jeesite 去掉 /a
- excel制作甘特图模板
- cad卸载不干净_如何才能干净的卸载顽固软件?不给恶意软件留机会!
- 计算机专业wor知识,计算机专业毕业实习日记精选
- 如何选购电风扇,一本电风扇选购攻略都在这里!
- ckplayer6.8 php播放,ckplayer超酷网页视频播放器 6.8
- oracle 取前行,【企业信息化研究所】TF-SWUFE Oracle Club抵着寒风前行—甲骨文俱乐部第九周分享会...
- 开源软件 介绍及地址
- Simscape物理网络建模的基本原理
- 百度爱采购开户及流程
- 安装Photon虚拟机
- Ubuntu开机启动黑屏,只有鼠标
- 爬虫爬取王者荣耀 英雄故事 和技能
- 云+小游戏,会成为5G时代的抖音吗?​