scikit learn、tensorflow、keras区别
参考:简书-刘敬:https://www.jianshu.com/p/0837b7c6ce10,感谢
一. 功能不同
Scikit-learn(sklearn)的定位是通用机器学习库
TensorFlow(tf)的定位主要是深度学习库。
一个显而易见的不同:tf并未提供sklearn那种强大的特征工程,如维度压缩、特征选择等。究其根本,我认为是因为机器学习模型的两种不同的处理数据的方式:
- 传统机器学习:利用特征工程(feature engineering),人为对数据进行提炼清洗;
- 深度学习:利用表示学习(representation learning),机器学习模型自身对数据进行提炼
sklearn更倾向于使用者可以自行对数据进行处理,比如选择特征、压缩维度、转换格式,是传统机器学习库;
而以tf为代表的深度学习库会自动从数据中抽取有效特征,而不需要人为的来做这件事情,因此并未提供类似的功能。
二. 使用自由度不同
sklearn 中的模块都是高度抽象化的,所有的分类器基本都可以在3-5行内完成,所有的转换器(如scaler和transformer)也都有固定的格式。这种抽 象化限制了使用者的自由度,但增加了模型的效率,降低了批量化、标准化的的难度(通过使用pipeline)。
clf = svm.SVC() # 初始化一个分类器
clf.fit(X_train, y_train) # 训练分类器
y_predict = clf.predict(X_test) # 使用训练好的分类器进行预测
而tf不同,虽然是深度学习库,但它有很高的自由度。你依然可以用它做传统机器学习所做的事情,代价是你需要自己实现算法。因此用tf类比sklearn不适合,封装在tf等工具库上的keras[2]才更像深度学习界的sklearn。
从自由度角度来看,tf更高;从抽象化、封装程度来看,sklearn更高;从易用性角度来看,sklearn更高。
三. 针对的群体、项目不同
sklearn主要适合中小型的、实用机器学习项目,尤其是那种数据量不大且需要使用者手动对数据进行处理,并选择合适模型的项目。这类项目往往在CPU上就可以完成,对硬件要求低。
tf主要适合已经明确了解需要用深度学习,且数据处理需求不高的项目。这类项目往往数据量较大,且最终需要的精度更高,一般都需要GPU加速运算。
对于深度学习做“小样”可以在采样的小数据集上用keras做快速的实验,没了解的过朋友看一下keras的示例代码,就可以了解为什么keras堪比深度学习上的sklearn了。
model = Sequential() # 定义模型
model.add(Dense(units=64, activation='relu', input_dim=100)) # 定义网络结构
model.add(Dense(units=10, activation='softmax')) # 定义网络结构
model.compile(loss='categorical_crossentropy', # 定义loss函数、优化方法、评估标准optimizer='sgd',metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32) # 训练模型
loss_and_metrics = model.evaluate(x_test, y_test, batch_size=128) # 评估模型
classes = model.predict(x_test, batch_size=128) # 使用训练好的数据进行预测
不难看出,sklearn和tf有很大区别。
虽然sklearn中也有神经网络模块,但做严肃的、大型的深度学习是不可能依靠sklearn的。
虽然tf也可以用于做传统的机器学习、包括清理数据,但往往事倍功半。
四. scikit-learn&tensorflow结合使用
更常见的情况下,可以把sklearn和tf,甚至keras结合起来使用。sklearn肩负基本的数据清理任务,keras用于对问题进行小规模实验验证想法,而tf用于在完整的的数据上进行严肃的调参(炼丹)任务。
而单独把sklearn拿出来看的话,它的文档做的特别好,初学者跟着看一遍sklearn支持的功能大概就对机器学习包括的很多内容有了基本的了解。举个简单的例子,sklearn很多时候对单独的知识点有概述,比如简单的异常检测。因此,sklearn不仅仅是简单的工具库,它的文档更像是一份简单的新手入门指南。
因此,以sklearn为代表的传统机器学习库(如瑞士军刀般的万能但高度抽象),和以tf为代表的自由灵活更具有针对性的深度学习库(如乐高般高度自由但使用繁琐)都是机器学习者必须要了解的工具。
不过sklearn 还是很有 必要学习的
理论上来说,深度学习技术也是机器学习的一个组成部分,学习其他传统机器学习方法对深入理解深度学习技术有很大帮助,知道模型凸的条件,才能更好的理解神 经网络的非凸。知道传统模型的优点,才能更好的理解深度学习并不是万能的,也有很多问题和场景直接使用深度学习方法会遇到瓶颈和问题,需要传统方法来解 决。
从实践上来说,深度学习方法一般需要大量GPU机器,工业界哪怕大公司的GPU资源也是有限的,一般只有深度学习方法效果远好于传统方法并且 对业务提升很大的情况下,才会考虑使用深度学习方法,例如语音识别,图像识别等任务现在深度学习方法用的比较多,而NLP领域除了机器翻译以外,其他大部 分任务仍然更常使用传统方法。传统方法一般有着更好的可解释性,这对检查调试模型也是非常有帮助的。工业上一般喜欢招能解决问题的人,而不是掌握最火技术 的人,因此在了解深度学习技术的同时,学习一下传统方法是很有好处的。
结尾
说实话,即使现在深度学习大行其道,很多时候你还是要用传统机器学习方法解决问题的。首先不是每个人都有一个彪悍的电脑/服务器,其次,大多数问题真的不需要深度网络。最后,只会调用工具包的程序员不是好的机器学习者。
scikit learn、tensorflow、keras区别相关推荐
- Tensorflow Keras模型和Estimator有什么区别?
对于整个tensorflow2.0框架,tensorflow Keras模型和Tensorflow Estimators都能够训练神经网络模型并使用它们来预测新的数据. 它们都是TensorFlow ...
- How HBO’s Silicon Valley built “Not Hotdog” with mobile TensorFlow, Keras React Native
The HBO show Silicon Valley released a real AI app that identifies hotdogs - and not hotdogs - like ...
- 机器学习与Scikit Learn学习库
摘要: 本文介绍机器学习相关的学习库Scikit Learn,包含其安装及具体识别手写体数字案例,适合机器学习初学者入门Scikit Learn. 在我科研的时候,机器学习(ML)是计算机科学领域中最 ...
- Tensorflow.Keras 时序回归模型的建立
Learn from Keras官方网站 目前tensorflow 2.0版本已经集成了keras的所有功能,所以直接安装tensorflow就可以调用Keras,非常方便. 作为Keras入门可以看 ...
- 人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1
日萌社 人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1 人工智能AI:TensorFlow Keras PyTorch ...
- keras学习- No module named ' tensorflow.keras ' 报错,看清 tf.keras与keras
环境描述: 系统ubantu16.04 安装anaconda 版本conda 4.5.4 创建虚拟环境 tf-gpu tensorflow-gpu版本(1.7.0-gpu, 能够import ten ...
- 【scikit-learn】如何用Python和SciKit Learn 0.18实现神经网络
本教程的代码和数据来自于 Springboard 的博客教程.本文的作者为 Jose Portilla,他是网络教育平台 Udemy 一门数据科学类课程的讲师. GitHub 链接:https://g ...
- tensor搭建--windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速
windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速 原文见于:http://www.jianshu.com/p/c245d46d43f0 ...
- TensorFlow Keras API用法
TensorFlow Keras API用法 Keras 是与 TensorFlow 一起使用的更高级别的作为后端的 API.添加层就像添加一行代码一样简单.在模型架构之后,使用一行代码,可以编译和拟 ...
- 常用深度学习框——Caffe/TensorFlow / Keras/ PyTorch/MXNet
常用深度学习框--Caffe/TensorFlow / Keras/ PyTorch/MXNet 一.概述 近几年来,深度学习的研究和应用的热潮持续高涨,各种开源深度学习框架层出不穷,包括Tensor ...
最新文章
- .NET框架设计—常被忽视的框架设计技巧
- VBScript教程-第一章. 脚本的定义和术语
- D. Imbalanced Array
- 贴一个CMemDC 代码,这东西真不错噢,短小精悍,可谓极品
- Java中抽象类和接口在概念、语法和应用上的区别和关系
- 【原创】Erlang 之 match 和 compare equal
- EOS.IO技术学习
- 在jsp页面通过JDBC访问数据库,并取出数据显示到页面上_试验mysql、sqlserver2008(亲测成功)...
- python包管理工具pip_pip_python包管理工具(pip)下载 v9.0.1官方版 - 121下载站
- 平面设计中的网格系统pdf_小白新手想要系统学习平面设计要看哪些书?
- 【亲测】80个经典在线休闲H5小游戏源码合集,直接上传空间即可使用,可玩性还不错
- H5微信中棋牌游戏域名防封解决方案
- 学法普法知识宣传教育答题小程序功能设计
- vue底部跳转_Vue实现回到顶部和底部动画效果
- Problem D. S03-05 计算球体表面积和体积
- 2022 QS世界大学排名发布!MIT霸榜,清北冲上全球前20
- DP2515国产带SPI接口汽车CAN总线控制器芯片兼容替代MCP2515/MCP2515-I/ST
- PAT考试一些注意事项
- js中对象合并的4种方式,数组合并的4种方法
- c语言题模板大全,考试c语言题库
热门文章
- Day9——用栈实现队列、用队实现拟栈
- 【优化求解】基于吉萨金子塔建造优化算法 GPC求解最优目标matlab代码
- Windows Azure公有云服务相关方案
- Microsoft VBScript 运行时错误 错误 '800a01a8' 缺少对象: ''
- C++之面向对象(下)
- 吐血整理!可免费使用的国产良心软件分享,几乎满足你办公需求
- 邀请信:一同见证多伦多 .NET 俱乐部的诞生
- gis 用什么技术,是什么?
- auto.js开发_赚钱( $ _ $ )app脚本_ZHOU125disorder_
- 2.3深度学习正则化