python特征工程意义_python数据挖掘--特征工程篇（附代码）

记录数据挖掘路上遇到的常用特征工程方法和技巧(附代码)，方便自己，方便他人，持续更新。

1.哑编码

对某一列数据进行pandas自带的(定性数据哑编码，定量数据二值化)，并附上名字

pd.get_dummies(all['MSSubClass'], prefix='MSSubClass')

2.卡方特征选择

从已有的特征中选择出影响目标值最大的特征属性

常用方法：{ 分类：F统计量、卡方系数，互信息mutual_info_classif

{ 连续：皮尔逊相关系数 F统计量互信息mutual_info_classif

ch2 = SelectKBest(chi2,k=10)

X_train = ch2.fit_transform(X_train, Y_train)

X_test = ch2.transform(X_test)

print(ch2.get_support(indices=True))

3.PCA降维进行特征选择

pca = PCA(n_components=0.9)

X_train = pca.fit_transform(X_train)

X_test = pca.transform(X_test)

4.特征多项式扩展

pf=PolynomialFeatures(degree=2, interaction_only=True, include_bias=True)

x_train=pf.fit_transform(x_train)

x_test=pf.transform(x_test)

5.缺失值填充

6.数据标准化

7.连续特征离散化

8.word2vec

9.TF-IDF

python特征工程意义_python数据挖掘--特征工程篇（附代码）相关推荐

python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
带你入门Python数据挖掘与机器学习（附代码、实例）
作者:韦玮来源:Python爱好者社区本文共7800字,建议阅读10+分钟. 本文结合代码实例待你上手python数据挖掘和机器学习技术. 本文包含了五个知识点: 1. 数据挖掘与机器学习技术简介 ...
入门Python数据挖掘与机器学习（附代码、实例）
本文包含了五个知识点: 1. 数据挖掘与机器学习技术简介 2. Python数据预处理实战 3. 常见分类算法介绍 4. 对鸢尾花进行分类案例实战 5. 分类算法的选择思路与技巧一.数据挖掘与机器学 ...
python 写入第二列_python读写Excel表格的实例代码（简单实用）
这篇文章主要介绍了python读写Excel表格的方法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下.需要先安装两个库:pip install xlrd.pip ...
python贪吃蛇程序_Python 实现贪吃蛇大作战代码分享
感觉游戏审核新政实施后,国内手游市场略冷清,是不是各家的新游戏都在排队等审核.媒体们除了之前竞相追捧<Pokemon Go>热闹了一把,似乎也听不到什么声音了.直到最近几天,突然听见好几人 ...
python输出星号等腰三角形_python打印直角三角形与等腰三角形实例代码
python打印直角三角形与等腰三角形实例代码前言本文通过示例给大家详细介绍了关于python打印三角形的相关,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧 1.直角三角形 #i ...
独家 | 使用Python实现机器学习特征选择的4种方法（附代码）
作者:Sugandha Lahoti 翻译:李洁校对:杨光本文约3500字,建议阅读13分钟. 本文中,我们将研究从数据集中选择特征的不同方法;同时通过使用Python中Scikit-learn ...
python中soup_python中BeautifulSoup的详细介绍（附代码）
本篇文章给大家带来的内容是关于python中BeautifulSoup的详细介绍(附代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. Beautiful Soup提供一些简单的. ...

python特征工程意义_python数据挖掘--特征工程篇（附代码）

python特征工程意义_python数据挖掘--特征工程篇（附代码）相关推荐

最新文章

热门文章