组合特征（一）tfidf(word+article)

"""
将tfidf(word)和tfidf(article)拼接成新的特征"""import pickle
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer"""=====================================================================================================================
1 数据预处理
"""
read_start_time = time.time()
df_train=pd.read_csv('train_set.csv')
df_test=pd.read_csv('test_set.csv')#df_train.drop(df_train.columns[0],axis=1,inplace=True)df_train["word_article"] = df_train["article"].map(str) +' '+ df_train["word_seg"].map(str)
df_test["word_article"] = df_test["article"].map(str) +' ' + df_test["word_seg"].map(str)
y_train = (df_train['class'] - 1).values"""=====================================================================================================================
2 特征工程
"""
vectorizer = TfidfVectorizer(ngram_range=(1, 2), min_df=3, max_df=0.9, sublinear_tf=True)
vectorizer.fit(df_train['word_article'])
x_train = vectorizer.transform(df_train['word_article'])
x_test = vectorizer.transform(df_test['word_article'])"""=====================================================================================================================
3 保存至本地
"""
data = (x_train, y_train, x_test)
with open('./tfidf(word+article).pkl', 'wb') as f：pickle.dump(data, f)

组合特征（一）tfidf(word+article)相关推荐

组合特征（三）tfidf(word+article+length)
''' 特征拼接,拼接文章长度 #1.载入特征 #2 读文章长度 #3 特征缩放,拼接特征 '''import pickle# 载入特征 with open('tfidf(word+article). ...
组合特征（二）tfidf(word+article)+lsa
""" 将tfidf(word+article)特征降维为lsa特征,并将结果保存至本地,并将结果保存到本地""" from sklearn ...
组合特征（四）linearsvm-tfidf(word)+lr-tfidf(article)
""" 将linearsvm挑选的tfidf(word)特征和lr挑选的tfidf(article)"""import pickle fro ...
组合特征（五）countvector(w)+doc(w)+hash(w)
""" 将countvector(word).hash(word)和doc2vec(word)拼接成新特征""" import pickle ...
XGBoost Plotting API以及GBDT组合特征实践
XGBoost Plotting API以及GBDT组合特征实践写在前面: 最近在深入学习一些树模型相关知识点,打算整理一下.刚好昨晚看到余音大神在Github上分享了一波 MachineLearn ...
特征工程·TFIDF提取特征
本文介绍文本处理时比较常用且有效的tfidf特征提取方法 1. 提取tf特征 TF即是词频(Term Frequency)是文本信息量统计方法之一,简单来说就是统计此文本中每个词的出现频率 def c ...
特征工程+特征组合+特征交叉+特征变换+生成特征
特征组合+特征交叉(交叉特征,组合特征,特征组合)+特征变换+生成特征+特征提取+ 特征缩放+特征选择+特征分箱+时间特征+特征关联+文本特征+特征采样特征关联---->corr() 特征分箱 ...
ML之FE：数据处理—特征工程之高维组合特征的处理案例(矩阵分解)——基于LoR算法的广告点击预估问题
ML之FE:数据处理-特征工程之高维组合特征的处理案例(矩阵分解)--基于LoR算法的广告点击预估问题目录特征工程之高维组合特征的处理思路 1.原始数据:语⾔言和类型两种离散特征 2.为了提高拟合 ...
【数据竞赛】十组不同类型的组合特征！
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--数值&时间的二阶组合特征! 前言本篇文章是关于数值特征与其它类型特征的二阶组合特征以及时间特征与其它特征的组合特征,这一块的东西相 ...

组合特征（一）tfidf(word+article)

组合特征（一）tfidf(word+article)相关推荐

最新文章

热门文章