组合特征（五）countvector(w)+doc(w)+hash(w)

"""
将countvector(word)、hash(word)和doc2vec(word)拼接成新特征"""
import pickle
from scipy import sparse
from scipy.sparse import hstack"""读取hash(word)和doc2vec(word)特征"""
with open('./doc2vec_word.pkl', 'rb') as f_1:x_train_1, y_train, x_test_1 = pickle.load(f_1)with open('./hash_word.pkl', 'rb') as f_2:x_train_2, _, x_test_2 = pickle.load(f_2)"""将numpy 数组 转换为 csr稀疏矩阵"""
x_train_1 = sparse.csr_matrix(x_train_1)
x_test_1 = sparse.csc_matrix(x_test_1)x_train_2 = sparse.csr_matrix(x_train_2)
x_test_2 = sparse.csc_matrix(x_test_2)"""读取tfidf(word)特征"""
with open('./tfidf_word.pkl', 'rb') as f_3:x_train_3, _, x_test_3= pickle.load(f_3)"""对两个稀疏矩阵进行合并"""
x_train_4 = hstack([x_train_1, x_train_2])
x_test_4 = hstack([x_test_1, x_test_2])x_train_5 = hstack([x_train_4, x_train_3])
x_test_5 = hstack([x_test_4, x_test_3])"""将合并后的稀疏特征保存至本地"""
data = (x_train_5, y_train, x_test_5)
with open('./countvector(w)+doc(w)+hash(w).pkl', 'wb') as f:pickle.dump(data, f)

组合特征（五）countvector(w)+doc(w)+hash(w)相关推荐

P6617 查找 Search 线段树查找区间内是否有两个和为w的数（w不变）
题解: 每个点x,设置其前驱为离其最近的w-x的位置每次修改可能影响O(n)个位置: w-x x x x x x x- 这样后面每个位置的前驱都是w-x 如果修改了w-x的值,这样会导致O(n)个修 ...
特征工程+特征组合+特征交叉+特征变换+生成特征
特征组合+特征交叉(交叉特征,组合特征,特征组合)+特征变换+生成特征+特征提取+ 特征缩放+特征选择+特征分箱+时间特征+特征关联+文本特征+特征采样特征关联---->corr() 特征分箱 ...
ML之FE：数据处理—特征工程之高维组合特征的处理案例(矩阵分解)——基于LoR算法的广告点击预估问题
ML之FE:数据处理-特征工程之高维组合特征的处理案例(矩阵分解)--基于LoR算法的广告点击预估问题目录特征工程之高维组合特征的处理思路 1.原始数据:语⾔言和类型两种离散特征 2.为了提高拟合 ...
XGBoost Plotting API以及GBDT组合特征实践
XGBoost Plotting API以及GBDT组合特征实践写在前面: 最近在深入学习一些树模型相关知识点,打算整理一下.刚好昨晚看到余音大神在Github上分享了一波 MachineLearn ...
【数据竞赛】十组不同类型的组合特征！
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--数值&时间的二阶组合特征! 前言本篇文章是关于数值特征与其它类型特征的二阶组合特征以及时间特征与其它特征的组合特征,这一块的东西相 ...
【数据竞赛】十大重要的时间组合特征！
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--无序类别&时间信息的组合特征! 前言本篇文章我们会介绍10大与时间相关的组合特征,这些特征在95%涉及到时间信息的竞赛中都是极为重 ...
【数据竞赛】组合特征的构建技巧，如何快速构建百大组合特征池
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--无序/有序类别/数值特征的组合特征! 前言这是一个系列篇,如果有任何问题或者疑问的可添加我的微信一起讨论,备注:"竞赛小册&qu ...
计算机系统中处理的图片可分为,第五章图像处理.doc
第五章图像处理.doc 第五章图像处理一.单选题: 1．既有层次变化又有颜色变化的图像是________. A.彩色图 B.灰度图 C.二值图 2．只有层次变化,颜色不发生变化的图像是______ ...
数据结构使用c语言第5版答案,数据结构(c语言版)第五章答案.doc
数据结构(c语言版)第五章答案.doc 第五章1.设二维数组A[8][10]是一个按行优先顺序存储在内存中的数组,已知A[0][0]的起始存储位置为1000,每个数组元素占用4个存储单元,求(1)A[ ...

组合特征（五）countvector(w)+doc(w)+hash(w)

组合特征（五）countvector(w)+doc(w)+hash(w)相关推荐

最新文章

热门文章