达观杯_构建模型（一）linearSVM

特征：tfidf(word)+tfidf(article)

"""
1.特征：tfidf(word)+tfidf(article)
2.模型：linearsvm
3.参数：C=5
"""from sklearn.svm import LinearSVC # 支持向量机
from sklearn.calibration import CalibratedClassifierCV
import pandas as pd
import time
import pickletime_start = time.time()
# 读取特征
with open('tfidf(word+article).pkl','rb') as f:x_train, y_train, x_test = pickle.load(f)
# 构建模型
clf = CalibratedClassifierCV(base_estimator=LinearSVC(C=5))
clf.fit(x_train, y_train)# 保存模型
with open('linearsvm(C=5)_tfidf(word+article).pkl','wb') as f:pickle.dump(clf,f)# 预测结果：分类结果和概率结果
y_test = clf.predict(x_test)
y_test_proba = clf.predict_proba(x_test)# 保存模型输出的分类文件和概率文件
y_test = [i+1 for i in y_test.tolist()]
y_test_proba = y_test_proba.tolist()df_result = pd.DataFrame({'id':range(102277),'class':y_test})
df_proba = pd.DataFrame({'id':range(102277),'proba':y_test_proba})df_result.to_csv('./ls(C=5)_tfidf(word+article).csv',index=False)
df_proba.to_csv('./ls(C=5)_tfidf(word+article)_proba.csv',index=False)time_end = time.time()
print('共耗时：{:.2f}min'.format((time_end-time_start)/60))

特征：linearsvm-tfidf(word)+lr-tfidf(article)

"""
1.特征：linearsvm-tfidf(word)+lr-tfidf(article)
2.模型：linearsvm
3.参数：C=5
"""from sklearn.svm import LinearSVC # 支持向量机
from sklearn.calibration import CalibratedClassifierCV
import pandas as pd
import time
import pickletime_start = time.time()
# 读取特征
with open('linearsvm-tfidf(word)+lr-tfidf(article).pkl','rb') as f:x_train, y_train, x_test = pickle.load(f)
# 构建模型
clf = CalibratedClassifierCV(base_estimator=LinearSVC(C=5))
clf.fit(x_train, y_train)# 保存模型
with open('linearsvm(C=5)_tfidf(linearsvm_w+lr_a).pkl','wb') as f:pickle.dump(clf,f)
#或者用 joblib.dump(clf, "文件名.pkl") 保存模型# 预测结果：分类结果和概率结果
y_test = clf.predict(x_test)
y_test_proba = clf.predict_proba(x_test)# 保存模型输出的分类文件和概率文件
y_test = [i+1 for i in y_test.tolist()]
y_test_proba = y_test_proba.tolist()df_result = pd.DataFrame({'id':range(102277),'class':y_test})
df_proba = pd.DataFrame({'id':range(102277),'proba':y_test_proba})df_result.to_csv('./ls(C=5)_tfidf(ls_w+lr_a).csv',index=False)
df_proba.to_csv('./ls(C=5)_tfidf(ls_w+lr_a)_proba.csv',index=False)time_end = time.time()
print('共耗时：{:.2f}min'.format((time_end-time_start)/60))

达观杯_构建模型（一）linearSVM相关推荐

达观杯_构建模型（四）贝叶斯
""" 1.特征:linearsvm-tfidf(word)+lr-tfidf(article) / doc2vec_word 2.模型:bayes"" ...
达观杯_构建模型（三）lightGBM
countvector(a)+doc(a)+hash(a) """ 1.特征:countvector(a)+doc(a)+hash(a) 2.模型:lgb "& ...
达观杯_构建模型（二）逻辑回归
特征:tfidf(word+article) """ 1.特征:tfidf(word+article) 2.模型:lr 3.参数:C=120 ""&q ...
python_torch_加载数据集_构建模型_构建训练循环_保存和调用训练好的模型
以下代码均来自bilibili:[适用于初学者的Pytorch编程教学] 以下为完整代码,复制即可运行. import torch import time import json import tor ...
【一周算法实践集训】_【模型构建】_baseline
读取数据 import pandas as pd data_all = pd.read_csv('data_all.csv',encoding='gbk') # encoding='gbk' 解决编码 ...
深度学习每层的通道数如何计算_深度学习基础系列（一）| 一文看懂用kersa构建模型的各层含义（掌握输出尺寸和可训练参数数量的计算方法）...
我们在学习成熟网络模型时,如VGG.Inception.Resnet等,往往面临的第一个问题便是这些模型的各层参数是如何设置的呢?另外,我们如果要设计自己的网路模型时,又该如何设置各层参数呢?如果模型 ...
python可以构建sem模型_结构方程模型（SEM）
为什么要用结构方程模型(SEM)呢? 首先,由于心理测量的构面不可能不受到测量误差的影响,SEM能处理测量误差:除此之外,SEM还能评估构面是否具有信效度.处理复杂的模型或理论(如,模型中有中介.调节 ...
第三届“达观杯”文本智能算法大赛参赛指南
比赛介绍 2019 年 6 月 28 日,第三届"达观杯"文本智能信息抽取挑战赛正式开赛,同期面向参赛选手开放竞赛结果提交.本届比赛由中国人工智能学会吴文俊人工智能科学技术奖办公室 ...
万字长文详解文本抽取：从算法理论到实践（附“达观杯”官方baseline实现解析及答疑）...
[ 导读 ]"达观杯"文本智能信息抽取挑战赛已吸引来自中.美.英.法.德等26个国家和地区的2400余名选手参赛,目前仍在火热进行中(点击"阅读原文"进入比赛页 ...

达观杯_构建模型（一）linearSVM

特征：tfidf(word)+tfidf(article)

特征：linearsvm-tfidf(word)+lr-tfidf(article)

达观杯_构建模型（一）linearSVM相关推荐

最新文章

热门文章