[Kaggle] Digit Recognizer 手写数字识别

文章目录

1. Baseline KNN
2. Try SVC

Digit Recognizer 练习地址

相关博文：[Hands On ML] 3. 分类（MNIST手写数字预测）

1. Baseline KNN

读取数据

import pandas as pd
train = pd.read_csv('train.csv')
X_test = pd.read_csv('test.csv')

特征、标签分离

train.head()
y_train = train['label']
X_train = train.drop(['label'], axis=1)
X_train

网格搜索 KNN 模型最佳参数

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score
# help(KNeighborsClassifier)
para_dict = [{'weights':["uniform", "distance"], 'n_neighbors':[3,4,5], 'leaf_size':[10,20]}
]
knn_clf = KNeighborsClassifier()
grid_search = GridSearchCV(knn_clf, para_dict, cv=3,scoring='accuracy',n_jobs=-1)
grid_search.fit(X_train, y_train)

输出
GridSearchCV(cv=3, estimator=KNeighborsClassifier(), n_jobs=-1,param_grid=[{'leaf_size': [10, 20], 'n_neighbors': [3, 4, 5],'weights': ['uniform', 'distance']}],scoring='accuracy')

最佳参数

grid_search.best_params_
# {'leaf_size': 10, 'n_neighbors': 4, 'weights': 'distance'}

最好得分

grid_search.best_score_
# 0.9677619047619048

生成 test 集预测结果

y_pred = grid_search.predict(X_test)

写入结果文件

image_id = pd.Series(range(1,len(y_pred)+1))
output = pd.DataFrame({'ImageId':image_id, 'Label':y_pred})
output.to_csv("submission.csv",  index=False) # 不要index列

预测结果

排行榜

以上 KNN 模型得分 0.97067，目前排名2467

2. Try SVC

读取数据

import pandas as pd
train = pd.read_csv('train.csv')
X_test = pd.read_csv('test.csv')
y_train = train['label']
X_train = train.drop(['label'], axis=1)

导入包

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC, LinearSVC
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import classification_report
from sklearn.metrics import accuracy_score

搜索最佳参数

pipeline = Pipeline([("scaler",StandardScaler()),('clf', SVC(decision_function_shape="ovr", gamma="auto"))
])from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import reciprocal, uniformparam_distributions = {"clf__gamma": reciprocal(0.001, 0.1), "clf__C": uniform(1, 10)}
rnd_search_cv = RandomizedSearchCV(pipeline, param_distributions, n_iter=10, verbose=2, cv=3)rnd_search_cv.fit(X_train, y_train)

训练花费12个小时 [Parallel(n_jobs=1)]: Done 30 out of 30 | elapsed: 744.1min finished

rnd_search_cv.best_estimator_

最佳评估器

Pipeline(steps=[('scaler', StandardScaler()),('clf',SVC(C=10.729327185542381, gamma=0.0022750096640207287))])

最好得分

rnd_search_cv.best_score_
# 0.9584285714285713

预测

y_pred = rnd_search_cv.best_estimator_.predict(X_test)
image_id = pd.Series(range(1,len(y_pred)+1))
output = pd.DataFrame({'ImageId':image_id, 'Label':y_pred})
output.to_csv("submission_svc.csv",  index=False)

SVC 支持向量机分类模型得分 0.96464 没有上面 KNN 模型高（KNN 得分 0.97067）

[Kaggle] Digit Recognizer 手写数字识别相关推荐

[Kaggle] Digit Recognizer 手写数字识别（卷积神经网络）
文章目录 1. 使用 LeNet 预测 1.1 导入包 1.2 建立 LeNet 模型 1.3 读入数据 1.4 定义模型 1.5 训练 1.6 绘制训练曲线 1.7 预测提交 2. 使用 VGG16 ...
[Kaggle] Digit Recognizer 手写数字识别（神经网络）
文章目录 1. baseline 2. 改进 2.1 增加训练时间 2.2 更改网络结构 Digit Recognizer 练习地址相关博文: [Hands On ML] 3. 分类(MNIST手写 ...
Kaggle入门预测赛，手写数字识别Digit Recognizer，使用Kaggle kernel作答，F=0.98
1.问题和描述直接在kaggle左边的competition竞赛中搜索Digit Recognizer即可进入赛题页面: https://www.kaggle.com/c/digit-recogni ...
Kaggle手写数字识别（Digit Recognizer）记录
竞赛地址 https://www.kaggle.com/c/digit-recognizer 苦于学了cs231n和pytorch之后没有东西拿来练手,就去kaggle上找了一个入门竞赛,MNIST手 ...
手写数字识别 Digit Recognizer
手写数字识别 Digit Recognizer 在这次Machine Learning中,我做一个比较经典的手写数字识别的一个项目,巩固一下自己所学的知识,也带领大家进入神经网络的时代,神经网络可以在 ...
Kaggle竞赛实战-手写数字识别器实战
算法实战--Kaggle竞赛实战文章目录-微信公众号:AI研习图书馆 Kaggle竞赛实战系列一.介绍二.数据准备 2.1.数据加载 2.2.数据可视化 2.3.数据清洗 2.4.归一化 2.5 ...
FlyAi实战之MNIST手写数字识别练习赛（准确率99.55%）
欢迎关注WX公众号:[程序员管小亮] 文章目录欢迎关注WX公众号:[程序员管小亮] 一.介绍二.代码实现 1_数据加载 2_归一化 3_定义网络结构 4_设置优化器和退火函数 5_数据增强 6_拟 ...
python手写多个字母识别_一个带界面的CNN手写数字识别，使用Python（tensorflow, kivy）实现...
CNN_Handwritten_Digit_Recognizer (CNN手写数字识别) A CNN handwritten digit recognizer with graphical UI, i ...
BP神经网络实现手写数字识别Python实现，带GUI手写画板
BP神经网络实现手写数字识别 BP神经网络模型用tkinter编写用于手写输入的画板程序运行的效果截图在B站看了一个机器学习基础的视频( 链接)后,发现到资料里面有一个用BP神经网络对手写数字进 ...

[Kaggle] Digit Recognizer 手写数字识别

文章目录

1. Baseline KNN

2. Try SVC

[Kaggle] Digit Recognizer 手写数字识别相关推荐

最新文章

热门文章