每天给你送来NLP技术干货！

来自：ChallengeHub

A.监督学习

• 1.EDA（Exploratory Data Analysis）

• 2.K-Nearest Neighbors（KNN）

• 3.线性回归

• 4.交叉验证（CV）

• 5.正则化回归

• 6.ROC曲线与逻辑回归

• 7.超参数调优

• 8.SVM

B.无监督学习

• 1.Kmeans聚类

• 2.聚类效果评价

• 3.标准化

• 4.层次分析法

• 5.T-分布随机近邻嵌入(T-SNE)

• 6.主成分分析（PCA）

监督学习

可以查看机器学习全面教程-有监督学习篇

无监督学习

• 无监督学习: 它使用无标记的数据，并从无标记的数据中发现隐藏的模式信息。例如，有些骨科病人数据没有标签，你不知道哪个骨科病人是正常的，哪个是不正常的。

1.Kmeans聚类

• 让我们尝试我们的第一个无监督的方法，即KMeans Cluster

• KMeans聚类:该算法基于所提供的特征迭代地将每个数据点分配给K组中的一个。基于特征相似性对数据点进行聚类

• KMeans(n_clusters = 2): n_clusters = 2表示创建2个簇群

先看数据的分布

# As you can see there is no labels in data
data = pd.read_csv('column_2C_weka.csv')
plt.scatter(data['pelvic_radius'],data['degree_spondylolisthesis'])
plt.xlabel('pelvic_radius')
plt.ylabel('degree_spondylolisthesis')
plt.show()

再看通过Kmeans聚类分类效果

# KMeans Clustering
data2 = data.loc[:,['degree_spondylolisthesis','pelvic_radius']]
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters = 2)
kmeans.fit(data2)
labels = kmeans.predict(data2)
plt.scatter(data['pelvic_radius'],data['degree_spondylolisthesis'],c = labels)
plt.xlabel('pelvic_radius')
plt.xlabel('degree_spondylolisthesis')
plt.show()

2.聚类效果评价

我们把数据分成两组。这是正确的聚类吗? 为了评估聚类效果，我们将使用交叉表。

• 有两个集群，分别是0和1

• 标签0包括138例异常患者和100例正常患者

• 标签1包括72例异常患者和0例正常患者

• 两个簇群中大多数为异常患者。

# cross tabulation table
df = pd.DataFrame({'labels':labels,"class":data['class']})
ct = pd.crosstab(df['labels'],df['class'])
print(ct)

上面存在一个问题是，我们事先知道了数据中是几分类问题，但是如果不知道呢? 那这有点像KNN或回归中的超参数问题了。

• inertia:簇群与每个样本之间的距离

• 更小的inertia意味着更多的簇

• 簇群的最佳数量是多少?

• 更小的inertia，没有太多的簇群平衡，所以我们可以选择elbow

# inertia
inertia_list = np.empty(8)
for i in range(1,8):kmeans = KMeans(n_clusters=i)kmeans.fit(data2)inertia_list[i] = kmeans.inertia_
plt.plot(range(0,8),inertia_list,'-o')
plt.xlabel('Number of cluster')
plt.ylabel('Inertia')
plt.show()

3.标准化

• 标准化对于监督学习和非监督学习都很重要，可以消除量纲影响

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
scalar = StandardScaler()
kmeans = KMeans(n_clusters = 2)
pipe = make_pipeline(scalar,kmeans)
pipe.fit(data3)
labels = pipe.predict(data3)
df = pd.DataFrame({'labels':labels,"class":data['class']})
ct = pd.crosstab(df['labels'],df['class'])
print(ct)

4.层次分析法

• 竖线是簇

• 树状图高度: 归并簇之间的距离

• 方法= 'single': 表示簇的最近点

from scipy.cluster.hierarchy import linkage,dendrogrammerg = linkage(data3.iloc[200:220,:],method = 'single')
dendrogram(merg, leaf_rotation = 90, leaf_font_size = 6)
plt.show()

5.T-SNE

• 学习率:正常情况下50-200

• T-sne只有fit_transform

from sklearn.manifold import TSNE
model = TSNE(learning_rate=100)
transformed = model.fit_transform(data2)
x = transformed[:,0]
y = transformed[:,1]
plt.scatter(x,y,c = color_list )
plt.xlabel('pelvic_radius')
plt.xlabel('degree_spondylolisthesis')
plt.show()

6.PCA

• 基本的降维技术

• 第一步是去相关:

  • 旋转数据样本以使其与轴对齐

  • 移动数据样本，使其均值为零

  • 没有信息丢失

  • Fit():学习如何移动样本

  • Transform():应用学到的转换。也可以应用测试集

• 由此产生的PCA特征不是线性相关的

• 主成分:是方差方向

# PCA
from sklearn.decomposition import PCA
model = PCA()
model.fit(data3)
transformed = model.transform(data3)
print('Principle components: ',model.components_)

# PCA variance
scaler = StandardScaler()
pca = PCA()
pipeline = make_pipeline(scaler,pca)
pipeline.fit(data3)plt.bar(range(pca.n_components_), pca.explained_variance_)
plt.xlabel('PCA feature')
plt.ylabel('variance')
plt.show()

• 第二步:内在维度: 需要特征数量来近似数据背后的基本思想

• 当样本具有任意数量的特征时，主成分分析识别内在维数

• 内在维度 = 具有显著方差的PCA特征的数量

• 为了选择内在维度，尝试所有的方法并找到最佳的精度

# apply PCA
pca = PCA(n_components = 2)
pca.fit(data3)
transformed = pca.transform(data3)
x = transformed[:,0]
y = transformed[:,1]
plt.scatter(x,y,c = color_list)
plt.show()

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！