##连接数据库，将数据库中的文件读取出来
#加载包
library(RMySQL)
#建立连接
conn <- dbConnect(dbDriver("MySQL"), dbname = "eswp", user="root", password="root")
#读取 表2008yearnew
text = dbReadTable(conn, "sixclasscleaned")[1:594,2:2]#只读取mesh词的那一列，通过前面的第一个下标修改读取的行数，读取20行

#加载tm包
library(tm)
#建立语料库
corpus=Corpus(VectorSource(text))
#从语料库建立词-文档矩阵，用tf-idf来表示，stopwords = stopwords("mesh")#表示使用mesh停用词表；
#tolower = FALSE标识不将大写转换成小写，而默认是转换的；
#停用词表放在tm包中的stopwords文件夹中，目前停用词表中只有aged一词
tdm = TermDocumentMatrix(corpus,control = list(stopwords=stopwords("mesh"), weighting = weightTfIdf,tolower = FALSE))

##词太多，需要在这里进行筛选，使用removeSparseTerms()进行词的筛选
tdm_removed = removeSparseTerms(tdm, 0.99)#这个值需要不断测试来设置，和矩阵原来的稀疏程度有关

#R中计算距离的方法有euclidean，maximum，manhattan，canberra，minkowski，binary等，在这里使用euclidean距离，即欧氏距离
dist_tdm_removed <- dist(tdm_removed, method = 'canberra')#根据距离行层次聚类，距离使用average即类平均法距离，可以使用的其他距离有，single,complete,median,mcquitty,average,centroid,ward等
hc <- hclust(dist_tdm_removed, method = 'mcquitty')

cutNum = 25 #设置分割的类的数目
#对树进行分割
ct = cutree(hc,k=cutNum)
write(paste("共分为",cutNum,"类"),"data.txt",append=FALSE) #统计各个类的数目
write("----------------","data.txt",append=TRUE)
write("\n","data.txt",append=TRUE)#输出各个类
#输出到屏幕
#for(i in 1:cutNum){print(paste("第",i,"类：",sum(ct==i),"个"));print(attr(ct[ct==i],"names"));print("----------------")}
#输出到外部文件
for(i in 1:cutNum){write(paste("第",i,"类： ",sum(ct==i),"个"),"data.txt",append=TRUE);write("----------------","data.txt",append=TRUE);write(attr(ct[ct==i],"names"),"data.txt",append=TRUE);write("----------------","data.txt",append=TRUE)write("\n","data.txt",append=TRUE)}

#如果类数目较多，则会重合看不清楚，使用下列方法画出大像素图形
png("test.png",width=3500,height=3000) #将输出设备改为png，像素尽可能的大，但是如果改的过大容易出现问题。#cex为标签的大小,同时，可以使用cex.axis属性来改变坐标系上数字的大小，使用cex.lab改变下面矩阵名字的大小#使用cex.main改变上方标题的大小，使用cex.sub改变下方聚类方法名称的大小，lwd是图形中线的宽度，此时图形将会在工作目录中看到
plot(hc,cex=2,cex.axis=3,cex.lab=3,cex.main=3,cex.sub=3,lwd=1.5)
rect.hclust(hc,k=30, border="red")#对聚类结果的标识
dev.off()