【转载】R语言与数据挖掘学习笔记

(1)：数据挖掘相关包的介绍

今天发现一个很不错的博客(http://www.RDataMining.com)，博主致力于研究R语言在数据挖掘方面的应用，正好近期很想系统的学习一下R语言和数据挖掘的整个流程，看了这个博客的内容，心里久久不能平静。决定从今天开始，只要晚上能在11点之前把碗洗好，就花一个小时的时间学习博客上的内容，并把学习过程中记不住的信息记录下来，顺便把离英语四级的差距尽量缩小。

下面列出了可用于数据挖掘的R包和函数的集合。其中一些不是专门为了数据挖掘而开发，但数据挖掘过程中这些包能帮我们不少忙，所以也包含进来。

1、聚类

常用的包： fpc，cluster，pvclust，mclust
基于划分的方法: kmeans, pam, pamk, clara
基于层次的方法: hclust, pvclust, agnes, diana
基于模型的方法: mclust
基于密度的方法: dbscan
基于画图的方法: plotcluster, plot.hclust
基于验证的方法: cluster.stats

2、分类

常用的包：

rpart，party，randomForest，rpartOrdinal，tree，marginTree，

maptree，survival
决策树: rpart, ctree
随机森林: cforest, randomForest
回归, Logistic回归, Poisson回归: glm, predict, residuals
生存分析: survfit, survdiff, coxph

3、关联规则与频繁项集

常用的包：

arules：支持挖掘频繁项集，最大频繁项集，频繁闭项目集和关联规则

DRM：回归和分类数据的重复关联模型
APRIORI算法，广度RST算法：apriori, drm
ECLAT算法：采用等价类，RST深度搜索和集合的交集： eclat

4、序列模式

常用的包： arulesSequences
SPADE算法： cSPADE

5、时间序列

常用的包： timsac
时间序列构建函数： ts
成分分解: decomp, decompose, stl, tsr

6、统计

常用的包： Base R, nlme
方差分析: aov, anova
密度分析: density
假设检验: t.test, prop.test, anova, aov
线性混合模型：lme
主成分分析和因子分析：princomp

7、图表

条形图: barplot
饼图: pie
散点图: dotchart
直方图: hist
密度图: densityplot
蜡烛图, 箱形图 boxplot
QQ (quantile-quantile) 图: qqnorm, qqplot, qqline
Bi-variate plot: coplot
树: rpart
Parallel coordinates: parallel, paracoor, parcoord
热图, contour: contour, filled.contour
其他图: stripplot, sunflowerplot, interaction.plot, matplot, fourfoldplot,
assocplot, mosaicplot
保存的图表格式: pdf, postscript, win.metafile, jpeg, bmp, png

8、数据操作

缺失值：na.omit
变量标准化：scale
变量转置：t
抽样：sample
堆栈：stack, unstack
其他：aggregate, merge, reshape

9、与数据挖掘软件Weka做接口

RWeka: 通过这个接口，可以在R中使用Weka的所有算法。

菜已经买回来，锅也准备好了，明天晚上接着学习不同的菜怎么放入锅里( 数据的导入与导出)。

(2)：数据的导入与导出

晚主要学习如何把几种常用的数据格式导入到R中进行处理，并简单介绍如何把R中的数据保存为R数据格式和csv文件。

1、保存和加载R的数据(与R.data的交互：save()函数和load()函数)
a <- 1:10
save(a, file = "data/dumData.Rdata") # data文件为当前工作目录下的文件，必须存在
rm(a)
load("data/dumData.Rdata")
print(a)

2、导入和加载.csv文件(write.csv()函数和read.csv()函数)
var1 <- 1:5
var2 <- (1:5) / 10
var3 <- c("R", "and", "Data Mining", "Examples", "Case Studies")
a <- data.frame(var1, var2, var3)
names(a) <- c("VariableInt", "VariableReal", "VariableChar")
write.csv(a, "data/dummmyData.csv", row.names = FALSE)
b <- read.csv("data/dummmyData.csv")

3、导入SPSS/SAS/Matlab等数据集
# 导入spss的sav格式数据则要用到foreign扩展包，加载后直接用read.spss读取sav文件
library(foreign)
mydata=read.spss('d:/test.sav')
# 上面的函数在很多情况下没能将sav文件中的附加信息导进来，例如数据的label，
# 那么建议用Hmisc扩展包的spss.get函数，效果会更好一些。
library(Hmisc)
data=spss.get("D:/test.sav")

4、导入数据库中的数据
library(RODBC)
Connection <- odbcConnect(dsn="servername",uid="userid",pwd="******")
Query <- "SELECT * FROM lib.table WHERE ..."
# Query <- readChar("data/myQuery.sql", nchars=99999) 或者选择从SQL文件中读入语句
myData <- sqlQuery(Connection, Query, errors=TRUE)
odbcCloseAll()

5、导入Excel数据
library(RODBC)
channel=odbcConnectExcel("d:/test.xls")
mydata=sqlFetch(channel,'Sheet1') # 如果是Excel2007格式数据则要换一个函数odbcConnectExcel2007

把数据导入R以后，紧跟着该对数据进行描述性分析了，明天晚上再继续拉~水饺去了~

(3)：数据探索

在开始一个数据分析项目之前，都非常有必要了解一下我们的数据，今天晚上主要整理数据探索方面一些常用的代码：

一、先看看数据

我们首先要先了解一下数据的尺寸和结构：

dim(iris) # 了解数据集的维度，有多少行多少列？

names(iris) # 数据有哪些列？

str(iris) # 数据的结构如何？

attributes(iris) # 数据的列名、行名和数据结构

然后看看数据集前几行和后几行长成什么样子：

iris[1:5, ] # 看看数据的前5行

head(iris) # 看看数据的前6行

tail(iris) # 看看数据的最后6行

iris[1:10, "Sepal.Length"] # Sepal.Length变量的前10个取值

iris$Sepal.Length[1:10] # 用另外一种形式取出

二、看看单个变量的情况

summary(iris) # 看看单个变量的关键数据：最小值、25%分位数、中位数、均值、75%分位数、最大值

quantile(iris$Sepal.Length) # 单个变量的1%、25%、50%、75%、100%分位数

quantile(iris$Sepal.Length, c(0.1, 0.3, 0.65)) # 指定分位点对应的分位数

mean()，median()，range() # 返回均值、中位数和数据的范围

对于连续变量：

var() # 返回变量的方差

hist(iris$Sepal.Length) # 画出变量的直方图，看看变量的分布情况

plot(density(iris$Sepal.Length)) # 画出变量的密度函数图

对于类别变量：

table(iris$Species) # 统计每个类别的计数，了解一下各个类别的分布

pie(table(iris$Species)) # 画出每个类别的占比饼图

barplot(table(iris$Species)) # 画出柱状图

三、观察多个变量之间的关系

首先看看变量之间的相关性：

cov(iris[ , 1:4]) # 计算变量之间的协方差矩阵

cor(iris[ , 1:4]) # 计算变量之间的相关系数矩阵

然后研究一些在不同的目标变量水平下，某变量的基本情况：

aggregate(Sepal.Length~Spacies, summary, data=iris) # 对于Sepal.Length变量，在每个Species水平上执行summary计算

boxplot(Sepal.Length~Species, data=iris) # 针对每个Species水平绘制Sepal.Length的盒形图

with(iris, plot(Sepal.Length, Sepal.Width, col=Species, pch=as.numeric(Species))) #针对每个Species水平绘制两个变量的散点图，并用颜色和点状区分

plot(jitter(iris$Sepal.Length), jitter(iris$Sepal.Width)) #标示散点图中的重叠图

接着用图形的方式研究变量之间的关系：

pairs(iris) # 绘制任意两个矩阵之间的散点图，发现变量之间的相关性

四、看看其他方面

三维散点图（scatterplot3d包）：

library(scatterplot3d)
scatterplot3d(iris$Petal.Width, iris$Sepal.Length, iris$Sepal.Width)

构造相似性矩阵，用热图可视化样本之间的相似性：

distMatrix <- as.matrix(dist(iris[,1:4]))
heatmap(distMatrix)

以Sepal.Length和Sepal.Width为横纵坐标，分水平，以Petal.Width大小为颜色，探索数据之间的关系：

library(lattice)
levelplot(Petal.Width~Sepal.Length*Sepal.Width, iris, cuts=9,col.regions=grey.colors(10)[10:1])

以等高线的形式探索数据的关系：

library(lattice)

filled.contour(volcano, color=terrain.colors, asp=1,plot.axes=contour(volcano, add=T))

画一顶帽子：

persp(volcano, theta = 25, phi = 30, expand = 0.5, col = "lightblue")

平面坐标可视化，研究不同类别变量之间的差异：

library(MASS)
parcoord(iris[1:4], col=iris$Species)

还可以用另外一个函数实现

library(lattice)
parallelplot(~iris[1:4] | Species, data=iris)

最后介绍一下ggplot2这个包，非常强悍，后续专门找一个晚上重点学习，一个简单的例子：

根据Species的不同类别，绘制Sepal.Length和Sepal.Width的散点图。

library(ggplot2)
qplot(Sepal.Length, Sepal.Width, data=iris, facets=Species ~.)

五、保存图片

# save as a PDF file
pdf("myPlot.pdf")
x <- 1:50
plot(x, log(x))
graphics.off()
# Save as a postscript file（PS文件）
postscript("myPlot2.ps")
x <- -20:20
plot(x, x^2)
graphics.off()

数据探索的学习就到这里咯，还有半个小时的时间，再整理一下决策树，哈哈，下回见啦~

全文转载自iData的学习笔记http://datapig.diandian.com/post/2012-06-13/R-Datamining01

感谢作者的分享！

转载于:https://blog.51cto.com/psnx168/1386091