码迷,mamicode.com
首页 > 编程语言 > 详细

[R语言]关联规则1---不考虑items之间的时序关系

时间:2016-04-26 23:43:39      阅读:1176      评论:0      收藏:0      [点我收藏+]

标签:

本文介绍的是关联规则,分为两部分:第一部分是---不考虑用户购买的items之间严格的时序关系,每个用户有一个“购物篮”,查找其中的关联规则。第二部分--- 考虑items之间的严格的时序关系来分析用户道具购买路径以及关联规则挖掘。此文为第一部分的讲解。(本文所需的代码和数据集可以在这里下载。)

关联规则最常听说的例子是“啤酒与尿布”:购买啤酒的用户通常也会购买尿布。在日常浏览电商网站时也会出现“购买该商品的用户还会购买….”等提示,这其中应用的就是关联规则的算法。

本文重点讲解的是关联规则的R语言实现以及关联规则的可视化,这里不对关联规则的原理进行讲解,可以参考百度百科---关联规则维基百科--- Apriori algorithm维基百科--- Association rule learning

目录
0.创建购买记录的数据集    
1.将购买记录转换为0-1矩阵    
2.将0-1矩阵转换成“transcations”形式    
3.删除冗余规则    
4.关联规则可视化

0.创建购买记录的数据集

下面创建一个1W条购买记录的数据集,一行代表一个用户,列分别是:用户id、道具名称pname、付费金额amount、购买时间time

数据的样式如下:

技术分享

###有放回地抽取1W个从10000000到10002000,作为用户id

uid<-sample(10000000:10002000,10000,replace=T)

###将日期限定在20160401 10:01:01~20160408 10:01:01,将其转换为unix时间戳的形式,也是取1W条

start_time<-as.numeric(as.POSIXct("2016/04/01 10:01:01", format="%Y/%m/%d %H:%M:%S"))
end_time<-as.numeric(as.POSIXct("2016/04/08 10:01:01", format="%Y/%m/%d %H:%M:%S"))
time<-sample(start_time:end_time,10000,replace=T)

#将两者合并成一个数据框orders

orders<-data.frame(uid,time)
head(orders)

###下面用P1~P20来表示购买的道具名称

pname_list<-c(1:20)

for(i in 1:20){
  pname_list[i]<-paste(P,i,sep="")
}

#随机将道具名称传递到1W行上

orders$pname<-P1

for(i in 1:20){
  orders[sample(1:nrow(orders),1000,replace=T),pname]<-pname_list[i]
}

orders$pname<-as.factor(orders$pname)

#随机将付费金额amount(1到50)传递到1W行上

orders$amount<-10

for(i in 1:50){
  orders[sample(1:nrow(orders),1000,replace=T),amount]<-i
}

#查看一下数据集,看生成的模拟数据是否正常

head(orders)
summary(orders)

#将数据集写回本地

write.table(orders,orders_test.txt,sep=\t,row.names = F,col.names = T)

1.将购买记录转换为0-1矩阵

以上只是完成了第一步:创建数据集。下面进行第二步:将购买记录转换为0-1矩阵形式,其中行表示用户,列表示商品,用1表示用户购买了该道具。

#读取数据集

payer<-read.table("orders_test.txt",sep=\t,header=T)
head(payer)
dim(payer)

#转换成cast1:行为用户id,列为道具,值为金额

payer2<-payer[,c(uid,pname,amount)]
head(payer2)

library(reshape2)
melt1<-melt(payer2,id=c("uid","pname"));
head(melt1)

cast1<-dcast(melt1,uid~pname,sum);

#下面查看cast1数据集的形式,注意到其中的道具(列名)是按照“字母顺序”排列的,一行代表一个用户,列表示商品,其中的值表示用户在该道具上的总付费金额,一行中所有非0的列名组成了这个用户的“购物篮”,“购物篮”是没有时间先后顺序的。

head(cast1)

技术分享

#将矩阵cast1转换成0-1矩阵cast2,其中1表示用户购买了该道具

cast2<-matrix(0,ncol=ncol(cast1),nrow=nrow(cast1))

for(j in 1:ncol(cast1)){
  cast2[cast1[,j]>0,j]<-1
}

#注意到其中原本为用户id的第一列全变成了1;列名不是原本的道具名

head(cast2) 

#将0-1矩阵cast2的列名换成cast1的列名(道具名)

colnames(cast2)<-names(cast1);
cast2<-as.data.frame(cast2)
cast2$uid<-cast1$uid
head(cast2)

技术分享

2.将0-1矩阵转换成“transcations”形式

#将0-1转换成Apriori算法能用的“transcations”形式

cast3<-cast2[,-1]#需要先把第一列uid去掉

#此时还不能转换成transactions形式

library(arules)
arules<-as(cast3,"transactions")

会提示错误:Error in asMethod(object) : column(s) … not logical or a factor. Use as.factor, as.logical or categorize first.

技术分享

按照上述错误的提示,在将0-1矩阵转换成transactions前,需要先将列转换成factor 或者 logical 型,但是一定要将0-1矩阵转换为logical型而不是factor型,否则会把factor=0的数据也当做项集,后面执行Apriori算法时会消耗大量内存

#之前转换成Factor型后,执行Apriori函数,迟迟出不来结果,内存却蹭蹭蹭往上涨,直到最后宕机,后面通过测试一个小的数据集时才发现其会把factor=0的列也当做项集,尤其当行和列较多的时候,会存在海量的无效项集,从而导致内存爆满。正确方式如下:

for (j in 1:ncol(cast3)){
  cast3[,j]<-as.logical(cast3[,j])#再次提醒!!!一定要将0-1矩阵转换为logical型而不是factor型
}

#转换为apriori算法可用的transactions形式

library(arules)
arules<-as(cast3,"transactions")

#查看其中的项集,就是每个用户的购物篮,如下图所示

inspect(arules[1:10]) 

技术分享

######下面执行apriori算法,将支持度support的阈值设置为0.01,置信度confidence的阈值设置为0.5,你可以根据自己的需求设置阈值。

rules<-apriori(arules,parameter = list(support=0.01,confidence=0.5))
inspect(rules)

技术分享

#可以按照提升度排序

sorted_lift<-sort(rules,by=lift)
inspect(sorted_lift)

技术分享

3.删除冗余规则

#下面进行第三步,上面满足支持度阈值和置信度阈值的规则共有152条,其中有很多的冗余规则,冗余规则的定义是:如果rules2的lhs和rhs是包含于rules1的,而且rules2的lift小于或者等于rules1,则称rules2是rules1的冗余规则。下面对冗余规则进行删除。

subset.matrix<-is.subset(rules,rules)#生成一个所有规则的子集矩阵,行和列分别是每条rules,其中的值是TRUE和FALSE,当rules2是rules1的子集时,rules2在rules1的值为TRUE
subset.matrix[lower.tri(subset.matrix,diag=T)]<-NA#将矩阵对角线以下的元素置为空,只保留上三角
redundant<-colSums(subset.matrix,na.rm=T)>=1#R会将矩阵中的TRUE当做1,统计每列的和(忽略缺失值),如果该列的和大于等于1,也就是表示该列(规则)是别的规则的子集,应该删除。

rules.pruned<-rules[!redundant]#去掉冗余的规则

#原本152条规则精简到4条规则

inspect(rules.pruned)

技术分享

#写回本地

write(rules.pruned,"rules_pruned.txt",col.names=NA)

4.关联规则可视化

直接plot画出散点图:

plot(rules)

技术分享

图中的点颜色越深,表示lift值越大,可以看到lift值高的点集中在低support上。另外也有一些人认为最有意思的规则在support/conf的边沿上。

 

可以使用interactive=TRUE来实现散点图的互动功能,可以选中一些点查看其具体的规则

plot(rules,interactive=TRUE)

技术分享

还有类似“气泡图”的展现形式:提升度lift是圈的颜色深浅,圈的大小表示支持度support的大小。LHS的个数和分组中最重要(频繁)项集显示在列的标签里。lift从左上角到右下角逐渐减少。

plot(rules, method = "grouped")

技术分享

通过箭头和圆圈来表示关联规则,利用顶点代表项集,边表示规则中关系。圆圈越大表示支持度support越大,颜色越深表示提升度lift越大。但是如果规则较多的话会显得很混乱,难以发现其中的规律,因此,通常只对较少的规则使用这样的图,如下是对lift的top10条规则进行可视化。

plot(sorted_lift[1:10], method = "graph")

技术分享

 

以上,就是关联规则的R语言实现以及关联规则的可视化,这里不考虑用户购买items之间的时序关系,而是从用户“购物篮”中去挖掘关联规则,下一篇将考虑items之间的严格的时序关系来分析用户道具购买路径以及关联规则挖掘。本文所需的代码和数据集可以在这里下载。

 

[R语言]关联规则1---不考虑items之间的时序关系

标签:

原文地址:http://www.cnblogs.com/lzllovesyl/p/5434401.html

(0)
(2)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!