码迷,mamicode.com
首页 > 其他好文 > 详细

kaggle之数据分析从业者用户画像分析

时间:2018-01-06 22:14:38      阅读:1524      评论:0      收藏:0      [点我收藏+]

标签:fill   sele   group   学习方法   choice   misc   src   blog   图片   

数据为kaggle社区发布的数据分析从业者问卷调查分析报告,其中涵盖了关于该行业不同维度的问题及调查结果。本文的目的为提取有用的数据,进行描述性展示。帮助新从业的人员更全方位地了解这个行业。

参考学习视频:http://www.tianshansoft.com/

数据集:https://pan.baidu.com/s/1o7BFzFO

变量说明

数据中包含228个变量,提取其中的一些较有价值的变量进行描述性分析

技术分享图片

  • 数据处理

survey <-read.csv(stringsAsFactors = F,file = F:\\R/数据科学社区调查/multipleChoiceResponses.csv,header=T,sep=,)
class(survey)
table(survey$Country) #统计每个国家参与人数

查看国家时,发现国家中中国被切分成共和国,民国,台湾,此处自行统一为中国

技术分享图片

#将大陆,中华民国,台湾统一为中国
survey$Country <- ifelse(survey$Country=="People ‘s Republic of China"
                          | survey$Country==Republic of China
                          | survey$Country==Taiwan
                          ,China,survey$Country)

数据描述性展示

  • 探索数据从业者中年龄最小(中位数)的十个国家

#将数据按国家分类,并求年龄的中位数
Country_age <- survey %>% group_by(Country) %>% 
  summarise(Age_median=median(Age,na.rm = T)) %>%
  arrange(Age_median)
head(Country_age)
#绘图,探索数据科学从业者年龄中位数最小的十个国家
p1 <-ggplot(data = head(Country_age,10),aes(reorder(Country,Age_median),Age_median,fill=Country))+
  geom_bar(stat=identity)+coord_flip()+
  labs(x=年龄,y=国家,title=探索不同国家数据从业者的平均年龄)+
  geom_text(aes(label=round(Age_median,0)),hjust=1.5)+
  theme(legend.position = none,plot.title=element_text(hjust = 0.3))
#绘图,探索数据科学从业者年龄中位数最大的十个国家
p2 <- ggplot(data = tail(Country_age,10),aes(reorder(Country,Age_median),Age_median,fill=Country))+
  geom_bar(stat=identity)+coord_flip()+
  labs(x=年龄,y=国家)+
  geom_text(aes(label=round(Age_median,0)),hjust=1.5)+
  theme(legend.position = none)
#合并两张图
library(Rmisc)
multiplot(p1,p2,cols = 1)

技术分享图片

可以看到,按年龄中位数排列的话,亚洲国家在年龄较小的十个国家中占了七席,其中年龄中位数最小的国家为印度尼西亚和越南,只有24岁。中国的数据从业者集中在26岁。而年龄中位数最大的国家中,欧洲国家占了六席,且几乎都为发达国家。可见发达国家在数据科学领域已经有多年的发展。

 探索数据从业者的职位名称分类

首先对数据整理,得出受访人数最多的前十个职位,且降序排列

#数据科学从业者的职位分类
jobtitle<-table(survey$CurrentJobTitleSelect)%>%  #统计频数
  as.data.frame()%>%                           #转化为数据框
  arrange(desc(Freq))                    #按频数倒序排列(大在前)
jobtitle <- jobtitle[-1,]               #人数最多的一行为空值,即职业一栏无填写

技术分享图片

接下来进行绘图,将数据可视化

ggplot(data=head(jobtitle,10),aes(x=reorder(Var1,Freq),Freq,fill=Var1))+  #选取受访人数最多的前十个职业
  geom_bar(stat = identity)+
  labs(x=职业,y=人数,title=‘受访人数最多的十个职位)+              
  coord_flip()+                         #翻转坐标轴
  geom_text(aes(label=Freq),hjust=1.5)+    #添加数据标签
  theme(legend.position = none,plot.title = element_text(hjust = 0.2))          #去除图例,调整标题位置

技术分享图片

从图中可看出数据科学家参加问卷调查的人数最多,达2433人。排名第十的为程序员,只有462人

探索中美两国受访者的职业分类

  • 处理数据

diff_nation <- survey[which(survey$Country==China),]      #提取出国家为中国的调查者信息
diff_nation1 <- survey[which(survey$Country==United States),]  #提取出国家为美国的调查者信息
china_jobtitle <- table(diff_nation$CurrentJobTitleSelect)%>%as.data.frame()%>%arrange(desc(Freq)) #探索在中国的受访人数较多职位
usa_jobtitle <- table(diff_nation1$CurrentJobTitleSelect)%>%as.data.frame()%>%arrange(desc(Freq)) #探索在美国的受访人数较多职位

技术分享图片

图中可看到,中国的受访者中,有361人没有填写当前职位这一栏。美国也有1072人。在绘图的过程中,需要将这些空值筛选掉

  • 绘图

p3<-ggplot(china_jobtitle[c(2:11),],aes(reorder(Var1,Freq),Freq,fill=Var1))+  #数据集中国前十位热门职业
  geom_bar(stat = identity)+
  labs(x=职业,y=受访人数(中国),title=中美两国受访者的当前职位对比)+
  coord_flip()+                  #翻转坐标轴
  geom_text(aes(label=Freq),hjust=1)+
theme(legend.position = none,plot.title = element_text(size = 15,face = bold.italic)) #去除图例,设置标题大小,字体

p4<-ggplot(usa_jobtitle[c(2:11),],aes(reorder(Var1,Freq),Freq,fill=Var1))+  #数据集中国前十位热门职业
  geom_bar(stat = identity)+
  labs(x=职业,y=受访人数(美国))+
  coord_flip()+                  #翻转坐标轴
  geom_text(aes(label=Freq),hjust=1)+
  theme(legend.position = none)
#合并两图
multiplot(p3,p4)       

技术分享图片

图中可看出,中国的受访者中,人数最多的为数据挖掘工程师,共66人,而美国受访者中最多的为数据科学家,共773人。排在第二位的皆为软件开发工程师。

 探索数据科学从业者明年将学习的学习工具

  • 数据处理

study_tool <- table(survey$MLToolNextYearSelect) %>%   
        as.data.frame()%>%
        arrange(desc(Freq))

技术分享图片

  • 绘图

绘图过程与前面大同小异,所以可将绘图函数封装,代入变量即可

##############============封装绘图函数========#####################
fun1 <-function(data1,xlab1,ylab1,xname1,yname1,titlename1){
  ggplot(data = data1,aes(x=xlab1,y=ylab1,fill=xlab1))+
    geom_bar(stat = identity)+
    labs(x=xname1,y=yname1,title=titlename1)+
    coord_flip()+                  #翻转坐标轴
    geom_text(aes(label=ylab1),hjust=1)+   #数据标签
    theme(legend.position = none,plot.title = element_text(size = 15,face = bold.italic)) #去除图例,设置标题大小,字体
}
########################################################################  

代入变量

#function(data,xlab1,ylab1,var1,xname1,yname1,titlename1)
data   <- study_tool[c(2:11),]
xname1 <- 明年将学习的学习工具
yname1 <- 人数
titlename1 <- 受访者明年将学习的学习工具调查
fun1(data,reorder(data$Var1,data$Freq),data$Freq,xname1,yname1,titlename1)

技术分享图片

 

图中可看到,学习TensorFlow将成为明年的趋势,在受访者中,学习的人数达2621人之多。而接下来为python和R。可以预见,这3项将成为以后的主流学习工具。

 

探索中美两国数据科学从业者明年将学习的学习工具

  • 数据提取

china_studytool <- survey %>% filter(survey$MLToolNextYearSelect !=‘‘&Country==China) %>%
              group_by(MLToolNextYearSelect) %>%
              summarise(count=n())%>%              #n() 汇总
              arrange(desc(count))

以上为提取中国受访者明年将学习的学习工具数据。

技术分享图片

图中可见,中国数据科学从业者明年即将学习的学习工具热度较高的为Python,TensorFlow,Spark,jupyter,R。而美国为TensorFlow,python,sparkR,其他,比较符合国际趋势。

 探索数据科学从业者明年将学习的机器学习方法

 技术分享图片

可以看到,当前的机器学习趋势为深度学习,神经网络,时间序列分析,贝叶斯方法,文本挖掘等。对机器学习方法感兴趣的从业者不妨做个参考。

 从业者对新手的建议

  •  推荐的编程语言

技术分享图片

python,R,SQL是入门机器学习的必备技能

 

kaggle之数据分析从业者用户画像分析

标签:fill   sele   group   学习方法   choice   misc   src   blog   图片   

原文地址:https://www.cnblogs.com/jvfjvf/p/8204284.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!