码迷,mamicode.com
首页 > 编程语言 > 详细

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

时间:2018-06-10 00:31:16      阅读:575      评论:0      收藏:0      [点我收藏+]

标签:class   爬虫   电子   参考   没有   比例   main   工程   观察   

技术分享图片

 

数据量:3,289,329 人。

数据采集工具:分布式 python 爬虫

分析工具:ElasticSearch + Kibana

分析角度:地理位置、男女比例、各类排名、所在高校、活跃程度等。

请各位注意:

以下所有分析结果都基于我抓取到的这300万用户的个人信息,非权威分析,仅供参考。

数据抓取时间为2017年7月份,用户数据会随着时间推移而变化,所以该报告具有一定时效性。

技术分享图片

 

技术分享图片

 

蓝色为男生,红色为女生。具体数据为:

男生:1,202,234 人,占 51.55%。

女生:1,129,874 人,占 48.45%。

知乎用户都是哪里人?

再来看看全国(全球?)都有哪些地方的人在玩知乎:

技术分享图片

 

技术分享图片

 

技术分享图片

 

技术分享图片

 

技术分享图片

 

由上图可以看到,知乎用户中学生用户占据多数,其它的比如产品经理、程序员、运营、HR数量也不少。我们看一下具体的排名(前十名):

技术分享图片

 

由上图可以看到,知乎用户中“学生”的比重独占鳌头,我们把“学生”去掉,来看看正经些的知乎职业排名:

技术分享图片

 

技术分享图片

 

知乎主流职业的性别分布:

技术分享图片

 

上面这张饼图的内圈表示各主流职业在前十名中所占的比重,外圈表示该职业从业者中的男女比例,蓝色为男性,红色为女性。我们再用一张直方图来表示:

技术分享图片

 

技术分享图片

 

看完了知乎各职业的性别分布,我们再用一张热力图来观察知乎主流职业(前五名)在各个地区的分布情况,颜色越深,代表该职业在该地区的人数越多:

技术分享图片

 

这里我为了展示方便,去掉了产品经理,你只需要知道产品经理在各地人数都是最多的…… 不明白知乎上怎么这么多产品经理,可能是为了方便宣传他们的产品?

技术分享图片

 

技术分享图片

 

我们再列出详细的比重排名:

技术分享图片

 

以上展示的结果不一定准确,可能有很大一部分学生用户没有填写自己的学校。仅从上图可以看出,知乎活跃高校用户从大到小依次是:浙江大学、武汉大学、华中科技大学、中山大学、北京大学、上海交通大学、复旦大学、南京大学、四川大学、清华大学。

既然分析到学校了,我们顺便看看各高校的男女比例,嘿嘿。

技术分享图片

 

发现一个有意思的现象,各高校大部分都是男生在玩知乎……

再看一下哪些高校在知乎获得的赞数最多:

技术分享图片

 

技术分享图片

 

技术分享图片

 

北京玩知乎最多的高校依次是:北京大学、北京邮电大学、中国传媒大学、中国人民大学、清华大学。

上海玩知乎最多的高校依次是:上海交通大学、复旦大学、同济大学、上海大学、上海财经大学。

杭州玩知乎最多的高校依次是:浙江大学、浙江工业大学、杭州电子科技大学、浙江大学,计算机科学、浙江大学,软件工程。浙江大学是重度用户啊……

技术分享图片

 

技术分享图片

 

排名依次是:武汉大学、浙江大学、中山大学、华南理工大学、北京大学、华中科技大学、复旦大学、上海交通大学、西北农林科技大学。

好了,高校分析告一段落,我们再来看看知乎用户的各类排名。

知乎赞数最多的100位大V

下图中词云的字越大,表示收到的赞数越多:

技术分享图片

 

我们再来一张直方图,配合着看:

技术分享图片

 

张佳玮大大无可争议的获得第一名,360+万赞,恐怖。其次是马前卒、唐缺、vczh、肥肥猫、朱炫、Seasee Youl、ze ran、鬼木知、豆子。知乎获赞总数前五名有两位都是作家(张佳玮和唐缺),看来作家在知乎回答问题获赞方面还是很吃香,果然表达能力是观点获得认可的一个重要支撑 。

知乎关注者最多的100位大V

下图词云的字越大,表示关注者越多,看看有没有你熟悉的大V 呢?:

技术分享图片

 

同样我们配合着一张直方图来看:

技术分享图片

 

技术分享图片

 

技术分享图片

 

具体的排名为:

技术分享图片

 

知乎回答问题数最多的10位大V从大到小依次为:vczh、李东、赵钢、另一只袜子、四海之内、M3小蘑菇、kun yu、白猫转转风、yskin、肛里拉出个电锯。微软的工作貌似很闲,看轮子哥(vczh)整天刷知乎……

我们再来加上这几位用户在知乎的获得的赞数,看看“回答问题的数量”和“获得的赞数”之间有没有什么联系:

技术分享图片

 

技术分享图片

 

技术分享图片

 

再来看看他们最多参加过多少场 live:

技术分享图片

 

最多的那个大V竟然参加过 1600+ 场 live,真的很有精力和金钱,哈哈。

技术分享图片

 进群:125240963

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

标签:class   爬虫   电子   参考   没有   比例   main   工程   观察   

原文地址:https://www.cnblogs.com/py1357/p/9161671.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!