爬取微博用户数据

前言

微博数据基本上可以说是社交圈里面最大的了。但是单纯的使用urllib，是不足以获取数据的。

今天来使用Cookie的方式绕开微博权限验证这一关卡， 爬取一下数据。

查找的过程

打开Chrome 的F12之后，刷新页面，真的是眼花缭乱的数据流啊，飞流直下。找了好久，发现大部分数据都是通过JavaScript脚本渲染到页面上的。

这也就是为什么单纯的使用urllib抓不到的原因了。因为这是动态页面，而Urllib则是抓取静态页面。明白了这一点，就找到了方向了。

那就是找到数据源接口。后来经过我的仔细审核，发现了类似于这样的一个URL。

http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=103505&is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=2&pagebar=0&pl_name=Pl_Official_MyProfileFeed__23&id=1035051198367585&script_uri=/kqdpku&feed_type=0&pre_page=2&domain_op=103505&__rnd=1495367966928

• 1

然后发现服务器端返回的数据内容是JSON格式的。大致内容如下；

然后这姑且算是找到一个人的数据了吧。那么问题接着来了，如果我想看其他人的页面怎么办呢？

思路有如下两个：

• 一是按照刚才的方法，一个个的去查找。（费时费力，不赞同）
• 二是走捷径，对比URL，我们会发现一个domain的参数，而对应的值就是目标博主的ID。
  比如我要看刘强东的主页，http://weibo.com/p/1003061866402485/home?from=page_100306&mod=TAB&is_hot=1#place
  里面的from参数的page值后面的数据就是我们需要的domain值了。拿过来就可以直接使用。

核心

经过了刚才的各种铺垫，下面直接上代码。体验一把吧。

# coding: utf8

# @Author: 郭 璞
# @File: login.py                                                                 
# @Time: 2017/5/21                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 新浪微博登录测试

import requests
import json
from bs4 import BeautifulSoup
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36‘,
    ‘Host‘: ‘weibo.com‘
}

Cookies = {
    "Cookie": "SCF=Asl3BNSxfmhmaP2cIVfnvOp-mmfHwOPYfdoMZIz6y4WtkH4xK0jdB0Hr0Tll4RzJ0xUHIi5HOLBAjEASrqSGDiQ.; SUB=_2A250JQA2DeThGeNI41UX8ifJyziIHXVXU3b-rDV8PUNbmtBeLWbGkW9yh-AUBKZFFYCHZ2zA0zH1I-l4dg..; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5yNOfs44nTEDRpARDUs7Yl5JpX5K2hUgL.Fo-c1hMceo.fehB2dJLoIcBLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qLxK-LBo5L12qpi--fi-z7iKysi--fi-z7iKysi--Ni-z0i-8si--Ni-zpi-z0i--fiKLFi-2Ei--fi-82iK.7; SUHB=0HTxO_F0SbtSsP; ALF=1526899685; SSOLoginState=1495363686; YF-V5-G0=8d4d030c65d0ecae1543b50b93b47f0c; _s_tentry=my.sina.com.cn; Apache=9206065364153.127.1495363942807; SINAGLOBAL=9206065364153.127.1495363942807; ULV=1495363942825:1:1:1:9206065364153.127.1495363942807:; YF-Page-G0=fc0a6021b784ae1aaff2d0aa4c9d1f17; YF-Ugrow-G0=ea90f703b7694b74b62d38420b5273df; wvr=6; wb_publish_fist100_5687629504=1; UOR=blog.csdn.net,widget.weibo.com,www.sina.com.cn"
}


# 刘强东
url = ‘http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=103505&is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=2&pagebar=0&pl_name=Pl_Official_MyProfileFeed__23&id=1035051198367585&script_uri=/kqdpku&feed_type=0&pre_page=1&domain_op=100306&__rnd=1495367966928‘
response = requests.get(url=url, headers=headers, cookies=Cookies)

data = json.loads(response.text)

result = data[‘data‘]

soup = BeautifulSoup(result, ‘html.parser‘)

blogs = soup.find_all(‘div‘, {‘class‘: ‘WB_detail‘})
for blog in blogs[0:8]:
    print("微博发文：", blog.find_all(‘div‘)[2].get_text())
    # 为了减少控制台内容输出，这里注释掉即可
    # print("配图：", blog.find_all(‘div‘, {‘class‘: ‘media_box‘}))
    print(‘=======‘*36)

# WB_innerwrap

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41

运行结果如何呢？

C:\Users\biao\Desktop\network\env\Scripts\python.exe C:/Users/biao/Desktop/network/code/sina/login.py
微博发文： 
                                                                                                    骗人，南通没有普洱！//@普洱玫瑰汤:啊哈，我也是南通人呢。                                            
===========================================================
微博发文： 
                                                                                                    回复@流氓无产者刘爷:即使那样死了，无耻的看客们还要说不过瘾哩。//@流氓无产者刘爷:不仅不应该收费，还应该累死饿死是不？还应该绑着炸弹跟恐怖分子对炸去是不？还应该拎着菜刀跟汉奸对砍去是不？说话之前掂量掂量自己，考虑考虑别人不行么？                                            
===========================================================
微博发文： 
                                                                                                    给队里多买点。                                            
===========================================================
微博发文： 
                                                                                                    聪明。//@遇见那兵荒马乱:还是那天红场阅兵那天您阅的未名湖吗？                                            
===========================================================
微博发文： 
                                                                                                    你这眼神啊！//@鐵匠--孫:上面怎么还有肉渣渣，还是馋嘴                                            
===========================================================
微博发文： 
                                                                                                    这哥俩才超过五百。                                            
===========================================================
微博发文： 
                                                                                                    顺也是一种孝，但不可机械教条。//@夜半有人私语时:以前只知道“以顺行孝”，原来也可以“以谏行孝”。谢谢孔老师。                                            
===========================================================
微博发文： 
                                                                                                    美梦与歹命。我回答了 @NEW七七 的问题，问题价值￥433.00，大家快来花1元围观~ O微博问答 ????                                            
===========================================================
Process finished with exit code 0

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27

如此，微博数据也能搞到手了。

总结

使用Cookie绕开登录选项，确实是一个比较好的捷径。但是由于时效的问题，治标不治本。

从上面的结果也可以看出，这里简单的打印出了前几条数据内容。也算是抛砖引玉了。而且对比网页源码之后，我发现了更多好玩的数据源。图片，短视频，都会是很好的素材。

然后对XX进行文本分析，做成词云啊，或者做一下社交网络分析啊等等。

今天其实真的是太闲了，所以才搞了一下微博数据的爬取。文章内容，排版都挺失败的。(⊙﹏⊙)b