码迷,mamicode.com
首页 > 其他好文 > 详细

新浪微博评论抓取

时间:2014-05-26 01:02:40      阅读:304      评论:0      收藏:0      [点我收藏+]

标签:style   blog   c   http   a   width   

1、现在在任何浏览器中 打开微博登录

2、按F12或者在页面右键选着”审查元素” 找到Network 选项

 bubuko.com,布布扣

3、然后刷新下 下页面

4、然后你会看到。哦买噶。。。我滴个神 这啥玩意。。。。

 

 bubuko.com,布布扣

5、点击下这个home?wvr=5

 

6、这玩意就是我们要的东西(放心我盗不了你的号,这个加密用了md5的算法破不了。。。。。)赋值这个额cookie注意“cookie:”这个就不要了。。。。。。。复制后面的值就可以了(记得要点红色的按钮啊。。。。)

 bubuko.com,布布扣

废话了那么多总之:就是为了获取cookie

 bubuko.com,布布扣

7、选这一条评论小于500的微博URL,去看看他们在说些神马!!!!现在我只能帮你到这了

8、哥姐,剥个橘子,他就会爬完了。。。。。

 bubuko.com,布布扣

9、是不是评论都出来的了。。。。

10、打开你刚刚启动程序的目录看看看是不是多了一个data.txt文件

 bubuko.com,布布扣

11、右键他。。。。。。以excel方式打开

 

 

注意: 1、这个目前还在完善中千万不能盲目的瞎用啊,小心浪人封你号的。

                   2、如果有错麻烦截个图发给我啊。。

                   3、如果你更好的建议也可以随时m我。。。

                   4、这个在抓取精度上还不能保证完全的百分百我简单的分析了有儿

                            4.1、新浪把有些敏感评论给删除(或别人看不到)

                            4.2、程序处理异常导致没有收录

        QQ:865252662         e-mail:gametheworld@126.com

 

后期优化:

1、  抓取失败的链接重新在走一遍

2、  能另存为

3、  把分词加上

 

 链接:http://url.cn/NQnsGp (密码:Rf0a)

 

新浪微博评论抓取,布布扣,bubuko.com

新浪微博评论抓取

标签:style   blog   c   http   a   width   

原文地址:http://www.cnblogs.com/nimeide/p/3749917.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!