1 from bs4 import BeautifulSoup 2 import requests,urllib.request,urllib.parse 3 import json 4 import time 5 import os 6 headers = {'User-Agent':'Mozil... ...
分类：
编程语言 时间：
2017-02-10 11:37:09
阅读次数：
220
最近想爬取新浪微博的评论，百度了一下，有个新浪开放平台提供了这个API 于是按照它的说明，去获取Access_token： 1、点击微链接 2、立即创建微链接 3、选择网页应用 4、填写信息后提交 5、应用创建完后可以在“我的应用”中查看信息 6、在“应用信息”--“高级信息”中可以设置网站的授权回 ...
分类：
数据库 时间：
2016-11-20 00:05:37
阅读次数：
243
本来是想用cookielib模块获取cookie的，但是只获取到了第一个分号的内容，就直接找在F12里面找到cookie,试了下效果，发现就是cookie问题就直接先把代码写出来！ 要注意的地方： 1、首先就是cookie了，最好能够自动获取，我看我今天可不可以完成这个任务； 2、然后就是user- ...
分类：
移动开发 时间：
2016-05-11 13:29:47
阅读次数：
232
这篇文章主要讲述了使用python+selenium爬取新浪微博的热点话题和评论信息。其中使用该爬虫的缺点是效率极低，傻瓜式的爬虫，不能并行执行等，但是它的优点是采用分析DOM树结构分析网页源码并进行信息爬取，同时它可以通过浏览器进行爬取中间过程的演示及验证码的输入。这篇文章对爬虫的详细过程就不再论述了，主要是提供可运行的代码和运行截图即可。希望文章对你有所帮助吧~...
分类：
移动开发 时间：
2016-05-06 09:31:23
阅读次数：
1034
全文概述功能：爬取新浪微博的搜索结果,支持高级搜索中对搜索时间的限定
网址：http://s.weibo.com/
实现：采取selenium测试工具，模拟微博登录，结合PhantomJS/Firefox，分析DOM节点后，采用Xpath对节点信息进行获取，实现重要信息的抓取，并存储至Excel中。
获取的微博信息包括：博主昵称, 博主主页, 微博认证, 微博达人, 微博内容, 发布时间, 微...
分类：
其他好文 时间：
2016-05-03 18:44:01
阅读次数：
400
前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间。
而这篇文章主要爬取客户端的微博信息，相对信息更多；同时登录微博后在输入框中搜索热点话题，然后依次爬取微博信息和对应的评论，同时遇到了评论动态加载的爬取问题。...
分类：
编程语言 时间：
2016-04-29 19:01:12
阅读次数：
293
前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间。
而这篇文章主要爬取客户端的微博信息，相对信息更多；同时登录微博后在输入框中搜索热点话题，然后依次爬取微博信息和对应的评论，同时遇到了评论动态加载的爬取问题。...
分类：
编程语言 时间：
2016-04-24 08:42:56
阅读次数：
997
用WebCollector 2.x 配合另一个项目WeiboHelper，就可以直接爬取新浪微博的数据（无需手动获取cookie）...
分类：
Web程序 时间：
2015-01-02 23:44:58
阅读次数：
390
用WebCollector可以轻松爬取新浪微博的数据.
首先需要一个能查看cookie的浏览器插件,推荐使用 firefox浏览器+firebug(插件).
具体步骤:
1.用浏览器打开 http://weibo.cn/pub/ 这是新浪微博面对手机用户的一个入口.建议不要使用自己的账号来做爬虫.之所以选择weibo.cn来爬去,是因为这个手机版的限制较少,但是weibo.cn的账号密码...
分类：
Web程序 时间：
2014-09-01 19:39:03
阅读次数：
345
前段时间开始学习Python，一直想不到有什么好的小项目可以做，憋得慌，这不，
绞尽脑汁想出了一个爬取新浪微博，并对爬取数据做简单统计的项目。一开始我自以为学习了点Python正则就可以搞定了，熟料在机器登陆上栽了跟头，从完全一头雾水到现在初步登陆获取到数据，整整历经了四五天。因为之前没搞过机器.....
分类：
编程语言 时间：
2014-05-26 01:34:32
阅读次数：
358
