1、利用selenium的webdriver驱动浏览器。（可以获取浏览器cookie）2、selenium之WebDriver。3、Selenium+Phantomjs数据抓取环境配置。***walker*2-14-12-26***
分类：
其他好文 时间：
2014-12-26 11:21:04
阅读次数：
115
首先从标题说起，为啥说抓取网站数据不再难（其实抓取网站数据有一定难度），SO EASY！！！使用Fizzler全搞定，我相信大多数人或公司应该都有抓取别人网站数据的经历，比如说我们博客园每次发表完文章都会被其他网站给抓取去了，不信你们看看就知道了。还有人抓取别人网站上的邮箱、电话号码、QQ等等有用信息，这些信息抓取下来肯定可以卖钱或者干其他事情，我们每天都会时不时接到垃圾短信或邮件，可能就这么回事...
分类：
Web程序 时间：
2014-12-20 11:47:32
阅读次数：
368
前言最近做了不少有关SEO的相关工作，以前是自己写爬虫去抓取其他网页，现在写网页让爬虫去抓，感觉这种角色调换还是挺奇妙的。经过这段时间的工作发现我写爬虫的为了获取特定信息，但是搜索引擎爬虫是为了获取互联网上的信息，这种目标性的不一样导致其数据抓取的机制和权重设..
分类：
Web程序 时间：
2014-12-11 19:21:06
阅读次数：
164
1，开源图表系统grafanagrafana提供的监控列表效果非常的漂亮。直接部署在nginx上面就行，使用node.js 实现的数据抓取。http://grafana.org/demo页面：http://play.grafana.org/这个报表展示可以跑在 Graphite, InfluxDB & OpenTSDB. 监控的数据库上面。其中InfluxDB 是用golang编写的比感兴趣。2，...
分类：
数据库 时间：
2014-11-23 23:18:48
阅读次数：
1499
已有平台：CSDN博客、51CTO、博客园、WordPress不同平台的博客，数据解析方式不一样，数据抓取和存储都是类似的。1.确定博客首页地址 a.平台地址 比如，CSDN的博客地址是 http://blog.csdn.net/ b.账号 fansunion CSDN某个用户的地址是：http://blog.csdn.net/FansUnion2. 从首页获得关键信息 2.1...
分类：
编程语言 时间：
2014-11-14 17:45:26
阅读次数：
280
前面2篇把大致的开发说的差不多了，接下来说说粉丝动态消息列表或时间线数据的抓取与解析显示，我将他全部写在了一个
类里，并以封装类对象的形式存储数据，下面看看主要的服务代码：
粉丝动态消息列表数据抓取：
package com.neweriweibo.service;
/**
* 用户消息列表
* @author Engineer-Jsp
* @date 2014.10.29
...
分类：
移动开发 时间：
2014-11-04 09:23:06
阅读次数：
258
//使用方法
$url = 'http://www.xiaodoubi.com';
$data = file_get_contents($url);
$get_c_str = new get_c_str;
$content = $get_c_str -> get_str($data,'','...
分类：
Web程序 时间：
2014-10-29 21:24:00
阅读次数：
203
cURL通常是指使用URL语法进行数据传递的命令行工具和库，本文所介绍的是其PHP拓展最基本的使用。 cURL主要用来进行数据抓取，当然，还有更多强大的功能，一些复杂的操作，例如处理Cookie、表单数据提交等实现起来...
分类：
Web程序 时间：
2014-10-18 12:45:35
阅读次数：
314
计算机的内存中存储的是二进制的序列。我们能够直接将某个对象所相应位置的数据抓取下来，转换成文本流 (这个过程叫做serialize)，然后将文本流存入到文件里。因为Python在创建对象时，要參考对象的类定义，所以当我们从文本中读取对象时，必须在手边要有该对象的类定义，才干懂得怎样去重建这一对象。从...
分类：
编程语言 时间：
2014-10-16 21:07:13
阅读次数：
167
这个不错。正好入门学习使用。 1、其中用到 feedparser：技巧：使用 Universal Feed Parser 驾驭 RSShttp://www.ibm.com/developerworks/cn/xml/x-tipufp.html 请访问 feedparser.org，详细了解 Univ...
分类：
编程语言 时间：
2014-10-16 10:48:02
阅读次数：
209
