import java.io.File;import
java.io.FileOutputStream;import java.io.InputStream;import
java.io.OutputStream;import java.net.HttpURLConnection;import ja...
分类：
编程语言 时间：
2014-07-22 23:16:33
阅读次数：
616
帮朋友抓取微信公众平台的用户评论信息。只说核心的部分，怎么解析评论信息。
查看HTML代码，没有发现关于评论部分的标签。看了是用JS动态生成的，但是查找ajax请求也没有找到。最后搜索一下，原来是在这里：
wx.cgiData = {
total_count : 91,
latest_msg_id : '200325222...
分类：
微信 时间：
2014-07-22 22:59:35
阅读次数：
4934
方法一：wireshark是无法抓取到数据包的，需要通过设置才可以。 具体方法如下：
①：以管理员身份运行cmd ②：route add 本机ip mask 255.255.255.255 网关ip
还需要设置路由器（不知道咋设置，知道的仁兄能否告之一下）才能利用wireshark抓本地包。方法.....
讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
是不是有人相抓取网页上面的内容，放到别的网站上面。下面我给大家介绍一种最常用的方法：
用HtmlAgilityPack 组件。 public String GetHtml()
{
string url = "http://t.news.fx168.com/";
HttpWebRequest request = HttpWebRequ...
分类：
Web程序 时间：
2014-05-04 00:16:12
阅读次数：
368
BeautifulSoup 善于网页数据分析 ，但是 python for android : BeautifulSoup 有 bug ，
text = h4.a.text 只能取得 None，所以我写了function: getText()
来fix this bug.
例如: 抓取CSDN极客头条内容 soup.py
import urllib2, re
from Beau...
分类：
移动开发 时间：
2014-05-03 17:33:08
阅读次数：
427
抓取#!/bin/bash. push.sh# 错误处理:尝试查找备份文件function
onError(){ local errFile="err" local serverInfo=($1 $2 $3) # ip username
password l...
分类：
其他好文 时间：
2014-04-30 16:23:25
阅读次数：
449
网页抓取和ftp访问是目前很常见的一个应用需要，无论是搜索引擎的爬虫，分析程序，资源获取程序，WebService等等都是需
要的，自己开发抓取库当然是最好了，不过开发需要时间和周期，使用现有的Open
source程序是个更好的选择，一来别人已经写的很好了，就近考验，二来自己使用起来非常快速，三来...
分类：
其他好文 时间：
2014-04-29 16:45:47
阅读次数：
749
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
using namespace std;
void func()
{
string url;
cout << "输...
分类：
Web程序 时间：
2014-04-29 13:21:20
阅读次数：
506
