爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。大概知道什么是爬虫了吧，那就带你看看它的好玩之处。 Requests 在带进爬虫的世界中 ...
分类：
其他好文 时间：
2016-09-02 21:50:02
阅读次数：
161
package com.bjsxt.ly; import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import ja ...
分类：
数据库 时间：
2016-09-01 22:44:04
阅读次数：
170
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用 ...
分类：
编程语言 时间：
2016-09-01 01:59:36
阅读次数：
303
这是小白学习笔记....大神勿喷。 本次学习糗事百科的网络爬虫。 http://blog.csdn.net/pleasecallmewhy/article/details/8932310 因为那个糗事百科网页改版了，content类中已经没有title...所以源码也有所改动。 所以找到一个改进版的 ...
分类：
编程语言 时间：
2016-08-26 19:44:32
阅读次数：
260
目录分析要获取的数据
程序的结构
构建封装数据的model
模拟登陆程序并解析数据
结果展示分析要获取的数据下面继续实战，写一个模拟登陆获取汽车之家，用户信息的程序。如果大家对模拟登陆获取数据不太了解...
分类：
其他好文 时间：
2016-08-25 21:50:56
阅读次数：
504
博客首发至Marcovaldo’s blog (http://marcovaldong.github.io/)最近学习了一点网络爬虫，并实现了使用python来爬取知乎的一些功能，这里做一个小的总结。...
分类：
编程语言 时间：
2016-08-25 21:43:48
阅读次数：
188
/*
利用wget指令和队列模拟实现网络爬虫
利用自己的站点wzsts.host3v.com测试了一下
有一点错误
文件运行后拿到index.html
对于连接仅仅可以拿到html和htm结尾的而.com的没有考虑（设计文件可能多）
一次测试后了解到如下问题：
1.文件应该有树形话还原网站目录
2.文本记录的连..
分类：
其他好文 时间：
2016-08-22 00:45:01
阅读次数：
178
/*
利用wget指令和队列模拟实现网络爬虫
利用自己的站点wzsts.host3v.com测试了一下
有一点错误
文件运行后拿到index.html
对于连接仅仅可以拿到html和htm结尾的而.com的没有考虑（设计文件可能多）
一次测试后了解到如下问题：
1.文件应该有树形话还原网站目录
2.文本记录的连..
分类：
其他好文 时间：
2016-08-22 00:44:31
阅读次数：
178
/*
利用wget指令和队列模拟实现网络爬虫
利用自己的站点wzsts.host3v.com测试了一下
有一点错误
文件运行后拿到index.html
对于连接仅仅可以拿到html和htm结尾的而.com的没有考虑（设计文件可能多）
一次测试后了解到如下问题：
1.文件应该有树形话还原网站目录
2.文本记录的连..
分类：
其他好文 时间：
2016-08-22 00:43:12
阅读次数：
303
