本节中，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图，抓取完成之后，将每组图片分文件夹下载到本地并保存下来。 1. 准备工作 在本节开始之前，请确保已经安装好requests库。 2.实战演练 首先，实现方法get_page()来加载单个Aj ...
分类：
Web程序 时间：
2018-03-14 10:12:41
阅读次数：
418
约30行代码实现一个简单nodejs爬虫工具，定时抓取网页数据。 使用npm模块 request 简单http请求客户端。（轻量级） fs nodejs文件模块。 index.js var request = require('request'); var fs = require("fs"); v ...
分类：
Web程序 时间：
2018-03-11 17:50:06
阅读次数：
228
网络爬虫：就是抓取网页数据的程序。 网页三大特征： 1. 网页都有自己的URL（统一资源定位符）来进行定位，每个网页都有一个唯一的URL2. 网页都用HTML（超文本标记语言）来描述页面信息。3. 网页都用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。 爬虫的设计思路： 1. 首先设 ...
分类：
其他好文 时间：
2018-02-13 22:53:48
阅读次数：
248
转载请注明出处！ 原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006 有时候由于种种原因，我们需要采集某个网站的数据，但由于不同网站对数据的显示方式略有不同！ 本文就用Java给大家演示如何抓取网站的数据：（1）抓取原网页数据； ...
分类：
编程语言 时间：
2017-12-31 10:58:56
阅读次数：
154
在很多行业中，要对行业数据进行分类汇总，及时分析行业数据，对于公司未来的发展，有很好的参照和横向对比。所以，在实际工作，我们可能要遇到数据采集这个概念，数据采集的最终目的就是要获得数据，提取有用的数据进行数据提取和数据分类汇总。 很多人在第一次了解数据采集的时候，可能无从下手，尤其是作为一个新手，更 ...
分类：
编程语言 时间：
2017-12-31 10:57:34
阅读次数：
151
原文地址https://www.cnblogs.com/xiaoMzjm/p/3894805.html 【本文介绍】 爬取别人网页上的内容，听上似乎很有趣的样子，只要几步，就可以获取到力所不能及的东西，例如呢？例如天气预报，总不能自己拿着仪器去测吧！当然，要获取天气预报还是用webService好。 ...
分类：
编程语言 时间：
2017-12-31 10:51:22
阅读次数：
180
Octoparse是国内盛行的数据采集器八爪鱼的小弟
无需编码，简单易懂的数据采集器，还能采集到国外被ban网站的数据。
分类：
Web程序 时间：
2017-11-21 19:04:19
阅读次数：
2921
1.概述 有时，我们需要浏览器处理网页，但并不需要浏览，比如生成网页的截图、抓取网页数据等操作。PhantomJS的功能，就是提供一个浏览器环境的命令行接口，你可以把它看作一个“虚拟浏览器”，除了不能浏览，其他与正常浏览器一样。它的内核是WebKit引擎，不提供图形界面，只能在命令行下使用，我们可以 ...
分类：
Web程序 时间：
2017-11-20 01:18:18
阅读次数：
263
记录一次快速实现的python爬虫，想要抓取中财网数据引擎的新三板板块下面所有股票的公司档案，网址为http://data.cfi.cn/data_ndkA0A1934A1935A1986A1995.html。 比较简单的网站不同的页码的链接也不同，可以通过观察链接的变化找出规律，然后生成全部页码对 ...
分类：
Web程序 时间：
2017-10-30 17:07:36
阅读次数：
256
java项目有时候我们需要别人网页上的数据，怎么办？我们可以借助第三方架包jsou来实现，jsoup的中文文档，那怎么具体的实现呢？那就跟我一步一步来吧 最先肯定是要准备好这个第三方架包啦，下载地址，得到这个jar后在需要怎么做呢？别急，我们慢慢来 将jsoup.jar拷贝到项目的WebRoot—> ...
分类：
Web程序 时间：
2017-10-13 19:04:01
阅读次数：
203
