第 0008 题：一个HTML文件，找出里面的正文。思路：我把这里的正文理解为网页中我主要内容，那么怎么去抓取这个主要内容呢？我一开始的想法是用beautifulsoup来解析网页，但是又想到如果要抽取正文的话这样做还涉及到比较复杂的算法，而且对于不同的网页来说效果可能做不到很好。后来我发现了Python-goose（Github）这个神器，它是基于NLTK和Beautiful Soup的，分别是文...
分类：
编程语言 时间：
2015-05-07 12:37:09
阅读次数：
757
网页内容的解析可以说是爬虫最主要和最核心的工作，从一堆看似杂乱的代码中获取我们需要的信息，这就是爬虫的本质。python对于网页解析提供了很多的方式，传统的即通过urllib2包获取网页代码，再通过re正则表达式模块自己写规则来获取信息。第三方的包也有，类似pyquery、lxml、Beautifu...
分类：
其他好文 时间：
2015-02-15 18:03:18
阅读次数：
270
jsoup是一个解析网页源码的开源库，他能按照给定的规则提取出一个网页中的任意元素，和其他网页解析库不同的是，他提取网页内容的方式和css、jquery的选择器非常相似。因此如果你懂得前端的知识，只需根据以下的代码样例就可以在3分钟之内学会jsoup的用法：12345Documentdoc=Jsou...
分类：
Web程序 时间：
2015-01-31 14:28:44
阅读次数：
274
phantomjs介绍-(js网页截屏、javascript网页解析渲染工具)phantomjs是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，这样访问网页就省去了浏览器的界面绘制所消耗的系统资源，比较适合用于网络测试等应用 。利用这个工具，我们可以轻松的搭建一个接口用于获取...
分类：
编程语言 时间：
2015-01-22 23:17:11
阅读次数：
298
public static void main(String[] args) throws IOException { //System.out.println("Hello World!"); /** * 获取 */ Fil...
分类：
Web程序 时间：
2014-12-21 23:32:41
阅读次数：
232
爬虫简介：
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。
爬虫内核：
WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。
量级：
...
分类：
编程语言 时间：
2014-12-03 23:35:39
阅读次数：
609
续上篇文章，网页抓取到手之后就是解析网页了。在Python中解析网页的库不少，我最开始使用的是BeautifulSoup，貌似这个也是Python中最知名的HTML解析库。它主要的特点就是容错性很好，能很好地处理实际生活中各种乱七八糟的网页，而且它的API也相当灵活而且丰富。但是我在自己的正文提取项...
分类：
编程语言 时间：
2014-11-15 17:00:12
阅读次数：
277
这里介绍两种方式：将html加载未dom树，计算文字连接比将html作为文本，计算出行块分布性能比较：1000个网页： 行块分布函数：29秒 dom数文字连接比：66秒分析：加载为dom树会很费时间。
分类：
编程语言 时间：
2014-11-04 12:55:41
阅读次数：
183
在写爬虫的过程中，最麻烦的就是写正则表达式，还要一个一个的尝试，一次次的调试，很是费时间。于是我就写了一个网页版的，只需要输入要爬的网址，和正则式，网页上就可以显示爬到的数据。
思路：其实很简单，将网址和正则式传到服务器，服务器解析之后，将结果返回到前端。我用的是bootcss(前端)+bottle(后台用python处理)，代码很简单，就是过程有些复杂。由于传递的参数是一个网址，而后台判断参数...
分类：
Web程序 时间：
2014-10-29 10:55:52
阅读次数：
239
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。教程介绍了如何用WebCollector打造一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）...
分类：
编程语言 时间：
2014-07-27 11:50:23
阅读次数：
424
