码迷,mamicode.com
首页 > Web开发 > 详细

使用JRegex抽取网页信息

时间:2016-04-30 23:50:52      阅读:480      评论:0      收藏:0      [点我收藏+]

标签:

当网络爬虫将网页下载到磁盘上以后,需要对这些网页中的内容进行抽取,为索引做准备。一个网页中的数据大部分是HTML标签,索引肯定不会去索引这些标签。也就是说,这种信息是没有用处的信息,需要在抽取过程中过滤掉。另外,一个网页中一般会存在广告信息、锚文本信息,还有一些我们不感兴趣的信息,都被视为垃圾信息,如果不加考虑这些内容,抽取出来的信息不仅占用存储空间,而且在索引以后,为终端用户提供检索服务,用户检会索到很多无用的垃圾信息,势必影响用户的体验。
这里,针对论坛,采用配置模板的方式来实现信息的抽取。使用的工具可以到http://jregex.sourceforge.net上下载,JRegex是一个基于Java的正则库,可以通过在正则模板中指定待抽取信息的变量,在抽取过程中会将抽取到的信息赋给该变量,从而得到感兴趣的信息。而且,JRegex库支持多级分组匹配。
为了直观,假设,有一个论坛的一个网页的源代码形如:

<a id="anchor">标题</a>
<cont>
     <author>a1</author>
     <time>2009</time>
     <post>p1</post>
     <author>a2</author>
     <time>2008</time>
     <post>p2</post>
     <author>a3</author>
     <time>2007</time>
     <post>p3</post>
     <author>a4</author>
     <time>2006</time>
     <post>p4</post>
     <author>2005</author>
     <time>t5</time>
     <post>p5</post>
</cont>

 将该网页代码文件保存为bbsPage.txt文件,准备进行处理。
现在,我们的目标是抽取标题、作者、时间、内容这些内容,当然,标题完全可以从TITLE标签中获得,但是一般网站的一个网页,会在标题文本的后面加上一些目录或者网站名称的信息,例如一个标题为“品味北京奥运中心_奥运加油站_我行我摄_XXX社区_XXX社区是最活跃的社区之一”,一些垃圾信息占了标题的大部分,所以我们不从TITLE标签中抽取标题。
接着,针对上面的网页文件创建信息抽取的正则模板,如下所示:

(?s)<a\sid="anchor">({title}.{1,100}?)\s*(.{1,10240}?)({name}.{1,100}?)\s*<time>({when}.{1,100}?)</time>\s*({content}.{1,100}?)

 第一部分为(?s)<a\sid=”anchor”>({title}.{1,100}?)\s*(.{1,10240}?),包含两个组,第一个组名称为title,直接能够抽取到网页的标题文本,并存储到变量title中;而第二个组没有指定组的名称,表示在后面还存在子组,在子组中继续进行抽取。
第二部分为({name}.{1,100}?)\s*({when}.{1,100}?)\s* ({content}.{1,100}?),恰好是父组中未指定组名称的第二个组内中的一个循环。
上面两个模板之间使用一个空格字符隔开,保存到pattern.txt文件中。
可能,你已经观察到了,网页的标题只有一个,而对其他的信息正好能够构成一个循环组,单独从父组中分离出来继续进行抽取,结构很整齐。所以,在使用JRegex库进行编码抽取的时候,主要就是针对两个组进行的。
我基于上面思想和数据,实现了信息的抽取。
首先定义了一个键值对实体类,使用泛型,如下所示:

package org.shirdrn.test;

public class Pair<K, V> {

     private K key;
     private V value;

     public Pair(K key, V value) {
          this.key = key;
          this.value = value;
     }

     public K getKey() {
          return key;
     }

     public void setKey(K key) {
          this.key = key;
     }

     public V getValue() {
          return value;
     }

     public void setValue(V value) {
          this.value = value;
     }

}

 进行信息抽取的核心类为InfomationExtraction,如下所示:

package org.shirdrn.test;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import jregex.Matcher;
import jregex.Pattern;

public class InfomationExtraction {

     private String htmlString;
     private String patternString;
     private List<Pair<String, String>> dataList = new ArrayList<Pair<String, String>>();

     public InfomationExtraction() {

     }

     public InfomationExtraction(String htmlFileName, String patternFileName) {
          this.htmlString = this.readString(htmlFileName);
          this.patternString = this.readString(patternFileName);
     }

     public Pattern[] getPatternArray() {
          Pattern[] pa = new Pattern[2];
          String[] psa = this.patternString.split(" ");
          for (int i = 0; i < psa.length; i++) {
               Pattern p = new Pattern(psa[i]);
               pa[i] = p;
          }
          return pa;
     }

     public void extract(Integer sgIndex) { // 指定父组中第sgIndex个组需要在子组中继续进行抽取
          Pattern[] pa = this.getPatternArray();
          Pattern pBase = pa[0];
          Matcher mBase = pBase.matcher(this.htmlString);
          if (mBase.find()) {
               for (int i = 0; i < mBase.groupCount(); i++) {
                    String gn = pBase.groupName(i);
                    if (gn != null) {
                         String gv = mBase.group(i);
                         this.dataList.add(new Pair<String, String>(gn, gv));
                    }
               }
               String subText = mBase.group(sgIndex);
               if (subText != null) {
                    this.dataList.addAll(this.getSubGroupDataList(pa, subText)); // 调用使用子组正则模板进行抽取的方法
               }
          }
     }

     public List<Pair<String, String>> getSubGroupDataList(Pattern[] pa, String subText) { // 使用子组正则模板进行抽取
          List<Pair<String, String>> list = new ArrayList<Pair<String, String>>();
          for (int i = 1; i < pa.length; i++) {
               Pattern subp = pa[i];
               Matcher subm = subp.matcher(subText);
               while (subm.find()) {
                    for (int k = 0; k < subm.groupCount(); k++) {
                         String gn = subp.groupName(k);
                         if (gn != null) {
                              String gv = subm.group(k);
                              list.add(new Pair<String, String>(gn, gv));
                         }
                    }
               }
          }
          return list;
     }

     public String readString(String fileName) {
          InputStream in = this.getClass().getResourceAsStream("/" + fileName);
          BufferedReader reader = new BufferedReader(new InputStreamReader(in));
          StringBuffer sb = new StringBuffer();
          String line = null;
          try {
               while ((line = reader.readLine()) != null) {
                    sb.append(line);
               }
          } catch (IOException e) {
               e.printStackTrace();
          }
          return sb.toString();
     }

     public List<Pair<String, String>> getDataList() {
          return this.dataList;
     }

     public static void main(String[] args) {
          InfomationExtraction ie = new InfomationExtraction("bbsPage.txt", "pattern.txt");
          ie.extract(2);
          for (Pair<String, String> p : ie.getDataList()) {
               System.out.println("[" + p.getKey() + " " + p.getValue() + "]");
          }
     }
}

 测试一下,如下所示:

[title 标题]
[name a1]
[when 2009]
[content p1]
[name a2]
[when 2008]
[content p2]
[name a3]
[when 2007]
[content p3]
[name a4]
[when 2006]
[content p4]
[name 2005]
[when t5]
[content p5]

 至于如何组织抽取到的信息,比如你可能使用Lucene的索引,需要构造Field和Document,那么你就要设计一个实体能够包含一个Document的所有的Field,比如一个Document包括:URL、标题、作者、发表时间、发表内容这五个项,非常容易就能做到。
使用JRegex库,可以非常灵活地配置模板,尤其是对多个组的设计,这要根据你的需要来考虑。

原文声明如下:本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名时延军(包含链接:http://shiyanjun.cn),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请与我联系。

 

使用JRegex抽取网页信息

标签:

原文地址:http://www.cnblogs.com/itxiaoyan2013/p/5449723.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!