码迷,mamicode.com
首页 > 其他好文 > 详细

Perl:分析页面,提取下载链接和文件对应的名称。

时间:2014-09-14 20:42:17      阅读:154      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   使用   ar   for   文件   div   

系统:Windows

语言:Perl

工具:Notepad++/cmd

目前要用PERL来分析一下页面。然后组群下载文件然后更名。

首先,rar文件连接在二级文件里。rar文件的名称是数字,其对应的中文名称在一级页面上对应二级页面的连接。我看了Perl的Cookbook,里面建议用模块。但是我打算用正则表达式自己写一个脚本。这里只用了简单的LWP::Simple模块。

技术:这里使用了正则表达式的$1,$2...来提取一行中需要的段。(需要注意的是:$1,$2...的命名空间只是它们上一个带有()的正则表达式。最近一个带有()的正则表达式已经失效了。除非即时赋值给变量。)

#t.pl
# to split out index url and rar page.
use warnings;
use LWP::Simple;

sub getDownloadPage {

my @lines=split("\n", $_[0]);
my $line1="";
    foreach my $line(@lines) {

        if ($line=~/<li class="itm">[^<]*<span> *[0-9]{4}-[0-9]{2}-[0-9]{2} *<\/span>[^<]*<a href="([^"> ]*)" *>([^<]*)</) {
            print $1," ",$2,"\n";
        }
    }
}

my @indexes;
unshift @indexes, "http://www.yingyu.com/stxz/chuzhong/zhongkao/";
# get index page.
my $content=get($indexes[0]);
my @hrefs=split "href=\"", $content;
shift @hrefs;
foreach $href(@hrefs) {
    if($href=~/(http:\/\/.*index[_0-9]*\.shtml)" *>[0-9]+/) {
        push @indexes, $1;
    }
}
#page download page and its relative Chinese name.
foreach $index(@indexes) {
    $content=get($index);
    # my @pages=split "<li ", $content;
    # shift @pages;
    getDownloadPage($content);
    
}

 

Perl:分析页面,提取下载链接和文件对应的名称。

标签:style   blog   http   color   使用   ar   for   文件   div   

原文地址:http://www.cnblogs.com/zuiaishenlin/p/3960054.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!