C#爬虫初期功能

标签：c   a   int   文件   string   cti   

支持树型爬虫结构。

例如：

A爬虫  搜索"蓝牙开关"关键字

|

|- B爬虫 获得A爬虫所有结果 通过结果 搜索生产厂家

目前只提供2种不同爬虫

1.只全文搜索关键字。

2.筛选爬虫，筛选字频，屏蔽字。通过百度谷歌是否有对应结果筛选。

不同种类的爬虫可用在爬虫树中进行组合，xml读入。

======================

第一个版本先不做爬虫树，先把读写配置文件和图形界面做好。

爬虫接口定义:

bool Search(out string url, out string preview)

void Init(WormSct wormSct)

//void Load(string path) 该版本不加

void Load(string formatStr, int oriSegment, int endSegment)

配置读写接口:

void OnLoad(Dictionary<string,string> source);

//这个字典key是文件名带后缀。在同一个目录下读进来。

C#爬虫初期功能,布布扣,bubuko.com

C#爬虫初期功能

标签：c   a   int   文件   string   cti   

原文地址：http://www.cnblogs.com/FEAUOR/p/3762904.html