go语言学习爬虫框架总结

标签：ike   页面   复杂   png   分布式部署   Go语言   使用   不可   一个   

1. 项目有一个main.go的入口文件，然后是各个子目录功能文件夹；如图: engine是总的控制文件，把请求和正则解析push到总的slice []request中，fetcher主要是通过http库去获取页面body信息，model是要保存的人的信息struct
2. 说完了目录结构，接下来介绍下流程：
3. 整个单机版爬虫项目比较简单，但对我来说收货还是比较大的，其中涉及到一些技术细节，如接口定义，结构方法的使用，
4. 后面还有并发版本和分布式版本，就比较复杂了，并发版是充分使用go的goroutine和chan，要在大的方向上理清楚思路，抽象出一些公用的方法和结构，重要的正则解析要做test工作，然后在此指引下一步步构建，不可盲目前进。首先并发版需要两个chan，一个in ：=chan Request和另一个out：=chan ParseResult，并发版启动WorkerCount个goroutine去并发获取in chan url内容并解析出新url推送到out chan，同时并发版有一个scheduler调度器, 将初始的爬取Request(包括url和对应的parser,因为每个网址的parser规则不同所以要成组传输)放进scheduler里的workerChan即前面定义的in chan, 他俩是一个chan, 程序开始并发执行，由于执行的比较快会被爬取网站断掉， 可以用time.Tike(time)来限制速度，另爬取时可能要设置相应的header头，否则会被屏蔽掉.
5. 由于并发版多个worker都在争抢Request去执行，控制力度比较小，只适用于单机，不适合多机器分布式部署，故演化出第三个版本:队列实现.队列执行效率和并发版执行效率差不多. scheduler调度器中有rqquestChan chan Request 和 workerChan chan chan Request(注意这里是两个chan), 在run方法中定义一个out chan ParseResult，和并发版相比而言，队列版多了workerChan 这个chan，主要用来实现队列的调度，TODO:细节
6. 下面附上几张ccmouse大神的讲课ppt供大家理解，如有不清楚的欢迎下方留言讨论。

go语言学习爬虫框架总结

标签：ike   页面   复杂   png   分布式部署   Go语言   使用   不可   一个   

原文地址：https://blog.51cto.com/jinjiang2009/2410892