神箭手爬虫学习笔记（二）

标签：网站   备份   好的   tools   辅助   nbsp   pat   爬取   dev   

一，可以使用神剑手已经做好的爬虫市场直接跑，不需要自己定义爬取规则

二，爬虫市场里没有的网站，需要自己去定义规则来爬数据。

三，爬取的数据可以先存放在神剑手，也可以放到七牛暂存。（提醒下，网站需要数据备份如果数量不大可以到七牛做备份，有免费版）

四，爬取的数据可以直接发布到数据库，也可以发布到具有支持神剑插件的网站。可以手动发布，也可以自动发布。

五，可以使用代理IP，防封

六：常用的几个辅助工具：http://docs.shenjianshou.cn/develop/tools/tools.html

------------------------------------------------------------------------------------------------------

                                                              如何写规则

<1>  定义config 对象，运行config对象

<2> 需要掌握Xpath,Jsonpath,正则表达式

-------------------------------------------------------------------------------------------------------

                                        恶补下正则表达式吧 

神箭手爬虫学习笔记（二）

标签：网站   备份   好的   tools   辅助   nbsp   pat   爬取   dev   

原文地址：http://www.cnblogs.com/frankiephp/p/7010368.html