一、爬虫策略
1.主服务器先根据spider.all
二、缓存策略
1.主服务器通过爬取各类排行榜或首页等Book集合、简短字段的页面
创建多个不同key的Hash
expect => create {"siteId_bookId": Hash} 2.从服务器通过爬书详细页
更新单个key的部分Hash字段， 创建章节有序集合存放章节id ，生成request_url到spider.wait中
expect =>
update {"siteId_bookId": Hash} ,
create {"siteId_bookId_chapters": Sort Set}3.从服务器通过爬章节详细页
创建章节Hash对象
expect => create {"siteId_bookId_chapterId": Hash}4.从主服务器归并两个hash对象和一个sort set对象，生成Book信息导入数据库。
