码迷,mamicode.com
首页 > Web开发 > 详细

成都58同城快速租房的爬虫,nodeJS爬虫

时间:2018-09-19 01:18:34      阅读:192      评论:0      收藏:0      [点我收藏+]

标签:技术分享   star   爬虫   source   org   node   jpg   www.   code   

我个人还是非常奉行 talk is cheap, show me your code 这个理念的。
只希望能够帮助到真正需要的人,帮你快速找到物美价廉的房子。
我也是租房子的时候,希望快速找到自己觉得不错又物美价廉的房子。但是鉴于58一个界面提供的信息是在太少,于是一次性找个几百条然后通过 filter 过滤后,再去找,效率大增。

Features

  • 快捷租房查询,记录根据条件快速筛选出符合条件的房子。
  • 根据你关心的条件获得匹配的房子链接,还可以自定义filters函数用你的规则过滤。
  • 简单的自定义配置

Screenshots

  • 首先安装依赖
npm install
  • 获取特定地区和经过特定条件筛选后的url,修改config中的url为你复制的地址

技术分享图片

  • 执行 npm run start 运行脚本

技术分享图片

技术分享图片

Tools

  • nodejs
  • request - Simplified HTTP request client.
  • cheerio - Fast, flexible & lean implementation of core jQuery designed specifically for the server.

TODO

  • 通过命令行输入条件做到手动复制地址,一键生成地址。
  • 代理切换,验证识别。防止被反爬虫机制检测。
  • ^_^ 懒啊~~

license

MIT

thanks

旧瓶装新酒,算是nodeJS版本的实现之一。

成都58同城快速租房的爬虫,nodeJS爬虫

标签:技术分享   star   爬虫   source   org   node   jpg   www.   code   

原文地址:https://www.cnblogs.com/givingwu/p/9672205.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!