一 爬虫原理 1.什么是互联网？ 指的是由一堆网络设备，把一台台的计算机互联网到一起称之为互联网。 2.互联网建立的目的？互联网建立的目的是为了数据的传递以及数据的共享。 3.什么是数据？例如淘宝、京东商品信息等...东方财富、雪球网的一些证券投资信息...链家、自如等房源信息....12306的票 ...
分类：
编程语言 时间：
2019-06-27 00:58:51
阅读次数：
164
最近准备换房子，在网站上寻找各种房源信息，看得眼花缭乱，于是想着能否将基本信息汇总起来便于查找，便用python将基本信息爬下来放到excel，这样一来就容易搜索了。 1. 利用lxml中的xpath提取信息 xpath是一门在 xml文档中查找信息的语言，xpath可用来在 xml 文档中对元素和 ...
分类：
编程语言 时间：
2019-06-26 01:14:17
阅读次数：
267
之前没课的时候写过安居客的爬虫，但那也是小打小闹，那这次呢， 还是小打小闹 哈哈，现在开始正式进行爬虫书写 首先，需要分析一下要爬取的网站的结构： 作为一名河南的学生，那就看看郑州的二手房信息吧！ 在上面这个页面中，我们可以看到一条条的房源信息，从中我们发现了什么，发现了连郑州的二手房都是这么的贵， ...
分类：
编程语言 时间：
2019-04-22 20:56:54
阅读次数：
414
做一个租房信息的网站，要爬取58同城上南京品牌公馆的房源信息，因为数字被重新编码了，折腾了一天，记录一下整个过程，留着后面使用。 1，网页分析和字体文件反爬 简单看了下url（https://nj.58.com/pinpaigongyu/pn/1/），比较简单，替换下网址中页码数，就可以一直翻页并进 ...
分类：
其他好文 时间：
2019-01-06 13:36:21
阅读次数：
304
上海写字楼租赁请添加链接描述大平台-搜楼网(搜楼汇)成立于2018年10月1日,隶属于上海欣谙房地产经纪有限公司.是上海商务办公室租赁平台之一!搜楼汇以提升企业用户租赁体验和找房效率为核心原则，拒绝任何虚假和低质量的房源信息，通过“线上选房-智能匹配-陪护看房-撮合交易”的标准流程，为用户提供最贴心的租房服务。与此同时，为了在业主方和企业租户之间搭建了快速服务通道，点点租直接与开发商/运营商合作，
分类：
其他好文 时间：
2018-10-18 18:14:18
阅读次数：
241
我们知道，在同步请求模型中，浏览器是直接向服务器发送请求，并直接接收、处理服务器响应的数据的。这就导致了浏览器发送完一个请求后，就只能干等着服务器那边处理请求，响应请求，在这期间其它事情都做不了。这就像是你到了一个新城市去找房子住，你可以自己去找，在网站上或者是街头小广告上去了解房源信息，找合适自己 ...
分类：
Web程序 时间：
2018-10-13 14:39:52
阅读次数：
201
本次爬取自如网房源信息所用到的知识点: 1. requests get请求 2. lxml解析html 3. Xpath 4. MongoDB存储 正文 1.分析目标站点 1. url: http://hz.ziroom.com/z/nl/z3.html?p=2 的p参数控制分页 2. get请求 ...
分类：
编程语言 时间：
2018-09-13 21:38:16
阅读次数：
210
老猫我在南五环租了一个80平两居室，租房合同马上到期，房东打电话问续租的事，想要加房租；我想现在国家正在也在抑制房价，房子价格没怎么涨，房租应该也不会涨，于是霸气拒绝了，以下是聊天记录：确认不续租之后，两三年没找过房的我上网搜索租房，没想到出来一坨自如，蛋壳，贝壳等中介网站；进去看看，各种房照非常漂亮，但是一看房租，想送给自己一首《凉凉》；附近房租居然比我当前房租高1000多RMB；自我安慰下，这
分类：
编程语言 时间：
2018-08-26 12:31:38
阅读次数：
180
利用scrapy抓取蛋壳公寓上的房源信息，以北京市为例，目标url：https://www.dankegongyu.com/room/bj 思路分析 每次更新最新消息，都是在第一页上显示，因此考虑隔一段时间自动抓取第一页上的房源信息，实现抓取最新消息。 利用redis的set数据结构的特征，将每次抓 ...
分类：
数据库 时间：
2018-06-08 22:11:35
阅读次数：
254
项目简介： 编写Python脚本爬取某租房网站的房源信息，利用高德的 js API 在地图上标出房源地点，划出距离工作地点1小时内可到达的范围，附上公交路径规划功能查看不同路径的用时。 一、介绍 1.背景 项目来自一段租房血泪史(夸张)：事情是这样的，笔者是接着念大四准备考研，而室友是应届毕业在找工 ...
分类：
编程语言 时间：
2018-04-03 14:26:38
阅读次数：
249
