最近在学习数据分析的相关知识，打算找一份数据做训练，于是就打算用Python爬取链家在重庆地区的二手房数据。 链家的页面如下： 爬取代码如下： 链家网站的数据最多只显示100页，所以这里我们爬取各个区域的前100页信息，有的可能没有100页，但并不影响，爬取结果如下（已经对数据做了一点处理，有问题的 ...
分类：
编程语言 时间：
2019-05-29 23:52:42
阅读次数：
244
python链家网二手房异步IO爬虫，使用asyncio、aiohttp和aiomysql 很多小伙伴初学python时都会学习到爬虫，刚入门时会使用requests、urllib这些同步的库进行单线程爬虫，速度是比较慢的，后学会用scrapy框架进行爬虫，速度很快，原因是scrapy是基于twis ...
分类：
编程语言 时间：
2019-05-09 15:28:29
阅读次数：
139
1.数据库：mysql 2.库：requests、BeautifulSoup、pandas、smtplib、mysql.connector db.py: 1 #!/usr/bin/python 2 # coding=utf-8 3 4 import json 5 import time 6 impo ...
分类：
其他好文 时间：
2019-04-23 20:44:02
阅读次数：
112
之前没课的时候写过安居客的爬虫，但那也是小打小闹，那这次呢， 还是小打小闹 哈哈，现在开始正式进行爬虫书写 首先，需要分析一下要爬取的网站的结构： 作为一名河南的学生，那就看看郑州的二手房信息吧！ 在上面这个页面中，我们可以看到一条条的房源信息，从中我们发现了什么，发现了连郑州的二手房都是这么的贵， ...
分类：
编程语言 时间：
2019-04-22 20:56:54
阅读次数：
414
近日，苏州市民赵先生向江苏新闻广播新闻热线025-84658888反映，他在“安居客”手机应用软件上浏览二手房信息，并且使用该软件自动生成的虚拟号码向当地一家中介公司进行咨询。可电话刚挂不久，中介公司方面就掌握了赵先生的真实电话号码，个人信息疑似遭到泄露。多位中介公司人员确认，他们确实能从安居客网站 ...
分类：
其他好文 时间：
2019-04-20 23:00:38
阅读次数：
1281
爬取杭州在售二手房的数据 https://hz.lianjia.com/ershoufang/这是首页地址，我们可以看见有翻页栏，总共100页，每一页30条数据， 第二页地址https://hz.lianjia.com/ershoufang/pg2/，对比可以发现多了一个参数pg2，这样就可以找到规 ...
分类：
其他好文 时间：
2019-01-19 14:25:42
阅读次数：
618
【百城价格房价周期和郑州、武汉房价比较分析】 田昆 日期：20190105 样本数据看，一线城市自16年底开始横盘，价格维持在40000/平方米。二线样本数据表明其均价仍在缓慢上升过程中。 样本数据看，由于二三线平均房价上升，百城平均房价仍处于缓慢上升的过程中。 以较为真实的二手房价格来看，郑州和武 ...
分类：
其他好文 时间：
2019-01-05 10:14:31
阅读次数：
190
在坐地铁通勤的时候看到了一些售房广告，所以这次想要尝试爬取链家发布的各个城市二手房信息，并将其写入本地数据库 1. 网页查看 1）以北京为例 我们要访问的url是https://bj.lianjia.com/ershoufang/。 越过页面上方的筛选区域，就下来就是我们想要爬取的数据。 F12检查 ...
分类：
其他好文 时间：
2019-01-03 19:36:40
阅读次数：
195
喜迁新居是件好事，在此之前都要面临着装修，二手房不比新房装修起来比较简单。不少业主问，二手房怎么装修好？完全没有经验怎么办？下面居小匠就来说说这个话题。
分类：
其他好文 时间：
2018-12-21 12:56:49
阅读次数：
191
主程序代码： 1 import scrapy 2 from scrapyDemo.items import ScrapydemoItem 3 4 class PostSpider(scrapy.Spider): 5 name = 'home' 6 # allowed_domains = ['www. ...
分类：
数据库 时间：
2018-12-18 19:50:04
阅读次数：
308
