标签:浪漫 爬取 ref request ber 爱情 import log http
参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html
参考前文 爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据。
小猪短租(成都)页面:http://cd.xiaozhu.com/
按照惯例,先来爬下标题试试水,找到标题,复制xpath。
多复制几个房屋的标题 xpath 进行对比:
//[@id="page_list"]/ul/li[1]/div[2]/div/a/span //[@id="page_list"]/ul/li[2]/div[2]/div/a/span //*[@id="page_list"]/ul/li[3]/div[2]/div/a/span 瞬间发现标题的 xpath 只在
//*[@id=“page_list”]/ul/li/div[2]/div/a/span
还是固定的套路,让我们尝试把整页的标题爬下来:
顺着标题的标签网上找,找到整个房屋信息标签, xpath 对比如下:
//[@id=“page_list”]/ul/li #整体 //[@id=“page_list”]/ul/li/div[2]/div/a/span #标题 你应该知道该怎么来改代码了吧,写一个循环: file=s.xpath(‘//*[@id=“page_list”]/ul/li’) for div in file: title=div.xpath("./div[2]/div/a/span/text()")[0]
写文件时,我们主要用到 with open() 语句:
with open(name,mode,encoding) as file:
file.write()
# 注意,with open() 后面的语句有一个缩进
# http://cd.xiaozhu.com/ # 主题 + 分页 + 保存本地 from lxml import etree import requests import time with open(‘C:/Users/Administrator/Desktop/comment15.txt‘,‘w‘,encoding=‘utf-8‘) as f: for a in range(1,7): url = ‘http://cd.xiaozhu.com/search-duanzufang-p{}-0/‘.format(a) data = requests.get(url).text s=etree.HTML(data) titles = s.xpath(‘//*[@id="page_list"]/ul/li‘) time.sleep(7) for div in titles: title = div.xpath("./div[2]/div/a/span/text()")[0] price = div.xpath("./div/div[1]/span[1]/i/text()")[0] scribe = div.xpath("./div[2]/div/em/text()")[0].strip() pic = div.xpath("./a/img/@lazy_src")[0] print("{} {} {} {}".format(title,price,scribe,pic)) f.write("{} {} {} {}\n".format(title,price,scribe,pic))
打印结果预览:
温馨浪漫情侣度假—民谣里贝壳帐篷 1580 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,26,19200,1800,1199,8068737f.jpg
含早/成都东站2号地铁-肯派之家13-101 298 独立单间/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,6,4561,1800,1202,9e891d09.jpg
芗吟民宿-《竹坞》成都太古里市井中的隐世桃源 777 整套出租/4室2厅/4张床/宜住8人 https://image.xiaozhustatic1.com/12/51,0,96,19302,1800,1202,f6740069.jpg
37楼夜景超美 樓頂空中花園俯瞰成都 298 整套出租/2室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,16,29629,1800,1200,70a3953b.jpg
【晔艳】东客站-巨屏投影地铁直达太古里m 200 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,28,18056,1800,1201,404b7ef3.jpg
春熙路/太古里/英伦风两居/地铁直达宽窄巷子 288 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/16,0,77,34616,1800,1200,0ebc6521.jpg
【几末】空间几何/地铁100米/一居/桐梓林 258 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,9,23389,1800,1202,5754c402.jpg
春熙路地铁口&宽窄巷&莫兰迪复古&两居跃层 338 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/51,0,60,843,1800,1200,168035ac.jpg
新房特惠川师东站三圣乡34号爱情公寓轻奢浪漫 208 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,27,12717,1800,1200,f21ab62c.jpg
【白鹿】春熙路武侯祠/九眼桥/宽窄巷子套一 159 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,86,14671,1498,1000,c5c55bb2.jpg
【初醒】成都市中心盐市口春熙路太古里IFS 198 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,20,24457,1800,1202,485c365f.jpg
【花韵】舒适大床房/春熙路宽窄巷子文殊院地铁 188 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/18,0,97,13909,1800,1200,31083987.jpg
【一厘一景】武侯祠锦里&近地铁口&近天府广场 188 整套出租/1室1