码迷,mamicode.com
首页 > 其他好文 > 详细

Forward团队-爬虫豆瓣top250项目-模块开发过程

时间:2017-10-26 20:03:43      阅读:213      评论:0      收藏:0      [点我收藏+]

标签:params   enc   img   模块   ram   粘贴   code   开发   read   

项目托管平台地址:https://github.com/xyhcq/top250 

开发模块功能: 原网页代码分析功能,开发时间:1小时,得到了程序所需要的网页源代码

def getHTMLText(url,k):
    # 获取网页源代码
    try:
        if(k==0):
            kw={}
        else:
            kw={start:k,filter:‘‘}
        # 保存获取的网页
        read = requests.get(url,params=kw,headers={User-Agent: Mozilla/4.0})
        read.raise_for_status()
        read.encoding = read.apparent_encoding
        return read.text
    except:
        print("获取失败!")

 

实现过程:用浏览器中的查看网页源代码功能,将代码粘贴下来进行代码整合。然后在python中加入网页源码导入功能。

技术分享

没有遇到任何问题。

 

Forward团队-爬虫豆瓣top250项目-模块开发过程

标签:params   enc   img   模块   ram   粘贴   code   开发   read   

原文地址:http://www.cnblogs.com/mazhuangmz/p/7738402.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!