码迷,mamicode.com
首页 > 编程语言 > 详细

python之爬取网页数据总结(一)

时间:2019-02-09 00:59:07      阅读:284      评论:0      收藏:0      [点我收藏+]

标签:迭代器   sse   editor   增加   需要   edit   lines   try   url   

今天尝试使用python,爬取网页数据。因为python是新安装好的,所以要正常运行爬取数据的代码需要提前安装插件。分别为requests    Beautifulsoup4   lxml  三个插件。

因为配置了环境变量,可以cmd命令直接安装。假如电脑上有两个版本的python,建议进入到目录安装。

安装的命令为 pip install requests(Beautifulsoup4   /lxml  ) 三条分别执行。

安装结束,可以尝试网上一些简单的例子,明白了解 Beautifulsoup4   解析网页所使用的方式。这个可以避开正则表达式,个人感觉学起来很方便。

soup.select(‘‘) 这个方法就是解析网页代码,提取其中某一部分。该方法的使用可以类比java 爬虫的webmagic  jsoupXpath-0.1.1.jar 的使用方法。

主要理解这个方法之后就可以看懂大部分代码。

以下为网上的例子代码,比较简单,适合学习。

import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = ‘utf-8‘
        return r.text
    except:
        return ""
def getContent(url):
    html = getHTMLText(url)
    # print(html)
    soup = BeautifulSoup(html, "html.parser")
    title = soup.select("div.hd > h1")
    print(title[0].get_text())
    time = soup.select("div.a_Info > span.a_time")
    print(time[0].string)
    author = soup.select("div.qq_articleFt > div.qq_toolWrap > div.qq_editor")
    print(author[0].get_text())
    paras = soup.select("div.Cnt-Main-Article-QQ > p.text")
    for para in paras:
        if len(para) > 0:
            print(para.get_text())
            print()
    #写入文件
    fo = open("text.txt", "w+")
    fo.writelines(title[0].get_text() + "\n")
    fo.writelines(time[0].get_text() + "\n")
    for para in paras:
        if len(para) > 0:
            fo.writelines(para.get_text() + "\n\n")
    fo.writelines(author[0].get_text() + ‘\n‘)
    fo.close()
    #将爬取到的文章用字典格式来存
    article = {
        ‘Title‘ : title[0].get_text(),
        ‘Time‘ : time[0].get_text(),
        ‘Paragraph‘ : paras,
        ‘Author‘ : author[0].get_text()
    }
    print(article)
def main():
    url = "http://news.qq.com/a/20170504/012032.htm"
    getContent(url);
main()

  掌握基本的爬取数据之后,便尝爬取取大量数据。经过多次尝试发现,首先需要准备多个ip,同一个ip多次访问长时间会导致结果全部为空。

其次是多线程,为的是增加速度。python中多线程网上大多使用的是pool

使用

if __name__ == ‘__main__‘:#需加上这句代码,这时是一种固定的写法
# pool()有一个参数,processes,表示有多少个进程,比如processes=2
pool = ThreadPool() //网上大部分使用的是pool=Pool(),但是经过多次尝试总是失败,然后改成了这样的。

pool.map(get_all_list_info,urlStr) //两个参数,第一个为调用的方法,该方法有参数,但是后边不写形参,map的第二个参数为一个迭代器,就是集合形式,会按顺序取其中的数据,作为参数传递给方法。
pool.close()
pool.join()

掌握这些,基本可以实现大量数据爬取。

python之爬取网页数据总结(一)

标签:迭代器   sse   editor   增加   需要   edit   lines   try   url   

原文地址:https://www.cnblogs.com/wys-373/p/10356964.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!