码迷,mamicode.com
首页 > 编程语言 > 详细

Python网络爬虫与信息提取-Requests库网络爬去实战

时间:2017-12-19 21:08:50      阅读:808      评论:0      收藏:0      [点我收藏+]

标签:head   .text   ram   nal   for   pytho   rap   tps   item   

实例1:京东商品页面的爬取

import requests

url="https://item.jd.com/2967929.html"

try:

    r=requests.get(url)

    r.raise_for_status()

    r.encoding=r.apparent_encoding

    print(r.text[:1000])

except:

    print("爬取失败")

 

实例2:亚马逊商品页面的爬取

import requests

url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"

try:

     kv={‘user-agent‘:‘Mozilla/5.0‘}

     r=requests.get(url,headers=kv)

     r.raise_for_status()

     r.encoding=r.apparent_encoding

     print(r.text[1000:2000])

except:

     print("爬取失败")

 

实例3:百度/360搜索关键字提交

import requests

keyword="Python"

try:

     kv={‘q‘:keyword}

     r=requests.get("http://www.baidu.com/s",params=kv)

    print(r.request.url)

    r.raise_for_status()

    print(len(r.text))

except:

     print("爬取失败")

 

实例4:网络图片的爬取和存储

import requests

import os

url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"

root="D://pics"

try:

      if not os.path.exists(root):

           os.mkdir(root)

       if not os.path.exists(path):

            r=requests.get(url)

            with open(path,‘wb‘) as f:

                   f.write(r.content)

                   f.close()

                   print("文件保存成功")

        else:

            print("文件已存在")

except:

         print("爬取失败")

 

实例5:IP地址归属地的自动查询

import requests

url="http://m.ip138.com/ip.asp?ip="

try:

     r=requests.get(url+‘202.204.80.112‘)

     r.raise_for_status()

     r.encoding=r.apparent_encoding

     print(r.text[-500:])

except:

     print("爬取失败")

Python网络爬虫与信息提取-Requests库网络爬去实战

标签:head   .text   ram   nal   for   pytho   rap   tps   item   

原文地址:http://www.cnblogs.com/lichaoxiang/p/8067601.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!