码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫实践二--豆瓣top250电影

时间:2019-01-27 21:50:49      阅读:281      评论:0      收藏:0      [点我收藏+]

标签:python   range   com   i+1   inf   lxml   col   状态   .com   

import requests

def get_movies():
    headers={
    ‘user-agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36‘,
    ‘Host‘: ‘movie.douban.com‘
    }
    for i in range(0,10):
        link = ‘https://movie.douban.com/top250?start=‘ + str(i * 25)
        r = requests.get(link, headers=headers, timeout= 10)
        print (str(i+1),"页响应状态码:", r.status_code)
        print (r.text)
        
get_movies()

技术分享图片

 

 

import requests
from bs4 import BeautifulSoup

def get_movies():
    headers={
        user-agent:Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36,
    Host: movie.douban.com
    }
    movie_list = []
    for i in range(0,10):
        link=https://movie.douban.com/top250?start=+str(i*25)
        r=requests.get(link,headers=headers,timeout=10)
        print(str(i+1),"页响应状态码:",r.status_code)
        
        soup=BeautifulSoup(r.text,"lxml")
        div_list=soup.find_all(div,class_=hd)
        for each in div_list:
            movie=each.a.span.text.strip()
            movie_list.append(movie)
    return movie_list
movies=get_movies()
print(movies)

 技术分享图片

照着书打了一遍。不熟悉没印象,明天继续。

 

爬虫实践二--豆瓣top250电影

标签:python   range   com   i+1   inf   lxml   col   状态   .com   

原文地址:https://www.cnblogs.com/xx123/p/10327679.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!