码迷,mamicode.com
首页 > 编程语言 > 详细

python几乎无所不能 只有你不知道的,如何通过Python玩转小视频

时间:2018-06-16 16:19:31      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:模块使用   交流   stat   正则   urllib   port   image   数据   coding   

 

什么是爬虫?

就是抓取网页数据的程序

爬虫怎么抓取网页数据?

网页三大特征:

  • 网页都有自己唯一的URL。
  • 网页都是HTML来描述页面信息。
  • 网页都使用http/https协议来传输HTML数据。

爬虫的设计思路:

  • 获取视频ID
  • 拼接完整url
  • 获取视频播放地址
  • 下载视频

模块使用 requests

安装“pip install requests”

Requests库的七个主要方法

技术分享图片

 

找到单个视频播放地址

技术分享图片

 

获取网页源代码

技术分享图片

 

获取播放地址

技术分享图片

 

下载视频

技术分享图片

 

技术分享图片
 
完整代码
 1 # -*- coding:utf-8 -*- 
 2 import requests
 3 from lxml import etree
 4 import re
 5 from urllib.request import urlretrieve
 6 #获取视频ID
 7 #拼接完整url
 8 #获取视频播放地址
 9 #下载视频
10 #Python学习交流群:125240963,群内每天分享干货,包括最新的python企业案例学习资料和零基础入门教程,欢迎各位小伙伴入群学习交流
11 
12 def download(url):
13     #url = ‘http://www.pearvideo.com/category_9‘
14     #获取源代码
15     #html = requests.get(url)
16     html = requests.get(url).text
17     #把文本文件处理成可解释的对象
18     #如果我用正则可以不可以也可以
19     html = etree.HTML(html)
20     video_id = html.xpath(//div[@class="vervideo-bd"]/a/@href)
21     video_url = []
22     starurl = http://www.pearvideo.com
23     #完整拼接url
24     for id in video_id:
25         newurl = starurl + / + id
26         video_url.append(newurl)
27     #获取视频播放地址
28     for playurl in video_url:
29         #获取页面源代码
30         html = requests.get(playurl).text
31         #print(playurl)
32         req = srcUrl="(.*?)"
33         #视频真正播放地址
34         purl = re.findall(req,html)
35         #print(purl)
36         #获取视频名称
37         req = <h1 class="video-tt">(.*?)</h1>
38         pname = re.findall(req,html)
39         print("正在下载:%s"%pname)
40 
41         urlretrieve(purl[0],./video/%s.mp4%pname[0])
42 #download()
43 
44 def downloadmore():
45     n = 12
46     while True:
47         if n > 48:
48             return
49         url = "http://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=9&star=%d"%n
50         n+=12
51         download(url)
52 downloadmore()

 

python几乎无所不能 只有你不知道的,如何通过Python玩转小视频

标签:模块使用   交流   stat   正则   urllib   port   image   数据   coding   

原文地址:https://www.cnblogs.com/Python6359/p/9190619.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!