暑假时闲来无事写的python代码，爬取解析网站的视频流并且组合成一部电影，运行的是多进程，过程中也出现了一些问题 ...
分类：
其他好文 时间：
2019-09-28 15:01:47
阅读次数：
595
1 介绍本文主要介绍爬取微博热门话题及话题下的微博。这是我毕业设计的数据来源，在这里先记录一下进展。我买的阿里云服务器，【轻量应用服务器】预装宝塔Linux面板——三个月￥28.5。配置如下： 用起来还是很方便的，宝塔面板可视化文件上传下载，搭建web网站简便，可以定时爬虫程序。在阿里云服务器进行运... ...
分类：
其他好文 时间：
2019-09-28 11:14:12
阅读次数：
103
redis分布式部署 - 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。 1.scrapy框架是否可以自己实现分布式？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调 ...
分类：
编程语言 时间：
2019-09-28 00:36:22
阅读次数：
108
- CrawlSpider - 作用：用于进行全站数据爬取 - CrawlSpider就是Spider的一个子类 - 如何新建一个基于CrawlSpider的爬虫文件 - scrapy genspider -t crawl xxx www.xxx.com - 例：choutiPro - LinkEx ...
分类：
编程语言 时间：
2019-09-27 16:32:19
阅读次数：
101
一，导入依赖 二，编写demo类 注意不要导错包了,是org.jsoup.nodes下面的 ...
分类：
编程语言 时间：
2019-09-26 23:49:07
阅读次数：
94
错误分为程序的错误和由用户错误的输入引起的错误，此外还有因为各种各样意外的情况导致的错误，比如在磁盘满的时候写入、从网络爬取东西的时候，网络断了。这类错误称为异常 错误处理 参考链接：https://www.liaoxuefeng.com/wiki/1016959663602400/10175988 ...
分类：
编程语言 时间：
2019-09-26 23:14:38
阅读次数：
126
因为老师要以班里每个人发的博客质量作为最后总成绩的评定的一部分，就要把班上所有同学发的博客都统计起来，可以用来评定的因素有：阅读、评论、推荐等，但因为今天只是做一个简单的爬取，推荐这个元素在班级博客中需要点开每一篇博文才能看到获取，就不爬取了，只爬取阅读和推荐，加上每篇博文的发布人和标题。 我先会放 ...
分类：
编程语言 时间：
2019-09-26 21:24:36
阅读次数：
98
首先需要确定要爬取的内容，所以第一步就应该是要确定要爬的字段： 首先去items中确定要爬的内容 在确定完要爬的字段之后，就是分析网站页面的请求了，找到自己需要的内容，我这里爬的是http://www.win4000.com里面的壁纸照片 首先我们在分析的时候，点到一个图集里面可以发现，真正的照片都 ...
分类：
Web程序 时间：
2019-09-26 21:06:11
阅读次数：
98
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import os 5 import re 6 import urllib 7 import json 8 import socket 9 import urllib.request 10 im ...
分类：
其他好文 时间：
2019-09-26 14:42:36
阅读次数：
117
这里我们用scrapy 框架爬取数据爬虫文件里面的代码：# -*- coding: utf-8 -*-import jsonimport reimport osimport scrapyfrom copy import deepcopyfrom scrapy_redis.spiders import ...
分类：
其他好文 时间：
2019-09-26 14:34:28
阅读次数：
99
