写了个爬取知乎热榜的爬虫，将热榜信息存成json格式保存在当前目录下，根据爬取时间存取 需要cookie换成自己的应该就能用了 爬取的内容有Rank：当前热榜排名 Title:问题名称 Hot：当前问题热度 Url：问题链接 Tags:问题的tags（点进问题之后可以看到） # coding:utf ...
分类：
其他好文 时间：
2021-06-02 10:33:20
阅读次数：
0
一、主题式网络爬虫设计方案 1、主题式网络爬虫名称：爬取知乎热度数据并数据分析及可视化 2、爬取的内容：知乎热搜的标题、排行、热度 数据特征：随机、以文字和数字为主 3、实现思路：首先查看所要爬取页面的源代码，找到所需要爬取的数据在源代码中的位置，接下来进行数据爬取，并将爬取的数据持久化，保存在ex ...
分类：
其他好文 时间：
2020-04-23 21:03:53
阅读次数：
91
一、主题式网络爬虫设计方案 1.主题式网络爬虫名称：微博热搜 2.爬取内容：爬取热搜名称、热度和排名 3.爬虫设计方案概述：先查找源代码，找到关键内容的索引标签，进行分析，提取需要的数据。然后对数据进行清洗和处理，以及可视化处理 4.难点：回归方程不熟练，知识点掌握不全。 二、主题页面的结构特征分析 ...
分类：
其他好文 时间：
2020-04-23 19:01:17
阅读次数：
82
settings.py # -*- coding: utf-8 -*- # Scrapy settings for zhihutupian project # # For simplicity, this file contains only settings considered importan ...
分类：
其他好文 时间：
2020-03-20 20:28:53
阅读次数：
75
本文内容介绍python和如下数据存储交互的基本使用： 文件存储：TXT、JSON、CSV 关系型数据库：Mysql（pymysql模块） 非关系型数据库：MongoDB（pymongo模块）、Redis（redis模块） 1. 文本存储；简单实例，爬取知乎话题、答者和回答内容保存到txt文件中 # ...
分类：
其他好文 时间：
2020-03-17 19:17:27
阅读次数：
99
2月1号了，距离考研成绩公布没有多少天了，年也过完了，该开始努力了， 今天还是松懈的一天，上午起床之后看了重新理了一遍毕设的进度， 下午完成了之前在学校检查毕设的未完成的简单部分，管理员功能 每天给自己订一个计划 早上8点起床，起来跑步一小时or半小时 吃早饭，学习计算机网络第五版两个小时，学习实用 ...
分类：
其他好文 时间：
2020-02-01 23:37:59
阅读次数：
104
下面不做过多文字描述： 首先、安装必要的库 # 安装BeautifulSoup pip install beautifulsoup4 # 安装requests pip install requests 其次、上代码！！！ ①重定向网站爬虫h4文字 import requests from bs4 i ...
分类：
编程语言 时间：
2020-01-22 18:23:01
阅读次数：
75
先上结果： 问题： 答案： 可以看到现在答案文档有十万多，十万个为什么~hh 正文开始： 分布式爬虫应该是在多台服务器(A B C服务器)布置爬虫环境，让它们重复交叉爬取，这样的话需要用到状态管理器。 状态管理器主要负责url爬取队列的管理，亦可以当爬虫服务器。同时配置好redis及scrapy-r ...
分类：
其他好文 时间：
2020-01-20 09:53:34
阅读次数：
82
'最喜欢通俗易懂地解释一个事情。', '<b>一、协方差：', '可以通俗的理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？', '你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的。', '你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负 ...
分类：
其他好文 时间：
2019-11-06 13:21:12
阅读次数：
96
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。你第一步找一个爬取种子，算作爬虫入口https://www.zhihu.com/people/zhang-jia-wei/followin
分类：
编程语言 时间：
2019-07-28 09:25:45
阅读次数：
111
