写了个爬取知乎热榜的爬虫，将热榜信息存成json格式保存在当前目录下，根据爬取时间存取 需要cookie换成自己的应该就能用了 爬取的内容有Rank：当前热榜排名 Title:问题名称 Hot：当前问题热度 Url：问题链接 Tags:问题的tags（点进问题之后可以看到） # coding:utf ...
分类：
其他好文 时间：
2021-06-02 10:33:20
阅读次数：
0
在爬取某网站时，我们习惯于直接在浏览器里复制headers和请求参数，粘贴到自己的代码里进行调试
但是，在爬取linkg网站时，发现了一个问题：
解码失败
运行： ...
分类：
编程语言 时间：
2021-05-24 17:15:57
阅读次数：
0
之前，项目中需要用到微信小程序获取用户openid的功能，特将代码及配置信息整理一下。本文介绍的方式是利用云平台开发的方式，因此需要先在微信后台开通云平台功能，这个功能是免费的。 1、创建function目录文件夹 在项目根目录创建function文件夹，然后右键创建nodejs云函数openid， ...
分类：
微信 时间：
2021-05-24 15:53:24
阅读次数：
0
一：Web服务器了解 （一）Web服务器类型 Nodejs 比较特殊，可以用js开发服务端程序； 有两份JS，一份是用于控制服务器的，一份是用于下载到客户端去运行的； Nginx 性能上比Apache更好，灵活度等也优于Apache， 所以逐渐把Apache取代； Apache 一开始出现的时候占服 ...
分类：
Web程序 时间：
2021-05-24 15:38:19
阅读次数：
0
还记得那些年一起网吧开黑通宵的日子吗？《英雄联盟》绝对是大学时期的风靡游戏，即使毕业多年的大学同学相聚，难免不怀念一番当时一起玩《英雄联盟》的日子。 今天就给大家分享一下英雄及皮肤图片的爬虫。 一开始都是先去《英雄联盟》官网找到英雄及皮肤图片的网址： URL = r'https://lol.qq.c ...
分类：
编程语言 时间：
2021-05-24 14:37:29
阅读次数：
0
1. 下载nodejs 2. 新建一个文件夹， 执行命令node init --yes 3.安装express框架 npm i express 4. 新建js 文件*** // 1. 引入express const express = require('express'); // 2. 创建应用对象 ...
分类：
Web程序 时间：
2021-05-24 12:49:03
阅读次数：
0
一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co ...
分类：
其他好文 时间：
2021-05-24 12:12:10
阅读次数：
0
在上一篇中，我们说了模拟登录， 下面我们说说附件上传。 据说，最早的http协议是不支持附件上传的，后来有添加了一个RFC 2045 协议，才支持附件上传，关于附件上传，请参见 http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_h ...
由于多线程爬取数据比单线程的效率要高，尤其对于爬取数据量大的情况，效果更好，所以这次采用多线程进行爬取。具体代码和流程如下： import math import re from concurrent.futures import ThreadPoolExecutor import requests ...
分类：
编程语言 时间：
2021-05-24 12:04:44
阅读次数：
0
代码： 1 import time 2 import traceback 3 import requests 4 from lxml import etree 5 import re 6 from bs4 import BeautifulSoup 7 from lxml.html.diff impo ...
分类：
数据库 时间：
2021-05-24 12:00:17
阅读次数：
0
