写了个爬取知乎热榜的爬虫,将热榜信息存成json格式保存在当前目录下,根据爬取时间存取 需要cookie换成自己的应该就能用了 爬取的内容有Rank:当前热榜排名 Title:问题名称 Hot:当前问题热度 Url:问题链接 Tags:问题的tags(点进问题之后可以看到) # coding:utf ...
分类:
其他好文 时间:
2021-06-02 10:33:20
阅读次数:
0
在爬取某网站时,我们习惯于直接在浏览器里复制headers和请求参数,粘贴到自己的代码里进行调试
但是,在爬取linkg网站时,发现了一个问题:
解码失败
运行: ...
分类:
编程语言 时间:
2021-05-24 17:15:57
阅读次数:
0
之前,项目中需要用到微信小程序获取用户openid的功能,特将代码及配置信息整理一下。本文介绍的方式是利用云平台开发的方式,因此需要先在微信后台开通云平台功能,这个功能是免费的。 1、创建function目录文件夹 在项目根目录创建function文件夹,然后右键创建nodejs云函数openid, ...
分类:
微信 时间:
2021-05-24 15:53:24
阅读次数:
0
一:Web服务器了解 (一)Web服务器类型 Nodejs 比较特殊,可以用js开发服务端程序; 有两份JS,一份是用于控制服务器的,一份是用于下载到客户端去运行的; Nginx 性能上比Apache更好,灵活度等也优于Apache, 所以逐渐把Apache取代; Apache 一开始出现的时候占服 ...
分类:
Web程序 时间:
2021-05-24 15:38:19
阅读次数:
0
还记得那些年一起网吧开黑通宵的日子吗?《英雄联盟》绝对是大学时期的风靡游戏,即使毕业多年的大学同学相聚,难免不怀念一番当时一起玩《英雄联盟》的日子。 今天就给大家分享一下英雄及皮肤图片的爬虫。 一开始都是先去《英雄联盟》官网找到英雄及皮肤图片的网址: URL = r'https://lol.qq.c ...
分类:
编程语言 时间:
2021-05-24 14:37:29
阅读次数:
0
1. 下载nodejs 2. 新建一个文件夹, 执行命令node init --yes 3.安装express框架 npm i express 4. 新建js 文件*** // 1. 引入express const express = require('express'); // 2. 创建应用对象 ...
分类:
Web程序 时间:
2021-05-24 12:49:03
阅读次数:
0
一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co ...
分类:
其他好文 时间:
2021-05-24 12:12:10
阅读次数:
0
在上一篇中,我们说了模拟登录, 下面我们说说附件上传。 据说,最早的http协议是不支持附件上传的,后来有添加了一个RFC 2045 协议,才支持附件上传,关于附件上传,请参见 http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_h ...
由于多线程爬取数据比单线程的效率要高,尤其对于爬取数据量大的情况,效果更好,所以这次采用多线程进行爬取。具体代码和流程如下: import math import re from concurrent.futures import ThreadPoolExecutor import requests ...
分类:
编程语言 时间:
2021-05-24 12:04:44
阅读次数:
0
代码: 1 import time 2 import traceback 3 import requests 4 from lxml import etree 5 import re 6 from bs4 import BeautifulSoup 7 from lxml.html.diff impo ...
分类:
数据库 时间:
2021-05-24 12:00:17
阅读次数:
0