阅读目录 一.GIL（全局解释器锁） GIL面试题如下 描述Python GIL的概念， 以及它对python多线程的影响？编写一个多线程抓取网页的程序，并阐明多线程抓取程序是否可比单线程性能有提升，并解释原因。 Guido的声明：http://www.artima.com/forums/flat. ...
分类：
编程语言 时间：
2021-03-06 14:14:42
阅读次数：
0
练习71： 题目： 编写input()和output()函数输入，输出5个学生的数据记录。 程序： N = 5 # stu # num : string # name : string # score[4]: list student = [] for i in range(5): student. ...
分类：
编程语言 时间：
2021-03-06 14:13:52
阅读次数：
0
1:介绍 requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到， Requests是Python语言的第三方的库，专门用于发送HTTP请求 2:安装 在cmd窗口或者prcharm的命令行输入： pip install requests 3:get的 ...
分类：
其他好文 时间：
2021-03-05 13:03:01
阅读次数：
0
今天无聊，用php封装了一套比较简单的http请求类 细节方面可以再优化 class Creeper { public $url; public $header; public $text; public $responseHeader; public function __construct($u ...
分类：
Web程序 时间：
2021-03-04 13:21:20
阅读次数：
0
新浪财经是金融新闻类数据挖掘很重要的一个数据来源，它的新闻质量一般都很高。在这里使用爬虫的方法来获取新浪财经的一些新闻资讯。 第一步： 打开新浪财经网站 第二步： 搜索‘工商银行’ 第三步： 获取新浪财经里的‘工商银行’的url url = 'https://search.sina.com.cn/? ...
分类：
其他好文 时间：
2021-03-02 11:42:14
阅读次数：
0
一 布隆过滤器简介 bloomfilter：是一个通过多哈希函数映射到一张表的数据结构，能够快速的判断一个元素在一个集合内是否存在，具有很好的空间和时间效率。（典型例子，爬虫url去重） 原理： BloomFilter 会开辟一个m位的bitArray(位数组)，开始所有数据全部置 0 。当一个元素 ...
分类：
其他好文 时间：
2021-03-01 13:19:00
阅读次数：
0
一、背景 因为经常有爬虫数据处理的需求，之前一直用的多线程+requests方式爬虫，但是这种方式有两个问题： 1、当请求很多，并发稍微多一点的时候电脑特别卡 2、每次变更请求包，比如post换get，需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因，搞了一个基于socket+ ...
分类：
其他好文 时间：
2021-02-27 13:13:04
阅读次数：
0
也不知道为什么喜欢叫爬虫 搞明白原理之后原来就是解析网页代码获取关键字符串 现在的网页有很多解析出来就是JS了，根本不暴露资源地址 依赖一个JSOUP，其他靠百度CV实现 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dep ...
分类：
编程语言 时间：
2021-02-26 13:24:45
阅读次数：
0
为了通过爬虫快速获取网站中的信息，我们通常将第一次爬取的网页中的url形成一个待爬取的列表 为了访问网站以及对网站源代码进行分析，这里使用urllib的request库获取网页源代码，使用lxml库对网页进行结构分析。 首先引用需要的库 import urllib.request import lx ...
分类：
编程语言 时间：
2021-02-26 13:00:47
阅读次数：
0
读取节点文本值和，属性值 # -*- coding: UTF-8 -*- from xml.dom import minidom dom=minidom.parse('F:\\python_project\\爬虫\\双色球\\shuangseqiu.xml') root=dom.documentEl ...
分类：
编程语言 时间：
2021-02-24 13:10:12
阅读次数：
0
