BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库,它能够将 HTML 或 XML 转化为可定位的树形结构,并提供了导航、查找、修改功能,它会自动将输入文档转换为 Unicode 编码,输出文档转换为 UTF 8 编码。 BeautifulSoup 支 ...
分类:
编程语言 时间:
2019-10-07 11:36:01
阅读次数:
86
PS:实操部分就省略了哈,准备最近好好看下理论这块,其实我是比较懒得哈!!! <?>MapReduce的概述 MapReduce是一种计算模型,进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能:其中Map是滴数据集上的独立元素进行指定的操作,生成键——值对形式中间结果。其 ...
分类:
其他好文 时间:
2019-10-07 00:50:10
阅读次数:
157
一.项目问题: 1. 你写爬虫的时候都遇到过什么反爬虫措施,你最终是怎样解决的 1、基于User-agent反爬 2、基于IP地址进行反爬 2. 你写爬虫的时候 使用的什么框架 选择这个框架的原因是什么 python中的爬虫框架: pyspider、crawley scrapy,这是一个异步框架,基 ...
分类:
其他好文 时间:
2019-10-07 00:42:06
阅读次数:
189
一、概念 严格来说Map并不是一个集合,而是两个集合的映射关系,这两个集合每条数据通过映射关系,形成了Entry<key,value>,我们可以看成一条数据,key作为键,value作为值,称为键值对。一个Map由多个Entry组成。 因为Map不是Collection的子接口,所以没有Iterat ...
分类:
其他好文 时间:
2019-10-06 13:20:49
阅读次数:
84
JSON (JavaScript Object Notation)是一种比XML更轻量级的数据交换格式,在易于人们阅读和编写的同时,也易于程序解析和生成。尽管JSON是JavaScript的一个子集,但JSON采用完全独立于编程语言的文本格式,且表现为键/值对集合的文本描述形式(类似一些编程语言中的 ...
分类:
Web程序 时间:
2019-10-05 23:59:26
阅读次数:
192
字典 特点:{"key1": value1, "key2":value2} , 键值对中的值可以为任何数据类型,键不能为列表、字典(无法哈希),布尔值可以为键(0/1)但是可能会与其他的键重复;字典的存储是无序的。 基本操作: 输出: 输出: 输出: 输出: 输出: 方法: 1、clear() 2、 ...
分类:
编程语言 时间:
2019-10-05 10:30:20
阅读次数:
77
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交 ...
分类:
其他好文 时间:
2019-10-04 21:08:00
阅读次数:
79
Object类型 中的队形其实就是一组数据和功能的集合。对象可以通过执行 操作符后跟要创建的对象类型的名称来创建。而创建 类型的示例并为其添加属性和(或)方法,就可以创建自定义对象。 语法 {[key]:[value], ...} 任何一个对象都是由零到多组键值对(属性名:属性值)组成的(并且属性名 ...
分类:
Web程序 时间:
2019-10-04 15:27:45
阅读次数:
137
Redis从一无所知,到知道一点点 Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库 ——维基百科 可以简单的说, Redis就是一款高性能的NoSQL数据库 什么是NoSQL? 我们前面所学习的 MySQL数据库 是典型的的 SQL数据库 也就是传统的关 ...
分类:
其他好文 时间:
2019-10-04 11:19:32
阅读次数:
103
根据 URI 规范 RFC 3986 中 URL 的定义,路径片段中可以可以包含键值对。规范中没对对应的术语。一般 “URL 路径参数” 可以被应用,尽管更加独特的 “矩阵 URI” 也经常被使用并且相当有名。在 Spring MVC 它被成为矩阵变量 矩阵变量可以出现在任何路径片段中,每一个矩阵变 ...
分类:
编程语言 时间:
2019-10-04 09:30:22
阅读次数:
118