Hadoop压缩配置 文件存储格式 企业级调优 1 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控 ...
分类：
其他好文 时间：
2019-02-20 10:07:51
阅读次数：
232
在最初的 http 协议中，没有上传文件方面的功能。RFC1867（"Form-based File Upload in HTML".）为 http 协议添加了这个功能。客户端的浏览器，如 Microsoft IE, Mozila, Opera 等，按照此规范将用户指定的文件发送到服务器。服务器端的 ...
分类：
编程语言 时间：
2019-02-18 13:03:27
阅读次数：
214
KVM存储模式基于文件系统的存储dir:目录格式的存储fs:磁盘分区存储neyfs:网络共享文件存储基于设备的存储**KVM支持的虚拟磁盘类型raw这并非是一种真正的磁盘格式，而是代表虚拟机所使用的原始镜像他并不存储元数据，因此可以作为保证虚拟机兼容性的候选方案。不支持快照和压缩等高级特性格式简但，容易转换成为其它的格式。需要文件系统用的支持才能使用sparsefilecow:copy-on-wr
分类：
其他好文 时间：
2019-02-10 23:23:37
阅读次数：
215
一、文件存储 1. TXT文本存储 例：知乎发现页面，获得数据存成TXT文本 注意： 1. 在用pyquery解析时，一定要找准属性进行匹配； 2. 打开文件open()函数第二个参数设置为a，其他值： 3.每次open()打开文件后都要用close()关闭，直接用 with as 语句，会自动关闭 ...
分类：
Web程序 时间：
2019-02-07 10:53:55
阅读次数：
271
前提条件： 安装并运行redis服务端程序，安装RedisPy库 说明：Redis 是 StrictRedis 的子类，它的主要功能是用于向后兼容旧版本库里的几个方法，官方推荐使用 StrictRedis。 1.连接 2.key操作 方法 作用 参数说明 示例 示例说明 示例结果 exists(na ...
分类：
其他好文 时间：
2019-01-30 12:42:47
阅读次数：
108
1.连接并创建数据库 执行结果： Database version: ('5.7.23',) 结果是创建一个名为spiders的数据库 2.创建数据表 注意：这次连接数据库时需要指定创建数据表所在的数据库，也就是db参数的值 3.插入一条数据 通用写法： 这样一来，若是写入更多值的话直接给data字 ...
分类：
数据库 时间：
2019-01-29 20:42:17
阅读次数：
201
1.连接MongoDB 连接 MongoDB 我们需要使用 PyMongo 库里面的 MongoClient，一般来说传入 MongoDB 的 IP 及端口即可，第一个参数为地址 host，第二个参数为端口 port，端口如果不传默认是 27017。 2.指定数据库 3.指定集合 MongoDB 的 ...
分类：
数据库 时间：
2019-01-29 20:38:11
阅读次数：
234
一、mongodb 1、介绍 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的 ...
分类：
数据库 时间：
2019-01-26 14:04:11
阅读次数：
180
mongodb mongo简介 简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似js ...
分类：
数据库 时间：
2019-01-24 22:54:10
阅读次数：
204
mongo简介 简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格 ...
分类：
数据库 时间：
2019-01-24 20:43:10
阅读次数：
194
