什么是Hash Hash算法,简称散列算法,也成哈希算法(英译),是将一个大文件映射成一个小串字符。与指纹一样,就是以较短的信息来保证文件的唯一性的标志,这种标志与文件的每一个字节都相关,而且难以找到逆向规律。 举个列子: 服务器存了10个文本文件,你现在想判断一个新的文本文件和那10个文件有没有一 ...
分类:
编程语言 时间:
2018-12-04 22:41:42
阅读次数:
322
存储映射 + 使一个磁盘文件与存储空间中的一个缓冲区相映射。 + 当从缓冲区中取数据,就相当于读文件中的相应字节。 + 将数据存入缓冲区,则相应的字节就自动写入文件。 使用这种方法,首先应通知内核,将一个指定文件映射到存储区域中。这个映射工作可以通过mmap函数来实现。 不通过IO。直接操作内存,效 ...
分类:
其他好文 时间:
2018-12-04 14:39:45
阅读次数:
135
insert、update、delete语句的返回值类型 对数据库执行修改操作时,数据库会返回受影响的行数。 在MyBatis(使用版本3.4.6,早期版本不支持)中insert、update、delete语句的返回值可以是Integer、Long和Boolean。在定义Mapper接口时直接指定需 ...
分类:
移动开发 时间:
2018-11-18 15:02:58
阅读次数:
1509
一、 Mapper Mapper接口负责数据处理阶段,它采用的形式为Mapper<K1,V1,K2,V2>Java泛型,这里键类和值类分别实现WritableComparable和Writable接口。 Mapper只有一个方法—map,用于处理一个单独的键、值对。 Void map(K1key,V ...
分类:
移动开发 时间:
2018-11-11 16:03:42
阅读次数:
228
一.Hive介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单SQL查询功能,SQL语句转换为MapReduce任务进行运行。 优点是可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库 ...
分类:
其他好文 时间:
2018-11-05 00:13:24
阅读次数:
219
一、简介 HIVE 是一个数据仓库,说白了就是把一些数据结构化的文件,映射成一张表,并且提供sql 接口去查询对应的数据。简单的查询不会经过mapreduce,涉及到排序之类,会生成一个hadoop 中的一个map reduce任务去执行。海量的数据文件都输存放在hdfs 中,所以hive 依赖于h ...
分类:
其他好文 时间:
2018-10-08 18:44:58
阅读次数:
166
在mybatis学习中有两种配置文件 :全局配置文件,映射配置文件。mybatis和spring整合,其实就是把mybatis中的全局配置文件的配置内容都变成一个spring容器的一个bean,让spring容器进行托管.因此整合过程就是把mybatis全局配置文件的内容整合到spring的配置文件 ...
分类:
编程语言 时间:
2018-10-02 18:04:00
阅读次数:
244
1、Hive体系 1.1、Hive是什么? 由Facebook开源用于解决海量结构化日志的数据统计,后成为Apache Hive作为一个开源项目。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能; 使用HDFS存储;本质是将HQL转化成Map ...
分类:
其他好文 时间:
2018-10-02 00:51:56
阅读次数:
225
(PS:系统ipc包括Semaphore,Message,SharedMemory) 一、Pipe(管道): 1、它是半双工的(即数据只能在一个方向上流动),具有固定的读端和写端 2、它只能用于具有亲缘关系的进程之间的通信(也是父子进程或者兄弟进程之间) 3、它可以看成是一种特殊的文件,对于它的读写 ...
分类:
系统相关 时间:
2018-09-22 18:31:19
阅读次数:
207
集合:去重,关系测试,无序存放 集合运算符: 集合元素的增删: 文件操作:打开文件,操作文件,关闭文件 为了防止忘记关闭文件,使用with语句: 在with语句内打开文件,with语句结束时文件关闭。 with可以同时打开多个文件: f称为文件句柄,是文件映射在内存中的对象,用来执行对文件的操作 读 ...
分类:
编程语言 时间:
2018-09-17 21:31:18
阅读次数:
270