MapReduce理论 1 概述 Hadoop Map/Reduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由map... ...
分类：
其他好文 时间：
2016-07-03 14:26:49
阅读次数：
188
分组密码链接-消息认证码--CCM Counter with CBC-MAC 组成CCM的关键算法是AES加密算法、CTR工作模式和CMAC认证算法，在加密和MAC算法中共用一个密钥K。 CCM加密过程的输入由三部分构成： 1、将要被加密和认证的数据，即明文消息P数据块 2、将要被认证，但是不需要加 ...
分类：
其他好文 时间：
2016-07-02 15:52:07
阅读次数：
1145
Linux下，I/O处理的层次可分为4层： 系统调用层，应用程序使用系统调用指定读写哪个文件，文件偏移是多少 文件系统层，写文件时将用户态中的buffer拷贝到内核态下，并由cache缓存该部分数据 块层，管理块设备I/O队列，对I/O请求进行合并、排序 设备层，通过DMA与内存直接交互，将数据写到 ...
分类：
系统相关 时间：
2016-07-02 13:07:58
阅读次数：
214
定义： Hash函数H将可变长度的数据块M作为输入，产生固定长度的Hash值h = H(M)。 称M是h的原像。因为H是多对一的映射，所以对于任意给定的Hash值h，对应有多个原像。如果满足x≠y且H(x)=H(y)，则称为碰撞。 应用： 用于验证数据的完整性，即判断数据是否被篡改过。 密码学Has ...
分类：
其他好文 时间：
2016-07-01 10:10:26
阅读次数：
201
1.文件存储的位置 示例查看 ./bin/hadoop fsck /data/bb/bb.txt -files -blocks -racks –locations blk_1076386829_2649976是meta文件名，具体如何找到这个meta文件，可以通过find命令，从图中我们可以看到文件 ...
分类：
其他好文 时间：
2016-06-30 23:07:24
阅读次数：
221
InnoDB行锁实现方式 InnoDB行锁是通过给索引上的索引项加锁来实现的，这一点MySQL与Oracle不同，后者是通过在数据块中对相应数据行加锁来实现的。InnoDB这种行锁实现特点意味着：只有通过索引条件检索数据，InnoDB才使用行级锁，否则，InnoDB将使用表锁！ 在实际应用中，要特别 ...
分类：
数据库 时间：
2016-06-30 19:59:19
阅读次数：
204
1. 背景 Block Replica Placement——数据块复本存储策略，HDFS Namenode以此为依据选取数据块复本应存储至哪些HDFS Datanodes，策略的设计需要权衡以下三个因素： 可靠性 写带宽 读带宽 注：本文均以数据块复本因子为3来讨论。 我们以两个比较极端的例子来说 ...
分类：
其他好文 时间：
2016-06-29 20:38:03
阅读次数：
1092
一、数据块 Oracle对数据库数据文件中的存储空间进行管理的单位是数据块。数据块是数据库中最小的（逻辑）数据单位，是最小的I/O单位。与数据块对应的，所有数据在操作系统级的最小物理存储单位是字节。每种操作系统都有一个被称为块容量的参数。Oracle每次获取数据时，总是访问整个数据块，而不是按照操作 ...
分类：
数据库 时间：
2016-06-29 11:12:40
阅读次数：
248
备份集概念(backupset):Oracle默认的备份类型，把数据文件中已经使用过的数据块备份到一个或多个文件中，这样的文件叫做“备份片”，所有备份出来的文件组合成为“备份集”。备份集与备份片的关系类似于表空间与数据文件的关系，备份集是一个逻辑概念，将备份片(物理文件)逻辑..
分类：
其他好文 时间：
2016-06-28 18:54:42
阅读次数：
131
软RAID需要内核支持md模块mdadm可以将任何块设备做成RAIDmdadm：模式化命令创建模式-C|--create-l|--level=:指定级别-c|--chunk=：指定数据块大小，默认为64，单位为K-n|--raid-devices=：指定设备数-a：自动创建设备文件，yes|no-s|--scanScanconfigfileor/proc/mdstatformiss..
分类：
其他好文 时间：
2016-06-25 23:14:10
阅读次数：
230
