一、概述 1.HDFS中的角色 NameNode： 负责管理整个文件系统的元数据 Secondary NameNode： DataNode： 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块（由上传的客户端进行切块处理，这样不大于128M切块大小的实际是多少就是多少）后 ...
分类：
其他好文 时间：
2018-01-29 16:11:23
阅读次数：
164
在学习操作系统时，我们都知道DMA（直接内存读取）的作用，以前I/O是调用一次系统中断去告诉cpu我搬来4k的数据块让cpu来计算， 如此循环往复，这样cpu与I/O的交互次数就变得非常多，而DMA是将以大块数据块（远大于4k）全部传输完再去调用中断让cpu工作。 因此在DMA传输任务完成之前，cp ...
分类：
编程语言 时间：
2018-01-28 12:50:57
阅读次数：
142
在Hadoop中，一个MapReduce作业会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理。框架会对Map的输出先进行排序，然后把结果输入给Reduce任务。作业的输入和输出都会被存储在文件系统中，整个框架负责任务的调度和监控，以及重新执行已关闭的任务。MapReduce框 ...
分类：
其他好文 时间：
2018-01-27 21:19:10
阅读次数：
194
HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。 Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块 校验和 1、写入数据节点验证 Hd ...
分类：
其他好文 时间：
2018-01-26 21:02:43
阅读次数：
214
1. TCP连接 1.1 TCP为HTTP提供了一条可靠的比特传输管道。 TCP(Transmission Control Protocol) 传输控制协议，是主机对主机层的传输控制协议，提供可靠的连接服务。 TCP的数据是通过名为IP分组（或IP数据报）的小数据块来发送的。HTTP/HTTPS网络 ...
分类：
Web程序 时间：
2018-01-24 15:36:13
阅读次数：
204
# encoding:utf-8 import urllib import os def Schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per = 100... ...
分类：
编程语言 时间：
2018-01-17 23:26:51
阅读次数：
206
java中使用MD5进行加密 java中使用MD5进行加密 在各种应用系统的开发中，经常需要存储用户信息，很多地方都要存储用户密码，而将用户密码直接存储在服务器上显然是不安全的，本文简要介绍工作中常用的 MD5加密算法，希望能抛砖引玉。（一）消息摘要简介 一个消息摘要就是一个数据块的数字指纹。即对一 ...
分类：
编程语言 时间：
2018-01-11 16:01:00
阅读次数：
205
CBO 是基于成本的优化器 RBO 是基于规则的优化器 基于CBO的执行计划需要依赖于系统的统计信息,这些统计信息的类型\种类随着DBMS产品或相同DBMS的不同版本会存在一定的差异.统计信息包括行数、数据块数、没给数据块中的平均行数、行的平均长度、每个列常数的种类、离散程度、列值中的NUll的个数 ...
分类：
其他好文 时间：
2018-01-09 20:14:09
阅读次数：
171
关键术语： 超级快（super block）对象： 一个超级块对应一个具体的文件系统(已经安装的文件系统类型如 ext2，此处是实际的文件系统，不是 VFS)。 iNode 对象： inode是内核文件对象的元数据，inode 仅仅只是保存了文件对象的属性信息，包括：权限、属组、数据块的位置、时间戳 ...
分类：
其他好文 时间：
2018-01-05 19:51:57
阅读次数：
139
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方 ...
分类：
其他好文 时间：
2018-01-01 00:29:37
阅读次数：
217
