主要功能： 1、存储：HDFS 2、分析/运算：Mapreduce 3、调度：YARN 存储： hdfs分布式文件存储系统，是nosql数据库，每台节点服务器都是hdfs的部分，大数据平均分布在每个节点上，并且是以文件存储的形式，每个节点上存储的部分数据有通过块来进行数据文件的分片，形成数据块，每个 ...
分类：
其他好文 时间：
2019-04-06 23:03:41
阅读次数：
139
需要解决的： 如何为每个数据块分配一个Map计算任务，也就是代码是如何发送到数据块所在的服务器上面的，发送后如何启动的，启动之后如何知道自己需要计算的数据在文件什么位置（BlockID是什么）。 处于不同服务器的map输出的<key,value>,如何把相同的key聚合在一起发送给Reduce任务处 ...
分类：
其他好文 时间：
2019-04-02 21:02:25
阅读次数：
201
版本一：datafile1.go：packagev1import("errors""io""os""sync")//Data代表数据的类型。typeData[]byte//DataFile代表数据文件的接口类型。typeDataFileinterface{//Read会读取一个数据块。Read()(rsnint64,dData,errerror)//Write会写入一个数据块。Write(dDat
分类：
其他好文 时间：
2019-04-01 17:24:05
阅读次数：
112
在实际应用中，hdfs block块的大小设置为多少合适呢？为什么有的是64M，有的是128M、256M、512呢？ ...
分类：
其他好文 时间：
2019-03-30 01:27:43
阅读次数：
263
区块链（Blockchain），是比特币的一个重要概念，它本质上是一个去中心化的数据库，同时作为比特币的底层技术，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次比特币网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。（百度百科） 区块链本身的结构是非常简单的，其复杂... ...
分类：
其他好文 时间：
2019-03-29 14:54:46
阅读次数：
204
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
存在一种情况： 一个LOV的值当前有效，因此填入保存。但突然无效后，当查询该界面时就会弹出LOV框使其修改。 解决方案： 1. 非常粗暴，不设置校验，在LOV对应的item强行将校验设置为NO。 2. 因为这个过程在查询后触发，在对应数据块的POST-QUERY 触发器添加代码，将LOV对应字段强制 ...
分类：
数据库 时间：
2019-03-22 18:50:41
阅读次数：
316
HTTP简介 超文本传输协议（HTTP：Hypertext Transport Protocol）是万维网应用层的协议，它通过两个程序实现：一个是客户端程序（各种浏览器），另一个是服务器 （常称Web服务器）。这两个通常运行在不同的主机上，通过交换报文来完成网页请求和响应。报文简介 报文是一个数据块 ...
分类：
Web程序 时间：
2019-03-12 19:53:44
阅读次数：
627
文件系统： Linux上文件分为：用户数据（user data, 文件数据块（data block）：记录文件真实内容的地址）和元数据（meta data，文件附加属性（文件大小、创建时间、所有者）inode号，文件索引节点号，文件唯一标识符而非文件名，系统和程序通过inode号寻找正确的文件数据块 ...
分类：
系统相关 时间：
2019-03-06 13:23:13
阅读次数：
195
HTTP报文：它是HTTP应用程序之间发送的数据块。 详细说：这些数据块以一些文本形式的元信息开头，这些信息描述了报文的内容及含义，后面跟着可选的数据部分。这些报文都是在客户端、服务器、和代理之间的流动。 HTTP报文的执行顺序： 一次HTTP请求，HTTP报文会从 “客户端” > "代理" > " ...
分类：
Web程序 时间：
2019-03-04 20:57:07
阅读次数：
169
