问题描述: 在有几台电脑上pip install paramike报错 报错内容: Could not fetch URL https://pypi.python.org/simple/pip/: There was a problem confirming the ssl certificate: ...
分类：
编程语言 时间：
2018-07-13 01:15:31
阅读次数：
335
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
HDFS的工作机制 概述 HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并 ...
分类：
其他好文 时间：
2018-05-12 21:40:15
阅读次数：
202
它出现在Hadoop1.x版本中，又称辅助NameNode，在Hadoop2.x以后的版本中此角色消失。如果充当datanode节点的一台机器宕机或者损害，其数据不会丢失，因为备份数据还存在于其他的datanode中。但是，如果充当namenode节点的机器宕机或损害导致文件系统无法使用，那么文件系 ...
分类：
其他好文 时间：
2018-04-17 11:41:20
阅读次数：
208
1. HDFS的基本概念和特性 设计思想——分而治之：将大文件、大批量文件分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，....）提供数据存储服务。 1.1 HDFS的概念 首先，它是一 ...
分类：
其他好文 时间：
2018-04-07 11:15:58
阅读次数：
281
1.数据块：适合大文件的存储 好处：可以存储比单一磁盘大的文件、简化了存储管理（将管理块和管理文件的功能区分开）、方便容错（数据块进行） 为什么块的大小比磁盘块大的多？减少管理数据块的开销、同时在对文件进行读写时较少寻址开销、可以减少名字节点管理文件与数据块的关系的开销 2.名字节点与第二名字节点（ ...
分类：
其他好文 时间：
2016-11-28 23:09:05
阅读次数：
432
一 为什么对视频编码图像质量客观评价 视频图像质量主观评价一般采用连续双激励质量度量法对任一观测者连续给出原始视频图像和处理过的失真图像，由观测者根据主观感知给出分值，其需针对多个视频对象进行多次重复实验，耗时多、费用高，难以操作；而视频编码图像的客观评价早期主要采用峰值信噪比(PSNR)或均方差( ...
分类：
其他好文 时间：
2016-08-26 21:16:26
阅读次数：
341
Synopsys Finesim(FSIM) vK-2015.06 Linux64 1DVD电路仿真Synopsys Core Synthesis Tools(syn) vK-2015.06 Linux64 1CDSynopsys IC Compiler II vK-2015.06 Linux64 ...
分类：
系统相关 时间：
2015-07-17 11:39:34
阅读次数：
253
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
Lin Zhang等人在论文《A COMPREHENSIVEEVALUATION OF FULL REFERENCE IMAGE QUALITY ASSESSMENT ALGORITHMS》中，比较了几种全参考图像质量评价算法，在此记录一下他们的结果。下表所示是他们所用的图像库，包含了：TID2013database，TID2008database，CSIQ database，LIVEdataba...
分类：
其他好文 时间：
2014-08-05 00:39:38
阅读次数：
387
