1.简介Hadoop是一款开源的大数据通用处理平台，其提供了分布式存储和分布式离线计算，适合大规模数据、流式数据(写一次,读多次)，不适合低延时的访问、大量的小文件以及频繁修改的文件。*Hadoop由HDFS、YARN、MapReduce组成。Hadoop的特点：1.高扩展(动态扩容)：能够存储和处理千兆字节数据(PB)，能够动态的增加和卸载节点，提升存储能力(能够达到上千个节点)2.低成本：只需
分类：
其他好文 时间：
2018-11-26 20:01:57
阅读次数：
198
1.简介Hadoop是大数据通用处理平台，提供了分布式文件存储以及分布式离线并行计算，由于Hadoop的高拓展性，在使用Hadoop时通常以集群的方式运行，集群中的节点可达上千个，能够处理PB级的数据。Hadoop各个模块剖析：https://×××w.cnblogs.com/funyoung/p/9889719.html2.Hadoop集群架构图3.Hadoop集群搭建3.1修改配置1.配置SSH
分类：
其他好文 时间：
2018-11-23 18:27:13
阅读次数：
186
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，估计很多人都没有一个明确的概念，在《大数据时代》提到了大数据的4个特征，一个是数量大，一个是价值大，一个是速度快，一个是多样性。 一个是数量比较大，大致有多大，就是大到PB级别，甚至ZB级别，1PB等于1024TB，1TB等于102 ...
分类：
其他好文 时间：
2018-11-23 16:50:25
阅读次数：
320
敏捷测试（Agile Testing） SM= Scrum Master PO= Product Owner PB= Product Backlog SB= Sprint Backlog Scrum Team = Development Team + Scrum Master + Product O ...
分类：
其他好文 时间：
2018-11-20 23:36:52
阅读次数：
410
题意与分析 2018ICPC北京站A题。 题意是这样的，给定若干人的武力值大小（ 的意思是A比B厉害），问到第几行会出现矛盾。 这题不能出现思维定势，看到矛盾就是矛盾并查集——A B、A C是不能推出B C或者B define INF 0x3f3f3f3f define PB emplace_bac ...
分类：
其他好文 时间：
2018-11-18 19:29:30
阅读次数：
242
Codeforces Round 520 (Div. 2) D. Fun with Integers 题意：a与b之间有边，当且仅当存在一个$x$使得$a b = x$或 $a x = b$，这条边的边权为$|x|$，保证$|a|,|b|,|x| define pb push_back typede ...
分类：
其他好文 时间：
2018-11-16 17:30:23
阅读次数：
219
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于 ...
分类：
其他好文 时间：
2018-11-14 11:00:40
阅读次数：
412
训练了很久的Tf模型，终于要到生产环境中去考研一番了。今天花费了一些时间去研究tf的模型如何在生产环境中去使用。大概整理了这些方法。 继续使用分步骤保存了的ckpt文件 这个貌似脱离不了tensorflow框架，而且生成的ckpt文件比较大，发布到生产环境的时候，还得把python的算法文件一起搞上 ...
raise self.ParseError('Expected identifier or number, got %s.' % result)google.protobuf.text_format.ParseError: 139:1 : Expected identifier or number, ...
分类：
其他好文 时间：
2018-11-12 17:26:32
阅读次数：
873
缓存:便携式的,可移动的容器redis介绍: nosql,key-value,非关系型,可持久化,内存,分布式的,缓存,数据库; nosql: not only structured query language 不仅仅结构化查询语言 PB ZB EB YB BB NB(70万亿吨一TB硬盘,地球6 ...
分类：
其他好文 时间：
2018-11-09 22:58:10
阅读次数：
236
