经常有人问我有关“大数据”的问题，而且多半情况下我们似乎是在各种不同的抽象和理解级别进行交谈。实时 和高级分析 之类的词语频频现身，并且我们总是立即开始谈论产品，这通常并不是一个好主意。 因此我们来回顾一下，从一个用例的角度出发来看看大数据的含义，然后我们可以将该用例与一个可用的高级基础架构图对应起 ...
分类：
其他好文 时间：
2017-07-31 20:04:12
阅读次数：
134
何为数据（系统）切分？ 简单来说，就是指通过某种特定的条件，按照某个维度，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面以达到分散单库（主机）负载的效果。 数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的 ...
分类：
其他好文 时间：
2017-07-30 10:13:07
阅读次数：
205
在SQL*Plus中默认的"&"表示替代变量，也就是说，只要在命令中出现该符号，SQL*Plus就会要你输入替代值。这就意味着你无法将一个含有该符号的字符串输入数据库或赋给变量，如字符串“SQL&Plus”系统会理解为以“SQL”打头的字符串，它会提示你输入替代变量Plus的值，如果你输入ABC，则 ...
分类：
数据库 时间：
2017-07-27 15:43:48
阅读次数：
195
1.大数据是什么? 大数据是最近IT界最常用的术语之一。然而对大数据的定义也不尽相同，所有已知的论点例如结构化的和非结构化、大规模的数据等等都不够完整。大数据系统通常被认为具有数据的五个主要特征，通常称为数据的5 Vs。分别是大规模，多样性，高效性、准确性和价值性。 据Gartner称，大规模可以被 ...
分类：
其他好文 时间：
2017-07-25 11:20:30
阅读次数：
132
rsync配置文件：/etc/rsyncd.conf ###安装rsync后系统默认不存在rsyncd.conf需要自己创建。[root@zhu-centos6~]#cat/etc/rsyncd.conf##rsyncd.confstart##uid=rsyncgid=rsyncusechroot=nomaxconnections=200timeout=300pidfile=/var/run/rsyncd.pidlockfile=/var/run/rsync.loc..
分类：
其他好文 时间：
2017-07-16 17:22:09
阅读次数：
152
一、is 和 as 运算符 1、object数据类型 object是所有数据类型的基类，所有数据类型都是从object中衍生出来的。所有数据类型都是object的子类型。 比如数组在添加数据时，默认就是object类型的数据，系统会隐式转换为数据对应的类型。 基类可以隐式转换为子类，但子类无法隐式转 ...
分类：
其他好文 时间：
2017-07-16 15:42:52
阅读次数：
166
Copy from: 一篇文章看懂TPCx-BB(大数据基准测试工具）源码 TPCx-BB是大数据基准测试工具,它通过模拟零售商的30个应用场景，执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、线性回归等）。为了更好地了解被测试的系统的 ...
分类：
其他好文 时间：
2017-07-11 21:16:27
阅读次数：
399
从事了很多年java,c#的开发，之前基本都是在使用window，系统的部署也基本是放在window上，较少接触到linux。最近二年基本上都以使用linux为主，原因主要是hadoop、spark等大数据系统都是跑在linux上的，还有很多优秀的开源组件或产品如zookeeper、nginx、lvs等一般也是部署在l..
分类：
系统相关 时间：
2017-06-26 10:31:33
阅读次数：
301
******HDFS基本概念篇****** 1. HDFS前言 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 ...
分类：
其他好文 时间：
2017-06-23 20:58:26
阅读次数：
285
未来全国的发票信息将形成完整的大数据系统，当初谁消费了什么商品或服务的发票用在了哪个单位的报销或抵扣上，将形成完整的信息链条，有助于防范乱报销、乱抵扣现象，打击虚开发票和假发票。 消费者在商场超市购物开具发票时将出现重大变化，以往商家通常归类开具的“食品”、“办公用品”、“礼品”、“日用品”这种大类 ...
分类：
其他好文 时间：
2017-06-19 13:00:28
阅读次数：
145
