现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
1. Hadoop中遇到的问题曾经所遇到的问题因为没有记录,所以忘了(1)NameNode没有启动成功, 是因为你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件里的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件里df...
分类：
其他好文 时间：
2014-06-28 12:47:08
阅读次数：
394
mysql 优化mysql> SHOW VARIABLES LIKE '%innodb_flush_log_at_trx_commit%';+--------------------------------+-------+| Variable_name | Val...
分类：
数据库 时间：
2014-06-28 10:40:55
阅读次数：
292
Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。1 安装环境操作系统：Ubuntu-12.04 JDK版本：jdk1.7.0_51 计算....
分类：
其他好文 时间：
2014-06-26 00:31:04
阅读次数：
302
背景: 有些分布式服务(比如HBase服务), 依赖于系统时间戳, 如果集群各个节点, 系统时间不一致, 导致服务出现诡异的情况.解决方案: 那如何同步集群各个节点之间的时间? 采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然...
分类：
其他好文 时间：
2014-06-25 22:59:50
阅读次数：
346
Thread 1 cannot allocate new log, sequence 415
Private strand flush not complete
Current log# 4 seq# 414 mem# 0: /dev/rora_redotb04
Thread 1 advanced to log sequence 415...
分类：
其他好文 时间：
2014-06-24 17:44:29
阅读次数：
285
Erlang消息接收函数，一般都会设计成尾递归调用自己的模式。但是这样的模式，如果没有消息则会无限的等待下去，所以为了不无限等待，这里可以加个超时设定，例如：flush() -> receive _ -> flush() after 1000 -> ok ...
分类：
其他好文 时间：
2014-06-24 11:02:14
阅读次数：
213
1. 创建HBase表的对象HBase表的对项名字叫HTable，创建它的方法有很多，常见的有如下：org.apache.hadoop.hbase.client.HTable hTable = new HTable(org.apache.hadoop.hbase.HBaseConfiguration...
分类：
编程语言 时间：
2014-06-23 08:32:23
阅读次数：
386
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
一 Hbase是个啥东东？
在说Hase是个啥家伙之前，首先我们来看看两个概念，面向行存储和面向列存储。面向行存储，我相信大伙儿应该都清楚，我们熟悉的RDBMS就是此种类型的，面向行存储的数据库主要适合于事务性要求严格场合，或者说面向行存储的存储系统适合OLTP，但是根据CAP理论，传统的RDBMS，为了实现强一致性，通过严格的ACID事务来进行同步，这就造成了系统的可用性和伸缩性方面大大折扣...
分类：
数据库 时间：
2014-06-22 17:58:25
阅读次数：
291
