转载注明出处： http://www.cnblogs.com/anbylau2130/p/3877983.html原文： 请假示例流程定义包源码下载(注：par包就是zip格式压缩包)。原文地址：http://www.cnblogs.com/LuBen/archive/2007/08/11/8520...
分类：
Web程序 时间：
2014-07-30 14:42:04
阅读次数：
300
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类：
其他好文 时间：
2014-07-30 09:59:03
阅读次数：
358
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError 最近总是被这个错误爆，终于找到了解决方法。 maxOpenFile 默认 5000 ， 调到500后错误不在出现。 详见下面j...
分类：
其他好文 时间：
2014-07-30 01:09:53
阅读次数：
247
本日志由系统自动生成。
从7月14日起便按照心想事成的节奏进入了实验室。打酱油。周末又去学活值班，生活的框架还是很不错的。
1、基于Hadoop的Flume，zooKeeper，这些东西算是明白了个大概。
2、第一周大概学习了javascript、jquery、css、ci框架（php）这些基本的东...
分类：
其他好文 时间：
2014-07-30 00:41:42
阅读次数：
279
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input/LICENSE.txt could only be replicated to 0 nodes, instead of 1
at org.apache...
分类：
其他好文 时间：
2014-07-29 18:13:22
阅读次数：
227
因为业务需要，需要将一批mysql数据导入到HBASE，现在先将数据从Mysql导出到HDFS。版本：hadoop CDH4.5，Hbase-0.946 1、实体类 YqBean 是我的实体类，请根据自己需要修改，实体类需要 implements Writable, DBWritable。 ...
分类：
数据库 时间：
2014-07-29 11:50:56
阅读次数：
292
1. Motivation2. MapReduceMapReduce是一种数据密集型并行计算框架。待处理数据以“块”为单位存储在集群机器文件系统中（HDFS），并以(key, value)的键值对形式保存。当任务启动时，系统将计算任务分配给存储数据的相应机器。MapReduce计算任务可以划分为两个...
分类：
其他好文 时间：
2014-07-28 15:16:13
阅读次数：
202
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个...
分类：
其他好文 时间：
2014-07-28 15:07:43
阅读次数：
170
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解...
分类：
其他好文 时间：
2014-07-28 15:06:33
阅读次数：
210
