码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
Eclipse中快捷键的使用
1:datanode中的快,命令ll查看 2:实际上文件在进行上传到hdfs的过程中,...
分类:系统相关   时间:2014-07-31 13:22:46    阅读次数:206
Oracle Multitenant Environment
About oracle mulittenant environmentThe multitenant architecture enables an Oracle database to function as a multitenant container database (CDB) that...
分类:数据库   时间:2014-07-31 13:07:46    阅读次数:321
HBase概念学习(七)HBase与Mapreduce集成
这篇文章是看了HBase权威指南之后,依据上面的解说搬下来的样例,可是略微有些不一样。HBase与mapreduce的集成无非就是mapreduce作业以HBase表作为输入,或者作为输出,也或者作为mapreduce作业之间共享数据的介质。这篇文章将解说两个样例:1、读取存储在hdfs上的txt文...
分类:其他好文   时间:2014-07-31 12:09:16    阅读次数:261
监控hdfs坏块脚本
最近发生了一次因为hdfs的坏块导致的hive计算问题,因此写了个监控脚本用来监控hdfs的坏块,脚本如下:#!/usr/bin/python #-*-coding:utf8-*- #editbyericni #20140724 #monitorhdfscorrupt importsys importproperty importsendmail importre,os reload(sys) sys.setdefaulten..
分类:其他好文   时间:2014-07-31 03:11:06    阅读次数:350
Hadoop学习笔记(一)——Hadoop体系结构
HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的,并且通过MapReduce来实现分布式并行任务处理的程序支持。...
分类:其他好文   时间:2014-07-30 20:57:44    阅读次数:238
Cloudera impala简介及安装详解
一、Impala简介 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。 二、Impala安装 1.安装要求...
分类:其他好文   时间:2014-07-30 09:59:03    阅读次数:358
一个数据应用闭环(转载)
收集:各种开源的分布式日志收集系统:Scribe, Flume等等存储可以同时包含各种不同的存储类型,可根据不同的需求增减相应的存储类型:底层存储:能够存储大量的数据,最好具有可扩展性 HDFS S3等等关系存储:MySQL,Postgresql等等键值存储:HBase,Redis等等计算计算能力也...
分类:其他好文   时间:2014-07-30 09:48:23    阅读次数:213
could only be replicated to 0 nodes, instead of 1
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input/LICENSE.txt could only be replicated to 0 nodes, instead of 1 at org.apache...
分类:其他好文   时间:2014-07-29 18:13:22    阅读次数:227
关于Build Active Architecture Only属性
Build Active Architecture Only这个属性,设置为NO时,我知道会编译多个版本,不过打出来的包会大不少。 这个属性设置为yes,是为了debug的时候编译速度更快,它只编译当前的architecture版本。 而设置为no时,会编译所有的版本。 这个是设备对应的architecture: armv6:iPhone 2G/3G,iPod 1G/2G arm...
分类:其他好文   时间:2014-07-29 18:01:31    阅读次数:294
用mapreduce实现将mysql数据导出到HDFS上
因为业务需要,需要将一批mysql数据导入到HBASE,现在先将数据从Mysql导出到HDFS。版本:hadoop CDH4.5,Hbase-0.946 1、实体类 YqBean 是我的实体类,请根据自己需要修改,实体类需要 implements Writable, DBWritable。 ...
分类:数据库   时间:2014-07-29 11:50:56    阅读次数:292
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!