码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink lzo 格式压缩    ( 6349个结果
POJ 2135 Farm Tour && HDU 2686 Matrix && HDU 3376 Matrix Again 费用流求来回最短路
累了就要写题解,最近总是被虐到没脾气。 来回最短路问题貌似也可以用DP来搞,不过拿费用流还是很方便的。 可以转化成求满流为2 的最小花费。一般做法为拆点,对于 i 拆为2*i 和 2*i+1,然后连一条流量为1(花费根据题意来定) 的边来控制每个点只能通过一次。 额外添加source和sink来控制满流为2。 代码都雷同,以HDU3376为例。 #include #include #...
分类:其他好文   时间:2014-07-23 22:40:08    阅读次数:560
hbase首次导入大批次的数据成功!
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:其他好文   时间:2014-07-22 22:36:13    阅读次数:406
利用QJM实现HDFS的HA策略部署与验证工作记录分享
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能,HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题,HA策略通过热备的方式为主NameNode提供一个备用者,并且这个备用者的状态一直和主Namenode的元数据保持一致,一旦主NameNode挂..
分类:其他好文   时间:2014-07-22 14:55:35    阅读次数:365
FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output09 already exists
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类:其他好文   时间:2014-07-22 14:38:19    阅读次数:179
Spark快速上手之交互式分析
1.1  Spark交互式分析 运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供 了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。 进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。 ./bin/pysp...
分类:其他好文   时间:2014-07-22 00:29:38    阅读次数:239
重新格式化hdfs系统的方法
重新格式化hdfs系统的方法:(1)查看hdfs-ste.xmldfs.name.dir/home/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/home/hadoop/hdsf/datadatanode上数据块的物理存储位置将dfs.name...
分类:其他好文   时间:2014-07-22 00:10:37    阅读次数:263
用程序对hdfs进行操作。
调试加安装了半天,怎么也没有配置好怎么通过Eclipse直接连接hdfs,最后我还是打成一个jar包放到Linux虚拟机中执行的。 执行命令Java -jar  XXX.jar. 其中对hdfs的操作比较简单,主要就FileSystem这一个类,这个东西搞懂了,你对通过程序进行对hdfs的操作自然而然的也就非常熟练了。 下面我简单的举一个简单的从hdfs上读取文件内容的例子。大家分享一下。p...
分类:其他好文   时间:2014-07-21 22:32:08    阅读次数:217
Hadoop(1.2.1) 常用配置-------笔记
core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs://qlserver03:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/grid/hadoop/tmp</..
分类:其他好文   时间:2014-07-21 19:34:42    阅读次数:247
Hadoop命令参数说明
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一...
分类:其他好文   时间:2014-07-21 10:21:00    阅读次数:327
lab-bill-hadoop-ha-davidey
Hadoop2.2.0版本HDFS的HA配置注:以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群,机器IP分别是:10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类:其他好文   时间:2014-07-20 15:22:31    阅读次数:363
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!