累了就要写题解,最近总是被虐到没脾气。
来回最短路问题貌似也可以用DP来搞,不过拿费用流还是很方便的。
可以转化成求满流为2 的最小花费。一般做法为拆点,对于 i 拆为2*i 和 2*i+1,然后连一条流量为1(花费根据题意来定) 的边来控制每个点只能通过一次。
额外添加source和sink来控制满流为2。
代码都雷同,以HDU3376为例。
#include
#include
#...
分类:
其他好文 时间:
2014-07-23 22:40:08
阅读次数:
560
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:
其他好文 时间:
2014-07-22 22:36:13
阅读次数:
406
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能,HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题,HA策略通过热备的方式为主NameNode提供一个备用者,并且这个备用者的状态一直和主Namenode的元数据保持一致,一旦主NameNode挂..
分类:
其他好文 时间:
2014-07-22 14:55:35
阅读次数:
365
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类:
其他好文 时间:
2014-07-22 14:38:19
阅读次数:
179
1.1 Spark交互式分析
运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。
./bin/pysp...
分类:
其他好文 时间:
2014-07-22 00:29:38
阅读次数:
239
重新格式化hdfs系统的方法:(1)查看hdfs-ste.xmldfs.name.dir/home/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/home/hadoop/hdsf/datadatanode上数据块的物理存储位置将dfs.name...
分类:
其他好文 时间:
2014-07-22 00:10:37
阅读次数:
263
调试加安装了半天,怎么也没有配置好怎么通过Eclipse直接连接hdfs,最后我还是打成一个jar包放到Linux虚拟机中执行的。
执行命令Java -jar XXX.jar.
其中对hdfs的操作比较简单,主要就FileSystem这一个类,这个东西搞懂了,你对通过程序进行对hdfs的操作自然而然的也就非常熟练了。
下面我简单的举一个简单的从hdfs上读取文件内容的例子。大家分享一下。p...
分类:
其他好文 时间:
2014-07-21 22:32:08
阅读次数:
217
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qlserver03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop/tmp</..
分类:
其他好文 时间:
2014-07-21 19:34:42
阅读次数:
247
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一...
分类:
其他好文 时间:
2014-07-21 10:21:00
阅读次数:
327
Hadoop2.2.0版本HDFS的HA配置注:以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群,机器IP分别是:10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类:
其他好文 时间:
2014-07-20 15:22:31
阅读次数:
363