这里介绍一下hadoop的组成,
hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类:
其他好文 时间:
2014-06-06 19:27:24
阅读次数:
322
查看crash日志的步骤:1.找到xcode自带的文symbolicatecrash,路径是/Applications/Xcode.app/Contents/Developer/Platforms/iPhoneOS.platform/Developer/Library/PrivateFramewor...
分类:
其他好文 时间:
2014-06-06 07:32:04
阅读次数:
327
1、创建文件夹mkdir
与win7的dir查看文件夹2、删除文件夹rmdir3、显示文件夹里的文件ls -l 区别于ls -al (有一些隐藏文件)4、清屏clear与win7的
cls5、删除某个文件:rm -f text.txtrpmdebls 显示文件名称、属性等cp 复制文件或目录rm 删...
分类:
系统相关 时间:
2014-06-05 12:45:40
阅读次数:
305
1.运行终端,执行命令行进入missing file目录,然后运行svn delete
nameOfMissingFile或git rm nameOfMissingFile2.删除隐藏的.svn文件。命令行运行defaults write
com.apple.finder AppleShowAllF...
分类:
其他好文 时间:
2014-06-03 16:20:06
阅读次数:
405
首先打开Google,在关键词输入框中输入"index
of/"inurl:lib(双引號为英文状态下),选择“搜索中文简体网页”选项,回车搜索,得到了一些网页,不要以为这是一些普通的页面,事实上它们是一些图书站点的资源列表,点击打开它来看看,怎么样?是不是全部资源一收眼底了?
使用其它keywor...
分类:
其他好文 时间:
2014-06-02 19:52:16
阅读次数:
216
不知道大家有没有碰到这种文件,因为是乱码,文件无法删除,这时我们就可以考虑用下面的命令进行删除文件或目录 ls -i //列出文件节点 find ./
-inum XXX(节点号) -print -exec rm -rf {} \; //删除节点号文件 find . -inum XXXX(节点号) ...
分类:
系统相关 时间:
2014-06-02 06:37:25
阅读次数:
370
hadoop yarn的重构,根本的思想是将 JobTracker 两个主要的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配,每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类:
其他好文 时间:
2014-06-02 02:27:16
阅读次数:
332
x86台式机,window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存,才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具,很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类:
其他好文 时间:
2014-06-02 02:23:23
阅读次数:
315
Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们进来看看吧,下面是它的官网的翻译。Spa...
分类:
数据库 时间:
2014-06-02 01:27:13
阅读次数:
389
iOS7刚发布的时候,总是出现这个 Can't add self as subview 的崩溃,团队内部没出现过,但是外部用户的crash频频上报这个崩溃。
异常描述和崩溃堆栈是这样的:
*** Terminating app due to uncaught exception 'NSInvalidArgumentException', reason: 'Can't add se...
分类:
其他好文 时间:
2014-06-01 17:32:08
阅读次数:
489