PS:在学习python的时间里，抽空复习自己学习的Linux下的shell脚本知识点1.数据类型
学习一门语言，比较关心其数据的表示方式，以及数据的类型，这里首先看一个bash shell的脚本 执行脚本如下， 由此得出以下结论：
shell中，所有的变量字面类型都是字符串；仅当变量值全部...
分类：
其他好文 时间：
2014-05-09 08:00:40
阅读次数：
347
在这里稍微解释下几个文件的作用，/etc/bashrc、/etc/profile是系统全局环境变量设置，给所有用户使用，~/.bashrc、~/.bash_profile、~/.bash_login、~/.profile是用户目录下的私有变量设置。当进入系统运行一个bash
shell进程时，读取环...
分类：
其他好文 时间：
2014-05-09 07:46:34
阅读次数：
352
最近经常有些新同学不小心把根目录删了，所以为了防止这种情况我给你们写了一个小脚本。由于学习的需要，有些同学确实需要使用root用户，由于root用户的权限过大，偶尔的小失误可能造成很大的损失，这里便为你们准备了一个脚本。当然，平时如果不需要root权限的朋友，为了安全..
分类：
系统相关 时间：
2014-05-09 07:05:24
阅读次数：
321
egrep命令等同于grep命令加上-E选项，它支持扩展的正则表达式。扩展正则表达式和基本正则表达式类似，不同之处在于增加了一些新功能，部分元字符的用法也略有不同：.：任意单个字符[]：指定范围内的任意单个字符[^]：取反*：匹配其前的字符0次、1次或多次?：0次或1次{m,n}：至..
分类：
其他好文 时间：
2014-05-09 07:01:10
阅读次数：
431
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类：
其他好文 时间：
2014-05-09 02:33:28
阅读次数：
418
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类：
其他好文 时间：
2014-05-09 02:07:46
阅读次数：
313
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目（GoogleChubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类：
其他好文 时间：
2014-05-09 00:54:51
阅读次数：
265
1.COPY配置文件：cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录：vimhive-env.shHADOOP_HOME=/usr/a..
分类：
其他好文 时间：
2014-05-09 00:51:29
阅读次数：
282
