前沿：以前都是用mongodb的，但是量大了，mongodb显得不那么靠谱，改成hbase撑起一个量级。HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是..
分类：
编程语言 时间：
2014-08-08 18:28:27
阅读次数：
761
分布式文件系统HDFS 分布式文件系统[Distributed File System]概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式文件系统特点:是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际...
分类：
其他好文 时间：
2014-08-08 18:11:06
阅读次数：
245
文本行中各列打乱：awk 'BEGIN{srand()}{for(i=1;i<=NF;i++) b[rand()NF]=$i}END{for(x in b)printf "%s ",b[x]}'` data文本行中各行打乱：awk 'BEGIN{srand()}{b[rand()NR]=$0}END...
分类：
其他好文 时间：
2014-08-01 18:29:22
阅读次数：
220
hadoop fs列出所有的命令hadoop fs -help ls列出某个命令的详细信息hadoop dfs -mkdir /data/weblogshadoop dfs -mkdir /data/dir1 /data/dir2 ...创建文件夹,可以递归创建,可同时创建多个目录echo "Hel...
分类：
其他好文 时间：
2014-07-28 15:08:23
阅读次数：
224
既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
Linux下很多命令用起来真相当方便，尤其是进行批处理操作时。（话说感觉这种程序也不复杂，windows咋一直不搞一个好用的shell呢）这里列出一些常用shell操作的应用，具体命令的用法与解释就不列了，网上有很多很好的教程。###
批量重命名 假如当前目录下有若干.wma文件，我希望把它们批量转...
分类：
系统相关 时间：
2014-05-29 16:24:52
阅读次数：
327
第1部分 重新认识C语言如何在C语言中执行shell命令？ 【文章摘要】 Linux操作系统具备开源等诸多优秀特性，因此在许多通信类软件(主流开发语言为C语言)中，开发平台都迁移到了Linux上，同时shell操作在Linux的编程中占有很重要的地位，这就需要开发人员熟练掌握在C语言中执行shell命令的相关操作。 本文用实际的代码演示了如何在C语言程序中执行shel...
分类：
编程语言 时间：
2014-05-22 23:50:30
阅读次数：
483
一、find命令详细find命令 --
之查找指定时间内修改过的文件比如我们要查找linux下指定时间内做过改动的文件，我们可以用find命令，其实find命令的功能十分强大，下面我们通过几个简单的例子来学习下find命令的简单用法：find
/opt -iname "*" -atime 1 -ty...
分类：
其他好文 时间：
2014-05-07 10:11:08
阅读次数：
330
