hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
chmod [ugoa] [+-= ] [rwx]
文件或者是目录u:表示文件的属主，g:表文件的属组内的成员，o:则表示其它用户，a:是所有用户的（ugo的总和）+—=:是对权限的操作，+表示增加相应的权限，-表示减少相应的权限，=则是设置成相应的权限777代表着用户、用户组及其他用户都有读、写、...
分类：
其他好文 时间：
2014-05-18 20:33:21
阅读次数：
338
Linux提供两种信号量：
1、内核信号量，由内核控制路径使用
2、System V IPC信号量，由用户态进程使用
从本质上说，它们实现了一个加锁原语，即让等待者睡眠，直到等待的资源变为空闲。
信号量
内核信号量类似于自旋锁，因为当锁关闭着的时候，它不允许内核控制路径继续运行。然而，当内核内核控制路径试图获取内核信号量所保护的忙资源时，相应的进程被挂起。只有在资源被释放时，进程才再次变...
分类：
其他好文 时间：
2014-05-18 18:43:39
阅读次数：
294
第1部分 重新认识C语言shell脚本中的文件操作 【文章摘要】 编写shell脚本时，经常会涉及到对文件的操作，比如从文件中读取一行数据、向文件追加一行数据等。完成文件读写操作的方法有很多，了解各种命令下文件操作的执行情况，有助于开发人员在不同使用场景下选择合适的命令。 本文以实际的shell脚本为例，介绍了对文件进行操作的不同方法，为相关开发工作提供了参考。【关键词】...
分类：
其他好文 时间：
2014-05-18 15:52:35
阅读次数：
388
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
VintaSoftBarcode.NET
SDK是专业的.NET条形码阅读器和条码生成器控件，可以嵌入到你开发的软件中。它可以读写数字图形和PDF中的的一维和二维条码。VintaSoftBarcode.NET
SDK有三个不同的版本：标准版，标准+ WPF版或Silverlight版。功能和特征开发...
分类：
Web程序 时间：
2014-05-18 01:34:29
阅读次数：
507
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
射频识别（英文：Radio Frequency
IDentification，缩写：RFID）是一种无线通信技术，可以通过无线电讯号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机械或者光学接触。波长x频率=光速
分类：
其他好文 时间：
2014-05-17 18:42:55
阅读次数：
352
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
