early-initwait_for_coldboot_done_actionkeychord_init_actioninitearly-fsfspost-fspost-fs-dataproperty_service_init_actionsignal_init_actioncheck_startu...
分类:
其他好文 时间:
2014-05-26 22:02:14
阅读次数:
233
最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop
fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:
其他好文 时间:
2014-05-26 20:44:49
阅读次数:
308
awk/gawk1,内置变量FILENAME:输入文件名称FNR:当前数据文件中的数据行数NF:数据文件中的字段总数NR:已处理的输入数据行数目FS:输入数据段分隔符RS:输入数据行分隔符OFS:输出数据段分隔符ORS:输出数据行分隔符$0一行数据,$1——$n各个字段的数据。1)可以根据模式进行匹...
分类:
其他好文 时间:
2014-05-26 15:38:46
阅读次数:
254
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类:
其他好文 时间:
2014-05-22 01:11:55
阅读次数:
337
1、将根文件系统制作 成ramdisk#genext2fs -b 8192 -d
/home/fs/myrootfs/ ramdisk说明:这一步出现问题,后来发现是这个分配的空间太小,于是将8192改为120400#genext2fs -b
/home/xiongyao/rootfs/ ramdi...
分类:
其他好文 时间:
2014-05-19 20:12:21
阅读次数:
312
HADOOP HA配置
hadoop2.x的ha配置,此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先,先配置core-site.xml配置文件:
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类:
其他好文 时间:
2014-05-15 23:40:10
阅读次数:
705
背景
在 Linux-3.8 以后,Android 的内核分支,便去掉了 f_adb,改使用 USB function FS,在用户空间实现 USB adb 功能。这篇文章根据原作者的 Google+ 文章,在 Atmel sama5 开发板上做了测试,将步骤记录如下,供需要使用的读者参考,你也可以查看作者原文:https://plus.google.com/111524780435806926...
分类:
移动开发 时间:
2014-05-15 23:30:11
阅读次数:
538
opkg updateopkg install kmod-usb-ohci kmod-usb2
kmod-fs-ext3opkg install kmod-usb-storagerebootmount /dev/sda1 /mntmkdir
/tmp/rootmount -o bind / /tmp...
分类:
其他好文 时间:
2014-05-15 16:10:19
阅读次数:
370
Android U 盘功能实现和分析
u 盘功能实现结果:
u 盘会当成 usb storage 在 Settings Storage 里面显示。
准备工作
内核需支持 usb host,需支持 FUSE 文件系统,在 FS 选项里面配置即可(CONFIG_FUSE_FS=y)。
Android 的配置
配置 init..rc
mkdir /sto...
分类:
移动开发 时间:
2014-05-14 20:58:54
阅读次数:
1271
在线gen更新各种依赖包yum-yinstallmakeglibclibaiocompat-libstdc++-33compat-gcc-34compat-gcc-34-c++gcclibXpopenmotifcompat-db1.配置/etc/sysctl.conf
/sbin/sysctl-p
kernel.shmall=2097152
kernel.shmmax=2147483648
kernel.shmmni=4096
kernel.sem=25032000100128
fs.f..
分类:
数据库 时间:
2014-05-13 12:34:13
阅读次数:
404