码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
带缓冲的IO和不带缓冲的IO
文件描述符:文件描述符是一个小的非负整数,是内核用来标识特定进程正在访问的文件标准输入/输出/出错:shell为每个程序打开了三个文件描述符,STDIN_FILEON,STDOUT_FILEON,STDERR_FILEON,默认这三个文件描述符都链向终端不带缓冲的IO:函数open read wri...
分类:其他好文   时间:2014-05-07 17:13:03    阅读次数:284
Linux ls 命令实现(简化版)
在学习linux系统编程的时候,实现了ls命令的简化版本。 实现的功能如下: 1. 每种文件类型有自己的颜色 (- 普通文件, d 目录文件, l 链接文件, c 字符设备文件, b 快设备文件, p 管道文件, s socket文件。共7种) 2. 支持的参数有 -hali (a: 显示隐藏文件, i: 显示inode节点号,l: 以列表形式显示文件的详细信息,h: 人类可读的文件大小显示...
分类:系统相关   时间:2014-05-07 11:32:19    阅读次数:592
hadoop yarn running beyond physical memory used
老是报物理内存越界,kill container,然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发:http://bise.aliapp.c...
分类:其他好文   时间:2014-05-07 02:15:35    阅读次数:409
python连接mysql
(1)pyhton shell下导入MySQLdb失败。http://pypi.python.org/pypi/MySQL-python/(2)下载解压MySQL-python。http://pypi.python.org/packages/source/M/MySQL-python/MySQL-p...
分类:数据库   时间:2014-05-07 01:38:05    阅读次数:502
文件访问被拒绝 需要管理员权限
新建一个文本文档,打开,输入以下字符Windows Registry Editor Version 5.00[HKEY_CLASSES_ROOT\*\shell\runas]@="管理员取得所有权""NoWorkingDirectory"=""[HKEY_CLASSES_ROOT\*\shell\r...
分类:其他好文   时间:2014-05-07 01:30:55    阅读次数:312
Hadoop-3、Mapred并行思想WordCount
import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.ap...
分类:其他好文   时间:2014-05-07 01:06:02    阅读次数:271
Hbase学习笔记(安装和基础知识及操作)
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:其他好文   时间:2014-05-07 00:35:59    阅读次数:424
Hadoop权威指南读书笔记
mapreduce数据本地化(核心特征)、无共享。    1  HDFS的设计 为了存储超大文件 流式访问(一次写入多次读取)商用硬件(不需要超豪华的机器)    2  数据快(block) 磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大?(最小化寻址开销)块抽象带来的好处(一个文件的...
分类:其他好文   时间:2014-05-06 23:26:24    阅读次数:519
shell 中 关于 $
$[]将数值赋予给变量:var=$[1+5],var=$[$a+$b]$()$1$0获取参数$#获取参数个数echothelastparameteris${$#}错误,大括号里面不能使用美元符号可以用${!#}
分类:其他好文   时间:2014-05-06 19:59:02    阅读次数:259
emacs run multiple eshell buffers (more then one eshell)
(defun buffer-exists (bufname) (not (eq nil (get-buffer bufname)))) (defun make-shell (name) "Create a shell buffer named NAME." (interactive "sName: ") (if (buffer-exists "*eshell*")...
分类:其他好文   时间:2014-05-06 19:40:04    阅读次数:262
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!