码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
hadoop多次格式化后,导致datanode启动不了,怎么办?(伪分布式)
根据当初 hadoop 安装目录下 conf 目录的 core-site.xml 的设置,找到该目录:进入该目录在 data 和 name 文件夹下均有 current 文件夹 ,和 current 文件夹下有 VERSION 文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是...
分类:其他好文   时间:2014-05-09 05:15:30    阅读次数:305
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:其他好文   时间:2014-05-09 05:14:32    阅读次数:405
shell 生成指定范围随机数与随机字符串
shell 生成指定范围随机数与随机字符串1.使用系统的 $RANDOM 变量fdipzone@ubuntu:~$ echo $RANDOM17617$RANDOM 的范围是 [0, 32767]如须要生成超过32767的随机数,能够用下面方法实现。例:生成400000~500000的随机数#!/b...
分类:其他好文   时间:2014-05-09 04:15:34    阅读次数:365
Hbase Python接口
http://wiki.apache.org/hadoop/Hbase/ThriftApi首先根据Hbase.thrift文件生成Python接口代码,Hbase.thrift在Hbase的源码中有,路径src/main/resources/org/apache/hadoop/hbase/thrif...
分类:编程语言   时间:2014-05-09 02:51:31    阅读次数:344
Hadoop全分布模式操作
http://blog.csdn.net/wangloveall/article/details/20767161摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。关键词:Hadoop 全分布模式 文件配置利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。如何基于...
分类:其他好文   时间:2014-05-08 23:44:04    阅读次数:354
Hadoop之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File S....
分类:其他好文   时间:2014-05-08 23:38:42    阅读次数:412
shell 正则表达式与文件名匹配
-------------
分类:其他好文   时间:2014-05-08 22:34:51    阅读次数:363
shell脚本相关笔记
书写一个shell脚本并使之执行的步骤:1. 打开一个文件,以 #! bin/bash作为开头2.在文件中写入一些正确可执行的shell语句3.保存文件4.更改文件权限,执行文件一些小技巧: 如果想在系统中添加自己的命令,比如执行自己建好的shell脚本语句这样一条命令实例: 1.创建文件cd......
分类:其他好文   时间:2014-05-08 22:34:19    阅读次数:378
sersync实现多台服务器实时同步文件
基本架构如上图所示,线程组线程是等待线程队列的守护线程,当队列中有数据的时候,线程组守护线程逐个唤醒,当队列中inotify事件较多的时候就会被全部唤醒一起工作。这样设计的目的是能够同时处理多个inotify事件,重发利用服务器的并发能力(核数*2+2)。之所以称之为线程组..
分类:其他好文   时间:2014-05-08 16:43:41    阅读次数:461
Linux常用
使用shell判断系统时区if[[!`grep-aCST-8/etc/localtime`]];then rm-rf/etc/localtime ln-s/usr/share/zoneinfo/Asia/Shanghai/etc/localtime fiNginx日志切割脚本#!/bin/bash logs_path="/alidata/server/log/nginx/" mv${logs_path}access.log${logs_path}access_$(date-d"ye..
分类:系统相关   时间:2014-05-08 16:41:18    阅读次数:403
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!