码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
Jmeter 学习问题三: BeanShell 学习对Jmeter的帮助有多大?
Jmeter 学习问题三: BeanShell 学习对Jmeter的帮助有多大?后续学习过程中需调研
分类:其他好文   时间:2014-05-15 22:02:54    阅读次数:300
java下的多线程操作工具类(原创)
因为毕业设计上需要将控制台的任务实时输出到界面上,而且那是个Hadoop的mapreduce任务,一跑半个小时的节奏,所以需要用到多线程并随时读取返回的数据,百度了没找到合适的方法,于是被逼无奈编写了这个十分简单的多线程操作工具类。大概的功能就是可以执行一个特定的线程(线程必须调用本类的方法才能实现...
分类:编程语言   时间:2014-05-15 21:50:11    阅读次数:366
Hadoop的安装(Ubuntu 12.10为例)
1. JDK安装a) 安装目录:网上的安装JDK资料中安装目录基本有两种——/opt和/usr/local。这两个目录安装在哪里其实都无所谓,只不过在以前的linux中人们习惯将软件安装在/usr/local中。这里推荐/opt目录。b) 配置文件:将JDK同时配置在/etc/profile和/et...
分类:其他好文   时间:2014-05-15 21:46:37    阅读次数:388
nginx日志切割shell脚本
#!/bin/bash #function:cutnginxlogfilesshell #cp/usr/local/nginx/logs/access.log/usr/local/nginx/logs/access.log.bak log_cut_path="/var/log/nginx" log_files_path="/usr/local/nginx/logs/" log_files_dir=${log_cut_path}$(date-d"yesterday"+"%Y")/$(date-d"yesterd..
分类:其他好文   时间:2014-05-15 18:49:50    阅读次数:244
python格式输出
http://my.oschina.net/dillan/blog/133877python输出格式化及函数formathttp://my.oschina.net/dillan/blog/133877Python中的字符串格式化1.Python中将两个整数相除,默认结果是为整数的。但我们可以通过下面的方法,使得两个整数相除的结果为小数。from__future__importdivis..
分类:编程语言   时间:2014-05-15 18:44:25    阅读次数:568
数据导入HBase最常用的三种方式及实践分析
数据导入HBase最常用的三种方式及实践分析         摘要:要使用Hadoop,需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言,有三种常见方式:使用HBase的API中的Put方法,使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。        【编者按】要使用Hadoop,数据合并至...
分类:其他好文   时间:2014-05-15 18:15:19    阅读次数:495
非结构化数据的存储与查询
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询,尤其是当今非结构化数据的快速增长,对其数据的存储,处理,查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。        ...
分类:其他好文   时间:2014-05-15 18:13:55    阅读次数:438
Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort
简介 可插入的 shuffle 和 sort 功能,允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是:用一个不是HTTP的应用协议,如RDMA来 shuffle 从Map节点中到Reducer节点的数据;或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。 重要: 可插入的 shuffle  sort 功能是实验性的、不稳定。这意味着提...
分类:其他好文   时间:2014-05-15 13:25:05    阅读次数:233
Bash中的单双引号作用
shell中的输入的字符分为纯字符和元字符(特殊意义的字符meta)元字符:IFS:由<space>或<tab>或<enter>三者之一组成(我们常用space)。CR:由<enter>产生。=:设定变量。$:作变量或运算替换(请不要与shellprompt搞混了)。>:重导向stdout。<:重导向s..
分类:其他好文   时间:2014-05-15 12:47:54    阅读次数:324
Python学习心得:类与对象
教材:《简明Python教程》Python面向对象:如shell这种面向过程的程序都是通过“操作数据的函数”或者“语句块”来设计函数。python的程序(面向对象):类是一个“class”类型,对象是类中的一个实例。类的属性包括了:域和方法。(即变量和函数)属于一个对象或类的变量被称为..
分类:编程语言   时间:2014-05-15 12:39:21    阅读次数:351
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!