码迷,mamicode.com
首页 >  
搜索关键字:hadoop yarn jar    ( 37436个结果
Android中集成第三方库的方法和问题
Android中使用第三方库可能有两种:Java库.jar和原生库.so/.a,如果只是做上层APK开发,这两种库都可以通过Eclipse集成开发环境进行集成,如果是平台级开发,则都可通过源码集成。本文整理这两种集成方式使用步骤,以下假设程序scanerapp,集成Java库scanerjar.jar,原生库libscanerbase.so/libscanerbase.a,libscanerplus.so/libscanerplus。其中,so库要尽量参照Android引用库规范编写,内部函数命名也要规范(...
分类:移动开发   时间:2014-07-22 23:05:53    阅读次数:480
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
Hadoop AWS Word Count 例子
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
分类:其他好文   时间:2014-07-22 23:01:32    阅读次数:405
用JFreeChart开发图片报表
要导入两个jar包:jfreechart.jar         jcommon.jar Servlet: package com.jxnu.servlet; import java.io.IOException; import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; import jav...
分类:其他好文   时间:2014-07-22 22:59:53    阅读次数:263
HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢? 读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:其他好文   时间:2014-05-02 23:22:14    阅读次数:450
Hadoop web监控界面设置安全机制
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:Web程序   时间:2014-05-02 12:17:15    阅读次数:1290
Eclipse启动时提示fail to create the Java Virtual Machine问题的解决
今天偶然打开Eclipse,发现无法打开,出现如下提示: 后来经过上网查询,发现是eclipse.ini文件的问题,打开eclipse安装目录下的eclipse.ini文件: -startup plugins/org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar --launcher.library plugins/org....
分类:编程语言   时间:2014-05-01 08:33:54    阅读次数:455
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
Struts2中的异步提交(ajaxfileupload异步上传(图片)插件的使用)
服务器端采用struts2来处理文件上传。 所需环境: jquery.js ajaxfileupload.js struts2所依赖的jar包 及struts2-json-plugin-2.1.8.1.jar 编写文件上传的Action package com.ajaxfile.action; import java.io.File; import java.io.Fi...
分类:其他好文   时间:2014-04-30 22:43:38    阅读次数:392
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!