码迷,mamicode.com
首页 >  
搜索关键字:大数据 hadoop hdfs    ( 26557个结果
android标题栏(titlebar)显示进度条
在后台线程中执行各种操作(网络连接、大数据存储)的时候,我们希望让客户能看到后台有操作在进行,那么既能有效的提示用户,又不占用当前操作空间,最好的方法就是在标题栏有个进度条。[代码] [Java]代码protected void onCreate(Bundle savedInstanceState)...
分类:移动开发   时间:2014-05-24 00:54:52    阅读次数:302
编译hadoop版的hello,world
cd ~/srcmkdir classesjavac -classpath ~/hadoop-0.20.2/hadoop-0.20.2-core.jar WordCount.java -d classesjar -cvf WordCount.jar -C classes/ .hadoop jar W...
分类:其他好文   时间:2014-05-23 22:22:04    阅读次数:341
hadoop备记
Hadoop 的优势 Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点: 1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。 2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类:其他好文   时间:2014-05-22 12:26:27    阅读次数:217
如何从Hadoop安全模式中进入正常模式
问题: 在Hadoop中,新建一个目录,报错了,提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory,该如何解决呢?...
分类:其他好文   时间:2014-05-22 11:31:11    阅读次数:304
Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
简介 此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。 Use Case 下一部分描述的的代码示例对此用户用例是可用的。 一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:其他好文   时间:2014-05-22 10:40:41    阅读次数:255
JAVA批处理操作
批处理,可以大幅度提升大量增、删、改的速度,就是对大数据操作有很大的效率提升。   与上篇文章中提到的“连接池”相似。其实就是先将多次操作(增删改)打包,然后再一次发送执行   主要用到两个方法:    Ø  打包:PreparedStatement.addBatch();    Ø  发送、执行:PreparedStatement.executeBatch();     下面看做同一...
分类:编程语言   时间:2014-05-22 10:35:51    阅读次数:302
hadoop家族的各个成员
这篇文章不提原理,讲讲hadoop及其周边项目的作用。 hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢? 官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:其他好文   时间:2014-05-22 10:34:39    阅读次数:288
C++大文件传输
C/C++大文件/数据网络传输方法总结 在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况,而由于socket本身缓冲区的限制,大概一次只能发送4K左右的数据,所以在传输大数据时客户端就需要进行分包,在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装,提供了直接发送大数据/文件的接口;除此之外,利用共享目录,ftp,ssh等系统命令来实现大文件/数据也不失...
分类:编程语言   时间:2014-05-22 09:14:45    阅读次数:435
hadoop学习;datajoin;chain签名;combine()
hadoop有种简化机制来管理job和control的非线性作业之间的依赖,job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。 x.addDeopendingJob(y)意味着x在y完成之前不会启动。 鉴于job对象存储着配置和依赖信息,jobcontrol对象会负责监管作业的执行,通过addjob(),你可以为jobcont...
分类:其他好文   时间:2014-05-22 07:27:41    阅读次数:287
hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad numberuser:zhangsan,123 lisi,124 w...
分类:其他好文   时间:2014-05-22 06:23:52    阅读次数:391
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!