1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
王家林：Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及...
分类：
其他好文 时间：
2014-07-23 20:37:25
阅读次数：
377
云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序渐进中掌握Hadoop，直到能够直接进行企业级开始，是困惑很多对云计算感兴趣的朋友的核心问题，本课程正是为解决此问题而生，学习者只需要按照一步步的跟着视频动手操作，即可完全无痛掌握Hadoop企业级开发。同时本课程会对Hadoop的核...
分类：
其他好文 时间：
2014-07-23 20:22:50
阅读次数：
298
---讲师:王家林:Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引...
分类：
移动开发 时间：
2014-07-23 20:21:15
阅读次数：
404
mapreduce的处理过程分为2个阶段，map阶段，和reduce阶段。在要求统计指定文件中的所有单词的出现次数时，
map阶段把每个关键词写到一行上以逗号进行分隔，并初始化数量为1（相同的单词hadoop中的map会自动放到一行中）
reduce阶段是把每个单词出现的频率统计出来重新写回去。
如代码：
package com.clq.hadoop2;
import org.apa...
分类：
其他好文 时间：
2014-07-23 17:16:02
阅读次数：
199
代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。原理：应用CombineFileInputFormat，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。而一般使用Hadoop处理数据时，即默认方式，会把一个输入数据文件当做一个分片，这样当输入文件较小...
分类：
其他好文 时间：
2014-07-23 13:09:36
阅读次数：
281
今天需要编译一个项目的时候在装g++都装不上，[root@master hadoop]# yum install g++Loaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cach...
分类：
系统相关 时间：
2014-07-23 12:35:56
阅读次数：
303
Unable to load native-hadoop library for your platform解决安装maven1 cmake-2.8.12.1.tar.gzcd cmake-2.8.12.1 ./bootstrap make sudo make install2 安装ant expo...
分类：
其他好文 时间：
2014-07-23 12:22:36
阅读次数：
327
完成Hadoop的安装并跑起来之后，是该运行相关例子的时候了，而最简单最直接的例子就是HelloWorld式的WordCount例子
分类：
系统相关 时间：
2014-07-23 11:34:06
阅读次数：
488
