来源：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFComplex
Type ConstructorsThe following functions construct instances of complex ...
分类：
其他好文 时间：
2014-05-14 09:24:09
阅读次数：
500
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类：
数据库 时间：
2014-05-12 11:45:03
阅读次数：
457
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类：
其他好文 时间：
2014-05-11 02:06:21
阅读次数：
368
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：
Possible error: Out of memory due to hash maps used in map-side aggregation.
Solution: Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try set...
分类：
其他好文 时间：
2014-05-09 21:08:27
阅读次数：
366
1、前提条件：
只需要选择一台服务器即可，这里选择安装在namenode上；安装用户为cloud-user2、安装包： sudo yum install -y hive
hive-metastore hive-server23、安装mysql： sudo yum install -y mysq...
分类：
其他好文 时间：
2014-05-09 15:38:16
阅读次数：
512
由于hive也支持sql，很多人会把hql跟标准sql进行比较，甚至有的时候会直接套用。hive不支持事务也不支持索引，更不支持追加写，但是对于一般的sql都是能够支持的。但是对于一些子查询确实无法支持的，例如select
* from t_ext_1_bkdoubledelete where f1...
分类：
其他好文 时间：
2014-05-09 08:35:04
阅读次数：
295
1.COPY配置文件：cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录：vimhive-env.shHADOOP_HOME=/usr/a..
分类：
其他好文 时间：
2014-05-09 00:51:29
阅读次数：
282
