大表Join的数据偏斜
MapReduce编程模型下开发代码需要考虑数据偏斜的问题，Hive代码也是一样。数据偏斜的原因包括以下两点：
1. Map输出key数量极少，导致reduce端退化为单机作业。
2. Map输出key分布不均，少量key对应大量value，导致reduce端单机瓶颈。
Hive中我们使用MapJoin解决数据偏斜的问题，即将其中的某个表（全量）分发到所有Map端进...
分类：
其他好文 时间：
2015-06-24 12:58:02
阅读次数：
129
implicit修饰符
语法：
LocalModifier ::= ?implicit?
ParamClauses ::= {ParamClause} [nl] ?(? ?implicit? Params ?)?
用implicit修饰符标记的模板成员和参数可以传递给隐含参数(§7.2)，且可以在隐式转换中使用，这种情况称为视图(§7.3)。implicit修饰符不能用于所有的类型成员和顶...
分类：
其他好文 时间：
2015-06-24 12:57:29
阅读次数：
165
spark实战分享
http://bbs.superwu.cn/forum.php?mod=viewthread&tid=850&fromuid=645
更多精彩内容请关注：http://bbs.superwu.cn
关注超人学院微信二维码：...
分类：
其他好文 时间：
2015-06-23 20:13:04
阅读次数：
132
spark实战分享 http://bbs.superwu.cn/forum.php?mod=viewthread&tid=850&fromuid=645 更多精彩内容请关注：http://bbs.superwu.cn 关注超人学院微信二维码：...
分类：
其他好文 时间：
2015-06-23 18:27:26
阅读次数：
92
让我们回顾一些基础知识：
机器需要一个网络接口来发送和接受数据包，路由表来定义如何到达哪些地址段。这里的网络接口
可以不是物理接口。事实上，每个linxu机器上的lo环回接口（docker 容器中也有）就是一个完全的
linux内核虚拟接口，它直接复制发送缓存中的数据包到接收缓存中。docker让宿主主机和容器使用特
殊的虚拟接口来通信--通信的2端叫“peers“，他们在主机内核中连接在...
分类：
其他好文 时间：
2015-06-16 19:20:20
阅读次数：
518
无参方法
关于方法re和im还有一个小问题：你必须在名字后面加上一对括号来调用它们。请看下面的例子：
object ComplexNumbers {
def main(args: Array[String]) {
val c = new Complex(1.2, 3.4)
println("imaginary part: " + c.im())
}
}
你可能觉得吧这些函数...
分类：
其他好文 时间：
2015-06-16 19:19:45
阅读次数：
129
从Solr官方网站下载的Solr1.3服务器可以直接部署使用，不过这是一个极其简单的服务器。它对外只提供HTTP接口，索引添加和查询都通过HTTP来实现，而且查询结果直接以XML格式返回，用户友好度比较差。
图3-3是部署在Tomcat上的Solr1.3的体系结构（不包括客户端），我们先理解这个结构，然后根据这个结构来部署Solr1.3服务器。
从图3-3看，一个完整的Solr服务器应该包含主...
分类：
其他好文 时间：
2015-06-16 19:18:23
阅读次数：
149
测试Mysql数据库的使用
前提：导入mysql jdbc的jar包
① 测试数据库连接
sqoop list-databases–connect jdbc:mysql://192.168.10.63 –username root–password 123456
②Sqoop的使用
以下所有的命令每行之后都存在一个空格，不要忘记
（以下6中命令都没有进行过成功测试）
...
分类：
数据库 时间：
2015-06-16 19:18:12
阅读次数：
794
DStream
如果要用一句话来概括Spark Streaming的处理思路的话，那就是"将连续的数据持久化，离散化，然后进行批量处理"。
让我们来仔细分析一下这么作的原因。
数据持久化 将从网络上接收到的数据先暂时存储下来，为事件处理出错时的事件重演提供可能，
离散化 数据源源不断的涌进，永远没有一个尽头，就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝，一发而不可收拾...
分类：
其他好文 时间：
2015-06-16 19:17:52
阅读次数：
275
Delete类的接口有两个方法：deleteColumns和deleteColumn，它们的区别从method注释里可以看到：
Html代码
deleteColumns: Delete all versions of the specified column with a timestamp less than or equal to the specified timesta...
分类：
其他好文 时间：
2015-06-16 19:16:55
阅读次数：
164
