1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf...
分类：
数据库 时间：
2014-06-29 00:17:54
阅读次数：
415
gwbjx123 Item Quantity Tires oil Spark Plugs Address 以下是PHP文件：eg1.php"; $fp = fopen("egtext.txt","ab");//a是追加 fl...
分类：
Web程序 时间：
2014-06-28 23:53:40
阅读次数：
409
1. 打开spark-shell2. 建立StreamingContextimport org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._import org.apache.spark.ap...
分类：
其他好文 时间：
2014-06-28 23:07:17
阅读次数：
324
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkC...
分类：
其他好文 时间：
2014-06-28 19:27:40
阅读次数：
338
最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下：解决spark运行调试问题的四把“尖刀”：1、Log包括控制台日志、主从节点日志、HDFS日志等...
分类：
其他好文 时间：
2014-06-20 15:16:41
阅读次数：
161
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark
history serve...
分类：
其他好文 时间：
2014-06-18 07:45:40
阅读次数：
250
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。组成cluster的不同节点，启动时有没有固定的顺序，为什么是这样的顺序，针对这些问题，本文会做一个详尽的分析。
分类：
其他好文 时间：
2014-06-18 00:10:53
阅读次数：
253
1、Oracle中的SQL select count(1)from a_V_PWYZL_CUSTACCT_PSMIS t where not exists (select 1 from tb_show_multi_question q WHERE q.dqmp_rule_code = '仅比对系统有...
分类：
数据库 时间：
2014-06-17 23:29:32
阅读次数：
309
