前言：看到很多相关的教程，但是在实际操作的时候还是遇见了不少问题，这里记录分享一下我的操作流程。免费空间用过很多，博客也用过一些，听说了github后就想试着玩一下这个静态库，感觉挺不错的，操作也比较简单，可以放些demo觉得挺不错的，看自己的喜好来搭建吧~本文原创博客地址：http://www.c...
分类：
Web程序 时间：
2014-08-11 11:26:42
阅读次数：
255
加上两个下划线变量或者方法变为私有。 >>> class Bird: ... __song = "spark" ... def sing(self): ... return self.__song ... >>> b = Bird() >>> b.sing() 'spark' ...
分类：
编程语言 时间：
2014-08-10 18:12:40
阅读次数：
284
Spark特别适用于多次操作特定的数据，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的内存，成本很高;mem
& disk:内存用完后，会自动向磁盘迁移，解决了内存不足的问题，却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析：
1、场景：精确客户群
对一个容量为300g的客...
分类：
其他好文 时间：
2014-08-09 23:19:39
阅读次数：
301
5个提案的14个开题报告，涉及数据可视化实践、社交云电视模型、Spark上流式机器学习算法实现、基于云存储的Linux系统增强服务和网络拓扑距离的高效KNN查询。...
分类：
其他好文 时间：
2014-08-07 18:58:10
阅读次数：
306
最近研究了下Spark如何读写压缩格式的文件，主要有如下三种方式，这里以lzo方式压缩为例/*******************oldhadoopapi*************************/
valconfHadoop=newJobConf
confHadoop.set("mapred.output.compress","true")
confHadoop.set("mapred.output.compression.c..
该博客旨在分享IT技术心得和实际工作中遇到问题的解决方法，下面是新浪博客地址http://blog.sina.com.cn/qianyumolu，则为分享经济、行业趋势、心灵文章等，有兴趣的朋友能够踩踩，讨论分享 也欢迎来群里一起学习交流http://url.cn/LJhxoQ ...
分类：
数据库 时间：
2014-08-06 22:28:02
阅读次数：
319
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：...
分类：
其他好文 时间：
2014-08-06 18:36:01
阅读次数：
195
Spark应用程序编写，执行应该注意的问题。...
分类：
其他好文 时间：
2014-08-05 22:49:32
阅读次数：
272
