从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类:
其他好文 时间:
2014-05-05 13:10:34
阅读次数:
463
1.怎样才能避免这些未定义的求值顺序问题呢?
有几条简单的规则:
1.确保一个表达式最多只修改一个对象:一个简单变量、一个数组或者一个指针指向的位置。
2.如果一个对象在一个表达式中出现一次以上而且在表达式中被修改,则要确保对该对象的所有读访问都被用于计算它的
最终值。这条规则允许表达式i=i+1,尽管i出现了两次而且被修改了,但对i的旧值读取是用于计算i的新值。
3.如果想破坏第一条规...
分类:
编程语言 时间:
2014-05-05 13:07:05
阅读次数:
314
今天有朋友让我帮他写一个正则表达式,要求能验证一个数学公式格式是否正确。
数学公式中有括号,变量(未知数)和运算符,而且变量是重数据库中读取的,可以任意添加和删除。
这个用一个正则表达式实现是不可能的,所以我给他写了一个函数,如下:...
分类:
Web程序 时间:
2014-05-04 12:46:33
阅读次数:
1238
1、从文件中读取内容
auto sharedFileUtils = FileUtils::getInstance();
std::string ret;
sharedFileUtils->purgeCachedEntries();
std::vector searchPaths = sharedFileUtils->getSearchPath...
分类:
其他好文 时间:
2014-05-04 00:09:23
阅读次数:
408
转载请说明出处:http://www.cnblogs.com/gexun/p/3705207.html,谢谢。这些天一直在做一个知识问答的项目,因为初赛的项目题目比较少,所以题目就写在本地的plist文件里面了,直接读取就可以了。公司PM担心题目泄露,所以要我们给plist文件加密,这下可把我搞残了...
分类:
移动开发 时间:
2014-05-03 22:51:28
阅读次数:
497
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.t...
分类:
编程语言 时间:
2014-05-03 22:10:40
阅读次数:
300
一个网络问题困扰了我好几天,终于幸运的解决了.言归正传,笔者按照M了个J的教程来进行新浪的开发,到抓取微博数据的时候挂了,一直无法读取微博接口,现在仍没解决,不过我新建了一个应用,用自己的账号调试通过了.接下来说说遇到的几个坑.网络用的AFN框架,开发环境Xcode5,ARC.最开始一直按照MJ的做...
分类:
数据库 时间:
2014-05-03 22:08:17
阅读次数:
574
1.File的用于创建目录、用于表示目录、用于创建文件、用于表示文件和用于删除文件或目录。
2.字符流:abstract class Reader和Writer操作的是文本文件
3.缓冲字符流(BufferedReader和BufferedWriter)每次读取或写入一行
缓冲流(BufferedInputStream和BufferedOutputStream)每次读取或写入一个数组的大小。
4.打印字符流属于处理流,不能和介质直接相连...
分类:
其他好文 时间:
2014-05-03 17:21:40
阅读次数:
401
package ioTest.io2;
/*
* 自定义一个带有读取行号方法的读取文件的装饰类
*/
import java.io.FileReader;
import java.io.IOException;
import java.io.Reader;
public class MyLineNumberReaderDemo {
public static void main(Stri...
分类:
编程语言 时间:
2014-05-03 16:50:06
阅读次数:
341
添加Expires和Cache-control头部
Expire和Cache-control实际上是HTTP中的缓存控制头部,它主要影响客户端的请求行为和服务器端的响应。
一.缓存的基本概念
这里的缓存,单指web的缓存。当web请求抵达缓存时,如果本地有缓存的副本且缓存未过期,那么就可以从本地读取数据或文档,这样便可以:
1. 减少冗余的数据传输,一定程度上减少服务器的流量...
分类:
Web程序 时间:
2014-05-03 15:51:40
阅读次数:
380