Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】
分类:
其他好文 时间:
2014-08-21 13:04:34
阅读次数:
214
一.环境配置Myeclipse中虽然已经集成了maven插件,但是由于这个插件版本较低,建立maven project会出现错误。解决办法:自己到官网http://maven.apache.org/下载最新版本的maven插件,解压,在环境变量中注册。新建环境变量M2_HOME在PATH里加入mav...
分类:
编程语言 时间:
2014-08-20 20:59:12
阅读次数:
279
原理:Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。Mapper和Reducer都是可执行文件,它们从标准输入读入数据(一行一行读), 并把计算结果发给标准输出。Streaming工具会创建一个Map/Re...
分类:
其他好文 时间:
2014-08-20 16:16:52
阅读次数:
234
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。-storage篇...
分类:
其他好文 时间:
2014-08-19 16:42:55
阅读次数:
207
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 压缩与序列化篇...
分类:
其他好文 时间:
2014-08-19 16:41:35
阅读次数:
324
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 任务调度篇...
分类:
其他好文 时间:
2014-08-19 16:41:25
阅读次数:
311
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。...
分类:
其他好文 时间:
2014-08-19 14:35:14
阅读次数:
311
Chrome 截获 流媒体
现在虽然有相关扩展程序 但并不能通杀 很多针对的是YouTube或一些国外网络电台。
你可以进入https://chrome.google.com/extensions?hl=zh-CN 搜索关键字 FLV link 或 Streaming Media 我亲测 都不支持优酷 其他在线听歌网站未测试。当然,可以手动让别的网站帮你找地址,http://w...
分类:
Web程序 时间:
2014-08-18 22:05:03
阅读次数:
1019
四、配置客户端1.来到XMPP官网,寻找所需客户端软件2.选用电脑自带的信息,Adium和Spark这三个客户端软件,我共享的资源里有3.首先来配置信息打开信息 ->添加账户 ->其他邮件账户 ->继续->账户类型:Jabber ->用户名:zhangsan->密码:123456 ->创建
分类:
其他好文 时间:
2014-08-18 21:47:52
阅读次数:
270
近日新写完的spark任务放到yarn上面执行时,在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类:
其他好文 时间:
2014-08-17 21:08:52
阅读次数:
890