码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂
Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】
分类:其他好文   时间:2014-08-21 13:04:34    阅读次数:214
在myeclipse中使用Java语言进行spark Standalone模式应用程序开发
一.环境配置Myeclipse中虽然已经集成了maven插件,但是由于这个插件版本较低,建立maven project会出现错误。解决办法:自己到官网http://maven.apache.org/下载最新版本的maven插件,解压,在环境变量中注册。新建环境变量M2_HOME在PATH里加入mav...
分类:编程语言   时间:2014-08-20 20:59:12    阅读次数:279
Hadoop Streaming总结
原理:Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。Mapper和Reducer都是可执行文件,它们从标准输入读入数据(一行一行读), 并把计算结果发给标准输出。Streaming工具会创建一个Map/Re...
分类:其他好文   时间:2014-08-20 16:16:52    阅读次数:234
Spark 性能相关参数配置详解-Storage篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。-storage篇...
分类:其他好文   时间:2014-08-19 16:42:55    阅读次数:207
Spark 性能相关参数配置详解-压缩与序列化篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 压缩与序列化篇...
分类:其他好文   时间:2014-08-19 16:41:35    阅读次数:324
Spark 性能相关参数配置详解-任务调度篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 任务调度篇...
分类:其他好文   时间:2014-08-19 16:41:25    阅读次数:311
Spark 性能相关参数配置详解-shuffle篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。...
分类:其他好文   时间:2014-08-19 14:35:14    阅读次数:311
chrome浏览器提取网页视频
Chrome 截获 流媒体 现在虽然有相关扩展程序 但并不能通杀 很多针对的是YouTube或一些国外网络电台。 你可以进入https://chrome.google.com/extensions?hl=zh-CN 搜索关键字 FLV link 或 Streaming Media 我亲测 都不支持优酷 其他在线听歌网站未测试。当然,可以手动让别的网站帮你找地址,http://w...
分类:Web程序   时间:2014-08-18 22:05:03    阅读次数:1019
XMPP-04环境安装(配置客户端)
四、配置客户端1.来到XMPP官网,寻找所需客户端软件2.选用电脑自带的信息,Adium和Spark这三个客户端软件,我共享的资源里有3.首先来配置信息打开信息 ->添加账户 ->其他邮件账户 ->继续->账户类型:Jabber ->用户名:zhangsan->密码:123456 ->创建
分类:其他好文   时间:2014-08-18 21:47:52    阅读次数:270
spark 在yarn执行job时一直抱0.0.0.0:8030错误
近日新写完的spark任务放到yarn上面执行时,在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类:其他好文   时间:2014-08-17 21:08:52    阅读次数:890
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!