码迷,mamicode.com
首页 >  
搜索关键字:spark streaming kafka 调优    ( 14949个结果
调优1-2
第一章: 调优综述1、调优的问题应用软件: 设计阶段、开发阶段、测试阶段、上线1) 谁来调优应用设计师: 应用逻辑性及应用的扩展性,数据库应用的架构(物理存储、逻辑存储、对象的架构)开发人员: 编写高效的sql 代码数据库管理员: 负责调整数据库的参数,参与测试,配合开发人员对测试中出现的问题加以解...
分类:其他好文   时间:2014-05-16 19:28:53    阅读次数:363
调优3(share pool 调整)
第三章 share pool 调整1、sga 组成部分1)database buffer2)redolog buffer3)share pool :共享池,存放最近最常使用的sql和plsql语句及解析计划和数据字典信息---library cache: 存放最近最常使用的sql及plsql 语句....
分类:其他好文   时间:2014-05-16 19:08:16    阅读次数:489
调优4(buffer cache 调整)
第四章、 buffer cache 调整1、buffer cache 功能buffer cache: 用于存放从datafile 里读出的数据块的镜像,并共享这些数据块,采用LRU算法buffer cache 数据块状态:pending:数据块正在使用,状态未决dirty: 被修改过的块,还未写入到...
分类:其他好文   时间:2014-05-14 10:08:16    阅读次数:341
调优5(SGA其他缓存区调整)
第五章 SGA其他缓存区调整一、redo log buffer1、redo log 的功能1)Sever 进程在buffer cache修改数据块后,Oracle提倡‘先记后写’,对修改的数据块的改变生成log entries(日志条目),将日志条目按顺序写入log buffer;而对于脏块 先.....
分类:其他好文   时间:2014-05-14 09:52:54    阅读次数:276
Java领域的IM解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。 Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用3.6.4版本,这个版本是当前最新的版本,而且网上可以找到下载的源代码。 即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本,经过测试发现上一版本在视频支持,msn网关支持...
分类:编程语言   时间:2014-05-13 15:55:13    阅读次数:252
Spark on YARN--WordCount、TopK
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ object HdfsWordCount {...
分类:其他好文   时间:2014-05-13 05:35:12    阅读次数:379
linux命令之ulimit
系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段。ulimit 是一种 linux 系统的内建功能,它具有一套参数集,用于为由它生成的 shell 进程及其子进程的资源使用设...
分类:系统相关   时间:2014-05-12 13:25:18    阅读次数:603
222
/* Endian swapping module.Simple example with Avalon streaming interfaces and a CSR busAvalon-ST has readyLatency of 0Avalon-MM has fixed readLatency ...
分类:其他好文   时间:2014-05-11 23:21:17    阅读次数:423
python 实现Hadoop的partitioner和二次排序
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程 工作流程 :  InputFile --> mappers --> [Partitioner] --> reducers --> outputFiles 理解 :  1 输入文件,可以是指定远程文件系统内的文件夹下的 * 2 通过集群自己分解到各个PC...
分类:编程语言   时间:2014-05-11 14:46:35    阅读次数:519
Spark0.9 安装
1、下载Scala     wget  http://www.scala-lang.org/files/archive/scala-2.10.3.tgz    tar xvzf scala-2.10.3.tgz -C /usr/local 2、下载Spark    wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:其他好文   时间:2014-05-11 02:06:21    阅读次数:368
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!