写在前面前文:用python + hadoop streaming 编写分布式程序(一) --
原理介绍,样例程序与本地调试为了方便,这篇文章里的例子均为伪分布式运行,一般来说只要集群配置得当,在伪分布式下能够运行的程序,在真实集群上也不会有什么问题。为了更好地模拟集群环境,我们可以在mapred-...
分类:
编程语言 时间:
2014-05-30 14:56:56
阅读次数:
309
GPU 的硬件基本概念Nvidia的版本: 实际上在 nVidia 的 GPU
里,最基本的处理单元是所谓的 SP(Streaming Processor),而一颗 nVidia 的 GPU 里,会有非常多的 SP 可以同时做计算;而数个
SP 会在附加一些其他单元,一起组成一个 SM(Strea....
分类:
其他好文 时间:
2014-05-28 18:59:32
阅读次数:
292
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media
server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media
server只能在windows 200...
分类:
其他好文 时间:
2014-05-16 00:08:39
阅读次数:
545
1:下载darwin源代码DarwinStreamingSrvr6.0.3-Source.tar,补丁patch
dss-6.0.3.patch$wgethttp://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0.3-Source.tar$w...
send($data)`. The sent data will then* be the
result of the `yield` expression. Thus it can be received using a code like*
`$data = yield;`.*/ /* What...
分类:
其他好文 时间:
2014-05-15 17:46:37
阅读次数:
311
live555编辑目录1live555简介2Live555 Streaming
Media整体框架3openRTSP客户端流程1live555简介编辑Live555
是一个为流媒体提供解决方案的跨平台的C++开源项目,它实现了对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live...
分类:
其他好文 时间:
2014-05-12 14:13:35
阅读次数:
313
/* Endian swapping module.Simple example with
Avalon streaming interfaces and a CSR busAvalon-ST has readyLatency of
0Avalon-MM has fixed readLatency ...
分类:
其他好文 时间:
2014-05-11 23:21:17
阅读次数:
423
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
SSE技术简介Intel公司的单指令多数据流式扩展(SSE,Streaming SIMD
Extensions)技术能够有效增强CPU浮点运算的能力。Visual Studio .NET
2003提供了对SSE指令集的编程支持,从而允许用户在C++代码中不用编写汇编代码就可直接使用SSE指令的功能。...
分类:
其他好文 时间:
2014-05-08 17:33:10
阅读次数:
483