在Web
Api里用Beetle.Redis调用Redis服务端的TIME命令返回一个json格式，然后客户端是用的HttpTest4Net做的测试：CPU：I7-3770内存：4G+4G硬盘：SSD网络：本机Redis服务端：2.6.12(Windows版本)Redis客户端：Beetle.Red...
在CentOS下配置Apache+php+redis+phpredis环境。编辑访问redis缓存的php程序test.php，以应用程序方式在后台运行，可成功访问Redis，而在Apache下以网页形式访问时则出错，在访问Redis以及之后的代码均不再执行。查看Apache的日志：/var/log...
分类：
Web程序 时间：
2014-05-09 17:55:34
阅读次数：
479
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
windows下安装redis1、redis简介redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted
set --有序集合)和hashs（哈希类型）。这些数据类型...
我用WebAPI做了一个网站，网站很简单，请求就是几个普通的参数，提交到服务器后，在Web
API里做一下参数验证，然后去访问Redis里的TIME命令，最后把TIME命令返回的结果计算出yyyy-MM-dd
HH:mm:ss的形式，返回JSON格式。每秒请求数：1500次。CPU占用100%内存和...
分类：
Windows程序 时间：
2014-05-04 12:21:14
阅读次数：
1103
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
只是看看能不能成功使用python操作redis，redis具体的数据结构和使用会在以后学习。安装连接redis的包pipinstallredis本地已经在6379端口启动了redis服务。In[1]:importredis
In[2]:r=redis.StrictRedis(host=‘localhost‘,port=6379,db=0)
In[3]:r.set(‘foo‘,‘bar‘)
Out[3]:Tru..
分类：
编程语言 时间：
2014-05-03 14:38:32
阅读次数：
405
官方的下载地址是：http://redis.io/download在win64一栏中可以看到redis原本是没有windows版本的，windows版本是MicrosoftOpenTech团队开的给出了一个github的链接地址：https://github.com/MSOpenTech/redis下载：在https://github.com/MSOpenTech/redis页面的右下角有Downlo..
