此篇文接上篇
为了更好的理解Q-Learning算法是如何工作的，我们一步步手动计算一些过程。
我们把γ的值设为0.8,初始状态在房间1中。
把Q矩阵初始化为0
让我们看一下R矩阵的第二行（状态1），对当前状态1有两种可能的动作：到达状态3或者到达状态5.我们随机选择到达状态5作为采取的动作。
现在让我们想象一下Agent在状态5会发生什么。观察R矩阵的第六行（状态5），...
分类：
其他好文 时间：
2015-03-10 17:22:26
阅读次数：
140
阅读的文献中涉及到了Q-learning，是与机器学习有关的，虽然与自己方向并不相关。但作为一种思想值得学习。故翻译如下，不当之处，恳请批评指正！
原文地址：http://mnemstudio.org/path-finding-q-learning-tutorial.htm
这篇教程通过一个简单而且好理解的数字例子来介绍Q-Learning的概念。这个例子描述了一个Agent是如何通过无监...
分类：
其他好文 时间：
2015-03-10 15:32:56
阅读次数：
23785
1. 发消息处理从netty过来的消息，以frommstpid进行存储，之后会将seqid进行累加，然后判断tomstpid是否在本域内，如果在将seqid进行累加进行存储。也就是消息会分别存在from和to。如果不在，则重新生成seqid2.收消息处理以to存储，然后seqid++存储db3.ge...
分类：
其他好文 时间：
2015-03-10 13:28:13
阅读次数：
108
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输
该场景主要用于分布式Flume之间的数据传输，从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的？Avro Sink SSL在这个传输过程中，sink其实就相当于socket的client端了
flume源码中有个类NettyAvroRpcCli...
分类：
Web程序 时间：
2015-03-10 12:09:08
阅读次数：
533
在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：privatevoiddoStart(){
booleanerror=true;
try{
channel.start();//调用Channel.start启动Channel
sinkRunner.start();//调用SinkRunner.star..
分类：
其他好文 时间：
2015-03-08 17:24:39
阅读次数：
521
让firefox对web服务器伪装成任意浏览器，找一个iphone的useragent，瞬间firefox变身iPhone有木有，一般人我不告诉他嘿嘿1.firefox地址栏中输入about:config回车，然后点击“我保证会小心”按钮2.在页面中的搜索框里输入“general.useragent...
分类：
其他好文 时间：
2015-03-08 10:30:59
阅读次数：
199
protected void Page_Load(object sender, EventArgs e) { Response.Write(Request.Headers["User-Agent"].ToString() + ""); //Response.Wr...
分类：
移动开发 时间：
2015-03-06 20:28:27
阅读次数：
141
如果你的Zabbix的Admin口令太弱或者使用了默认口令（Admin/zabbix），而被黑客破解了口令的话，Zabbix服务器在黑客面前就已经毫无抵抗力了。黑客可以创建“system.run[command,<mode>]”监控项执行命令，甚至获取服务器shell，获取root权限。先介绍下“system.run[comman..
分类：
系统相关 时间：
2015-03-06 19:18:16
阅读次数：
303
#错误"Youarenotabletochoosesomeofthelanguages,becauselocalesforthemarenotinstalledonthewebserver."解决办法:原因是找不到语言包$sudodpkg-reconfigurelocales#查看系统已经安装的语言包$sudovim/usr/share/zabbix/include/locales.inc.php#找到源码文件在文件中找到函数"..
分类：
其他好文 时间：
2015-03-06 19:17:44
阅读次数：
945
关于iOS上的http请求还在不断学习，从早先的时候发现原来iOS的http请求可以自动保存cookie到后来的，发现ASIHttpRequest会有User-Agent，到现在发现竟然NSURLRequest默认不带USer-Agent的。添加方法：#define USERAGENT @"Mozi...
分类：
Web程序 时间：
2015-03-06 17:00:38
阅读次数：
187
