1.今天,我们来介绍spark以及dataframe的相关的知识点,但是在此之前先说一下对以前的hadoop的一些理解 当我启动hadoop的时候,上面有hdfs的存储结构,由于这个是分布式存储,所以当一个节点挂了之后,此后由于 还有别的机器上存储这些block块(这里面你肯定要问了,我们怎么知道它 ...
分类：
其他好文 时间：
2017-01-13 08:08:58
阅读次数：
186
在Internet上采用TCP进行通信的系统，都会遇到一个令人头疼的问题，就是“掉线”。而“TCP掉线”这个问题远比我们通常所能想象的要复杂的多 -- 网络拓扑纷繁复杂、而从始节点A到终节点B之间可能要经过N多的交换机、路由器、防火墙等等硬件设备，每个硬件设备的相关设定也不统一，再加上网络中可能出现 ...
分类：
其他好文 时间：
2016-11-24 11:50:27
阅读次数：
171
心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。 应用场景： 在长连接下，有可能很长一段时间都没有数据往来。理论上说，这个连接是一直保持连接的，但是实际情况中，如果中间节点出现什么故障是难以知道的。更要命的是，有的节点（防火墙）会自动把一定时间之内没有 ...
分类：
其他好文 时间：
2016-11-18 18:05:54
阅读次数：
338
redis提供了sentinel（哨兵）机制，通过sentinel模式启动redis后，自动监控master/slave的运行状态，基本原理是：心跳机制+投票裁决每个sentinel会向其它sentinal、master、slave定时发送消息，以确认对方是否“活”着，如果发现对方在指定时间（可配置）内未回应，则暂时认为..
分类：
其他好文 时间：
2016-10-14 18:14:55
阅读次数：
530
1.写后台线程，心跳机制等判断用户是否在线。 2.利用session 每次用户登录会产生一个session 因为考虑到一台电脑多个浏览器之间session不共享也就是可能会形成这样一个概念，你的同一个用户名在服务器中打开了两个不同版本的浏览器因此保存了2个session，也就造成了不准确的因素所以你 ...
分类：
其他好文 时间：
2016-10-14 07:12:10
阅读次数：
144
最近工作中一直和SWF（Amazon的Simple Work Flow）打交道，在一个基于SWF的工作流框架上面开发和修bug。SWF的activity超时时间是5分钟，在activity task开始执行以后，activity worker需要主动发送心跳请求告知service端：“我还活着，我还 ...
分类：
其他好文 时间：
2016-08-22 01:57:52
阅读次数：
245
上图中的ABCDE都代表默认大小64M的数据块 nameNode与dataNode之间有一个心跳机制，datanode每隔多秒钟定期的发送心跳到nameNode ...
分类：
其他好文 时间：
2016-08-20 14:43:07
阅读次数：
106
最近工作中一直和SWF（Amazon的Simple Work Flow）打交道，在一个基于SWF的工作流框架上面开发和修bug。SWF的activity超时时间是5分钟，在activity task开始执行以后，activity worker需要主动发送心跳请求告知service端：“我还活着，我还 ...
分类：
其他好文 时间：
2016-08-20 14:32:30
阅读次数：
128
官方文档说： If a consumer dies (its channel is closed, connection is closed, or TCP connection is lost) without sending an ack, RabbitMQ will understand th ...
分类：
其他好文 时间：
2016-08-16 13:10:50
阅读次数：
383
转载自：zxh2075的专栏 在Socket心跳机制中，心跳包可以由服务器发送给客户端，也可以由客户端发送给服务器，不过比较起来，前者开销可能较大。本文实现的是由客户端给服务器发送心跳包，服务器不必返回应答包，而是通过判断客户在线会话记录中的计数标志值来实现心跳异常的检测，以此决定客户端是否已经断开 ...
分类：
编程语言 时间：
2016-07-16 06:33:38
阅读次数：
324
