HDFS写入和读取流程 HDFS写入和读取流程 一、HDFS HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。 ...
分类：
其他好文 时间：
2016-04-30 12:43:28
阅读次数：
234
在一个需要低延时响应的hbase集群中，使用hbase默认的客户端超时配置简直就是灾难。
但是我们可以考虑在客户端上加上如下几个参数，去改变这种状况...
分类：
其他好文 时间：
2016-03-14 18:58:00
阅读次数：
241
直播应用中，RTMP和HLS基本上可以覆盖所有客户端观看，HLS主要是延时比较大，RTMP主要优势在于延时低。 一、应用场景 低延时应用场景包括： . 互动式直播：譬如2013年大行其道的美女主播，游戏直播等等 各种主播，流媒体分发给用户观看。用户可以文字聊天和主播互动。 . 视频会议：我们要是有同
分类：
其他好文 时间：
2016-03-04 00:16:25
阅读次数：
251
什么是Trident? 1、基于Storm用于实时计算的高级抽象源语； 有何优势？ 1、支持高吞吐(每秒百万级别)，有状态的流处理； 2、提供低延时的分布式查询功能； 3、Trident具有连接、聚合、分组、自定义行为和过滤的功能； 4、基于内存或数据库做有状态的增量式的计算； 5、能够保证每个Tu
分类：
其他好文 时间：
2016-02-24 19:22:47
阅读次数：
280
Shuffle是一个比较复杂的过程，有必要详细剖析一下内部写的逻辑
ShuffleManager分为SortShuffleManager和HashShuffleManager
一、SortShuffleManager
每个ShuffleMapTask不会为每个Reducer生成一个单独的文件；相反，它会将所有的结果写到一个本地文件里，同时会生成一个index文件，Reducer可以通过这个index文件取得它需要处理的数据。避免产生大量的文件的直接收益就是节省了内存的使用和顺序Disk IO带来的低延时。
...
分类：
其他好文 时间：
2015-09-12 09:37:25
阅读次数：
197
一>修改句柄数Ulimit–a1）修改文件：/etc/security/limits.conf，在文件中添加：（立即生效-当前session中运行ulimit-a命令无法显示）1.*softnofile32768#限制单个进程最大文件句柄数（到达此限制时系统报警）2.*hardnofile65536#限制单个进程最大文件句柄数（到达此限制?.
分类：
系统相关 时间：
2015-09-01 17:01:33
阅读次数：
312
聊天室高频率、低延时完全符合websocket的特点，所以聊天室使用websocket再适合不过了。 聊天室的功能并没有比上一节代码多多少，主要在握手阶段对用户的session做处理，对用户的消息进行分发和处理。 握手阶段HandshakeInterceptor需要做的处理 public ...
分类：
编程语言 时间：
2015-08-17 23:31:01
阅读次数：
396
英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询...
分类：
其他好文 时间：
2015-08-06 01:49:39
阅读次数：
138
配置参考 https://github.com/simple-rtmp-server/srs/wiki/v2_CN_LowLatency 延迟影响因素 编码器：不同的编码器（免费或开源的），延迟也是不同的。 流媒体服务器：SRS2 流协议：比如：rtmp是实时性比较高的，h...
分类：
Web程序 时间：
2015-05-29 16:06:17
阅读次数：
2594
新型应用对数据库的新要求-高并发性的读写请求下的低延时-有效的大数据存储和存取需求（pb级别）-高扩展性和高可用性-更小的管理和操作花费传统关系型数据库的限制-由于关系型数据库的逻辑复杂性，使得随着数据大小增大，有很多的死锁或者并发问题出现，使得读写速度下降-容量限制，传统数据库无法处理大数据-多表...
分类：
数据库 时间：
2015-04-27 21:43:37
阅读次数：
214
