一、什么是Socket Socket接口是TCP/IP网络通信的API,Socket接口定义了许多函数或例程,可以用它们来开发TCP/IP网络上的应用程序。 Socket类型有两种:流式Socket (SOCK_STREAM)和数据报式Socket(SOCK_DGRAM)。流式是一种面向...
分类:
系统相关 时间:
2015-10-27 00:01:34
阅读次数:
443
今天主要学习java swing 界面方面的内容其中包括 jframejtextfiledjtextareajbuttonjcomboxjradiobutton.....尝试了这些类型的属性和方法 实际使用了具体的用法其中流式布局比较困难,因为具体的布局设计在窗体上的表示是不同的。 明日计划继续学....
分类:
其他好文 时间:
2015-10-26 20:22:46
阅读次数:
137
sockets(套接字)编程有三种,流式套接字(SOCK_STREAM),数据报套接字 (SOCK_DGRAM),原始套接字(SOCK_RAW);基于TCP的socket编程是采用的流式套接字(SOCK_STREAM)。基于UDP采 用的数据报套接字(SOCK_DGRAM).1.TCP流式套接字的编...
分类:
其他好文 时间:
2015-10-24 14:24:08
阅读次数:
200
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(...
分类:
其他好文 时间:
2015-10-22 21:10:42
阅读次数:
277
Linux常见集群:将多台主机结合起来创造冗余集群,通过缩短平均修复时间提高系统可用性LB:lvs,nginxHA:Keepalived,heartbeat,corosync,cmanHP:高性能集群并行处理:分布式存储:HDFS:分布式计算:YARNbatch:MapReducein-memory:sparkstream:sotrm流式处理系统Keepal..
分类:
其他好文 时间:
2015-10-22 06:57:38
阅读次数:
2253
2015-10-10张晓东东方云洞察东方云洞察InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者,下面我们来简单介绍下这些获奖的技术工具。1.Spark在Apache的大数据项目中,Spark是最火的一个,特别是像IBM这样的重量级贡献..
分类:
其他好文 时间:
2015-10-21 00:31:35
阅读次数:
303
简介Strom是一个开源的分布式流式计算系统,用来处理流式的数据,被称作为流式的hadoop,在电信行业,可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。本文将从storm在hadoop生态圈中所处位置、storm中术语、storm平台搭建、storm应用程序构建等详细介绍st..
分类:
其他好文 时间:
2015-10-20 12:26:05
阅读次数:
521
0 背景 阻塞队列在生产业务的很多场景里,都有使用需要。例如:在数据流式处理服务中,我们需要并行化的运行上游逻辑a与下游逻辑b;在rpc网络通讯框架场景中,我们需要解耦网络读写线程与消息处理线程。总之,阻塞队列是在不同职责的线程之间进行数据沟通的桥梁。在java的jdk里面有现成的Blockin.....
分类:
其他好文 时间:
2015-10-19 10:41:37
阅读次数:
238
分布式系统实践1.从Storm和Spark 学习流式实时分布式计算的设计http://www.csdn.net/article/2014-08-04/2821018/1要点:流式计算并不是什么新鲜的东西, 相信很多同学也都用过. 不过之前流式计算往往都用在业务相关的地方, 随着大规模分布式系统对tr...
分类:
其他好文 时间:
2015-10-18 10:03:16
阅读次数:
272
最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费...
分类:
Web程序 时间:
2015-10-15 20:36:00
阅读次数:
300