一.什么是实时计算系统?(流式计算)1.离线计算和实时计算 离线计算 实时计算(流式计算) 典型代表 mapReduce Apache Strom，Spark Streaming 和JStream 数据 HDFS上 实时数据 采集数据 Sqoop(批量导入) Flume进行采集 保存结果 HDFS ...
分类：
Web程序 时间：
2017-07-15 10:04:17
阅读次数：
253
Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Ap ...
分类：
其他好文 时间：
2017-07-12 12:08:24
阅读次数：
508
作者：仲浩 出处：《程序员》电子刊5月B 摘要：Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。与此同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求，因此GC参数的调优在Spark应用实践中显得尤为重要。 Spark是时下非常热门的大数据计算框 ...
分类：
其他好文 时间：
2017-07-10 23:34:04
阅读次数：
265
一、静态布局（static layout） 即传统Web设计，网页上的所有元素的尺寸一律使用px作为单位。 1、布局特点 不管浏览器尺寸具体是多少，网页布局始终按照最初写代码时的布局来显示。常规的pc的网站都是静态（定宽度）布局的，也就是设置了min-width，这样的话，如果小于这个宽度就会出现滚 ...
分类：
其他好文 时间：
2017-07-10 20:14:27
阅读次数：
815
socket:IPC的一种实现，用于同一或不同主机上的进程间的通信；#套接字类型：
TCP：流式socket，SOCK_STREAM
可靠、双向、面向字节流
UDP：数据报式socket，SOCK_DGRAM
RAW_SOCKET：裸套接字
#socket通信在domain中实现：
识别一个socket的方法（socket地址格式）
domain:
Unix..
分类：
Web程序 时间：
2017-07-10 10:15:49
阅读次数：
228
什么是流媒体服务呢。 所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式， 与需要将整个视频文件全部下载之后才能观看的传统方式相比， 流媒体技术是通过将视频文件经过特殊的压缩方式分成一个个的小数据包， 由视频服务器向用户计算机连续、实时传送，用户不需要将整个视频文件完全下载之后才能观看 ...
分类：
Windows程序 时间：
2017-07-08 00:26:01
阅读次数：
1479
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。在选择不同的流处理系统时，通常会关注以下几点： 运行时和编程模型：平台 ...
分类：
其他好文 时间：
2017-07-06 00:29:25
阅读次数：
241
Sed是一种流式编辑器，是针对文档的行来操作的。它是文本处理中常用的工具，能够完美的配合正则表达式使用。比起grep/egrep来，功能更加强大。▌sed命令的基本用法：sed[-nefri]‘command’filename▎常用选项：-n：只有经过sed特殊处理的那一行才会被列出来；-e：可以多点编辑..
分类：
其他好文 时间：
2017-07-05 10:08:49
阅读次数：
195
在科技飞速发展的今天，每天都会产生大量新数据，例如银行交易记录，卫星飞行记录，网页点击信息，用户日志等。为了充分利用这些数据，我们需要对数据进行分析。在数据分析领域，很重要的一块内容是流式数据分析。流式数据，也即数据是实时到达的，无法一次性获得所有数据。通常情况下我们需要对其进行分批处理或者以滑动窗... ...
分类：
其他好文 时间：
2017-07-05 01:16:04
阅读次数：
184
一、梗概 即时处理流式数据； Spark Streaming 使用 离散化流(discretized stream) DStream作为抽象表示； DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些 RDD所组成的序列 (因此 得名 ...
分类：
其他好文 时间：
2017-07-03 10:12:00
阅读次数：
229
