1. 背景介绍 在大数据时代，日志记录和管理变得尤为重要。 以往的文件记录日志的形式，既查询起来又不方便，又造成日志在服务器上分散存储，管理起来相当麻烦， 想根据一个关键字查询日志中某个关键信息相当困难。 这个时候，ELK诞生了。 什么是ELK? 简单来说：它是一套完整的日志记录和分析的解决方案平台 ...
分类：
其他好文 时间：
2017-03-29 15:36:18
阅读次数：
246
https,http和ssl这三者是什么关系呢？ http是超文本传输协议，浏览器利用这一协议就可以访问各种网站了。 ssl指Secure Sockets Layer 安全套接层，是一种保证网络数据传输安全和完整的安全协议。 https是在http规则的基础上又加了一层加密协议的超文本传输协议，s ...
分类：
Web程序 时间：
2017-03-09 13:46:21
阅读次数：
213
Netflix近日开源了一个叫做Suro的工具，公司可以利用它来做数据源主机到目标主机的实时定向。它不只在Netflix的数据管道上扮演重要角色，大规模下的应用场景同样令人印象深刻。 Netflix各种应用程序每天生成数百亿的事件，Suro可以在数据被发送之前收集到它们，然后部分经过Amazon S ...
分类：
Web程序 时间：
2017-02-26 10:49:00
阅读次数：
174
1、为什么要有Kafka？ [出自 Hrq] Kafka是一个消息系统， 原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在主要用作数据管道（data pipeline）和消息系统 Kafka出现的原因： l ...
分类：
其他好文 时间：
2016-11-10 21:29:55
阅读次数：
223
嵌入式Linux进程间通信（六）——管道一、管道管道是单向的、先进先出的、无结构的、固定大小的字节流。写进程在管道的尾端写入数据，读进程在管道的首端读出数据。数据读出后将从管道中移走，其它读进程都不能再读到这些数据。管道提供了简单的流控制机制。进程试图读空管道时..
分类：
系统相关 时间：
2016-07-07 11:10:40
阅读次数：
227
管道的内容，位于os.Stdin里，可以像普通文件一个操作os.Stdin，即可获取管道传过来的内容。 通过os.Stdin的mode值来判断程序是否通过管道调用。 调用方法：cat test.txt |./pipe 参考url：http://blog.ralch.com/tutorial/gola ...
分类：
编程语言 时间：
2016-07-04 20:28:52
阅读次数：
149
UnixIPC:管道、命名管道（FIFO）管道1、概念管道是单向的（半双工）、先进先出、无结构的字节流，它把一个进程的输出和另一个进程的输入连接在一起。写进程在管道的尾端写入数据，读进程在管道的首端读出数据。数据读出后将从管道中移走，其它读进程都不能再读到这些数据。管道..
分类：
系统相关 时间：
2016-07-03 23:48:22
阅读次数：
510
1.TCP连接
几乎所有的HTTP通信都有由TCP/IP承载的，TCP/IP是全球计算机及网络设备都在使用的一种常用的分组交换网络分层协议集。一旦连接建立起来，客户端和服务器之间交换的报文就永远不会丢失、受损或失序。但计算机或网络崩溃，会使通信终端。
1.1.TCP可靠数据管道
TCP为HTTP提供了一条可靠的比特传输管道。
浏览器接受到一个URL的时候，会执行以下步骤：
#1：...
分类：
Web程序 时间：
2016-07-01 20:16:08
阅读次数：
364
Hadoop 图形化用户界面 Hue 大数据可视化工具 Nanocubes 企业大数据平台 RedHadoop 大数据查询引擎 PrestoDB Hadoop集群监控工具 HTools 安全大数据分析框架 OpenSOC 分布式数据仓库系统 Apache Tajo 数据管道服务 Suro 开源大数据 ...
分类：
其他好文 时间：
2016-07-01 06:39:58
阅读次数：
231
1、实现方法 通过应用程序实现数据的自动迁移，要求被操作的源和目标数据库已经存在，并且数据迁移的策略（数据管道）也应建立。在此基础上，通过应用程序使用数据管道，实现数据的自动迁移。 2．1实现步骤 一般说来，在应用程序中使用数据管道有五个基本步骤： （1）创建对象 创建数据管道对象、管道对象的支撑用 ...
分类：
其他好文 时间：
2016-05-02 10:32:15
阅读次数：
398
