传统关系型数据库中 ，最基本的sql查询语句由projecttion (field a,field b,field c) , datasource (table A) 和 fieter (field a >10) 三部分组成。 分别对应了sql查询过程中的result , datasource和op ...
分类：
数据库 时间：
2019-11-11 00:47:34
阅读次数：
118
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
RPC（Remote Procedure Call）远程过程调用，主要解决远程通信间的问题，不需要了解底层网络的通信机制。 RPC框架 知名度较高的有Thrift(FB的)、dubbo(阿里的)。 RPC的一般需要经历4个步骤： 1、建立通信 首先要解决通讯的问题：即A机器想要调用B机器，首先得建立 ...
分类：
其他好文 时间：
2019-10-16 10:02:35
阅读次数：
139
简介 Apache Thrift是Facebook开源的跨语言的RPC通信框架，目前已经捐献给Apache基金会管理，由于其跨语言特性和出色的性能，在很多互联网公司得到应用，有能力的公司甚至会基于thrift研发一套分布式服务框架，增加诸如服务注册、服务发现等功能。 RPC即Remote Proce ...
分类：
编程语言 时间：
2019-10-08 16:00:52
阅读次数：
126
Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。 ...
分类：
Web程序 时间：
2019-09-28 23:44:45
阅读次数：
140
最近接触了下组内常用的一些日志分析及报警工具，发现现在一些开源社区和商业公司的产品真的很好用，想要独立搭建一个完善的后端服务，真的已经很容易了； 1. 日志收集与分析：graylog2 + hive/presto 2. 服务监控：sentry 3. Rpc: thrift+consul 如今的开发环 ...
分类：
其他好文 时间：
2019-09-22 12:59:42
阅读次数：
93
这是关于使用微服务架构创建应用系列的第四篇文章。第一篇介绍了微服务架构的模式，讨论了使用微服务架构的优缺点。第二和第三篇描述了微服务架构内部的通讯机制。这篇文章中，我们将会探讨服务发现相关问题。 为什么要使用服务发现? 设想一下，我们正在写代码使用了提供REST API或者Thrift API的服务 ...
分类：
其他好文 时间：
2019-09-10 17:53:07
阅读次数：
151
Web开发-数据研发工程师 岗位描述 1、从事互联网海量数据挖掘分析系统的开发 2、完成海量数据挖掘分析工作，并能快速获取有效数据进行异常数据排查3、进行数据分析平台的构建、对业务部门提供数据支持服务 岗位描述 1、从事互联网海量数据挖掘分析系统的开发 2、完成海量数据挖掘分析工作，并能快速获取有效 ...
分类：
其他好文 时间：
2019-08-31 01:15:57
阅读次数：
132
RPC介绍 RPC (远程过程调用) 是一个计算机通信协议 优点: 使用自定义的二进制形式进行数据传输, 效率极高 应用场景: 子系统之间进行数据交互 实现效果: 以函数形式调用另一台计算机上的程序 解决方案 google gRPC facebook thrift 流程： 1. 调用者（Caller ...
分类：
其他好文 时间：
2019-08-30 20:55:19
阅读次数：
75
什么是RPC 从网络协议来说，Http协议与Rpc同属于应用层， 他们的底层都是tcp协议。 RPC（即Remote Procedure Call，远程过程调用）和HTTP（HyperText Transfer Protocol，超文本传输协议）他们最本质的区别，就是RPC主要工作在TCP协议之上， ...
分类：
其他好文 时间：
2019-08-10 17:41:48
阅读次数：
153
