Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Ap ...
分类：
其他好文 时间：
2017-07-12 12:08:24
阅读次数：
508
转自：http://blog.csdn.net/wzy0623/article/details/73650053 一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置 ...
分类：
数据库 时间：
2017-06-27 10:07:13
阅读次数：
935
学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析 ...
分类：
其他好文 时间：
2017-06-23 19:35:51
阅读次数：
182
搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下 创建/ap... ...
分类：
Web程序 时间：
2017-06-22 12:02:47
阅读次数：
323
分布式 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) 欢迎大家一起学习研究相关... ...
分类：
编程语言 时间：
2017-06-19 15:16:41
阅读次数：
415
1.Flume相关：(1)window环境上flume启动命令： D:\apache-flume-1.6.0-bin\bin>路径下，先执行： java -Dflume.root.logger=INFO,console 再执行： flume-ng.cmd agent -conf ../conf -c ...
分类：
其他好文 时间：
2017-06-15 20:25:37
阅读次数：
161
Flume+Kafka整合一、准备工作准备5台内网服务器创建Zookeeper和Kafka集群服务器地址：192.168.2.240192.168.2.241192.168.2.242192.168.2.243192.168.2.244服务器系统：Centos6.564位下载安装包Zookeeper：http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6...
分类：
Web程序 时间：
2017-06-12 22:40:05
阅读次数：
277
下载apache-flume-1.7.0-bin.tar.gz，用 解压，在/etc/profile文件中增加设置： 修改$FLUME_HOME/conf/下的两个文件，在flume-env.sh中增加JAVA_HOME： 最重要的，修改flume-conf.properties文件： 以上文件设置 ...
分类：
Web程序 时间：
2017-06-10 23:29:03
阅读次数：
236
storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 ...
分类：
其他好文 时间：
2017-06-09 11:07:26
阅读次数：
260
1. flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 ...
分类：
Web程序 时间：
2017-06-07 12:36:55
阅读次数：
211
