增加更新操作 更新用户的配置 测试类 删除的操作 这里的parpameterType值可以是：Integer、INTEGER、int、java.lang.Integer 讲到typeAliases标签这个知识点的时候，会告知为什么支持这么多种写法 只有一个值的情况，这里只需要随便写一个占位符就可以了 ...
分类：
其他好文 时间：
2019-08-06 14:21:52
阅读次数：
89
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb ...
分类：
数据库 时间：
2019-07-29 00:15:25
阅读次数：
107
Flume Kafka 测试案例，Flume 的配置。 1. 启动 kafka。 2. 创建 kafka topic，flume配置中的 topic 为 t1。 3. 启动 flume。 4. 启动 kafka 的消费者，来观察看是否成功。 5. 由于 flume 配置文件中监控的命令是 netca ...
分类：
Web程序 时间：
2019-07-28 20:18:07
阅读次数：
144
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 启动相关的 flume，kaf ...
分类：
其他好文 时间：
2019-07-28 19:56:51
阅读次数：
109
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka 2. 启动 flume flume 配置文件如下 这里 flume 是的数据是来自一个文件，只要这个文件有数据进入，就会被flume ...
分类：
其他好文 时间：
2019-07-28 19:55:02
阅读次数：
110
Flume应用开发 要求： Flume应用场景Flume的核心是把数据从数据源收集过来，在送到目的地。为了保证输送一定成功，发送到目的地之前，会先缓存数据，待数据真正的到达目的地后，删除自己缓存的数据。Flume采用流式方法采集和传输数据，程序配置好后，不需要外部条件触发下，一直监控数据源，源源不断 ...
分类：
Web程序 时间：
2019-07-28 17:10:09
阅读次数：
140
SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 ...
分类：
Web程序 时间：
2019-07-23 00:05:06
阅读次数：
168
准备工作： 1、到Flume官网下载apache-flume-1.8.0-bin.tar.gz 2、下载代码：https://github.com/javabigdataxin/FlumeExtend 在Flume的conf目录新建一个RollingFileSink.conf文件 a1.source ...
分类：
Web程序 时间：
2019-07-21 01:21:25
阅读次数：
170
测试flume，将数据送到hive表中，首先建表。 flume conf 配置如下： 这个时候如果启动flume的话会报错，需要将hive中的jar包移动到flume 中。 此时，在修改修改 hive-site.xml，将下面的值进行修改。 上面的配置完成之后，先启动 hive metastore， ...
分类：
Web程序 时间：
2019-07-20 12:57:59
阅读次数：
163
