【Kettle】Kettle入门解析（四） Kettle实战1（增加序列 json2hdfs） 部分原始数据：user.json如下 结果如下👇 Kettle实战2（字段选择 json2hdfs） 部分原始数据：user.json如下 结果如下👇 Kettle实战3（switch json2ex ...
分类：
其他好文 时间：
2020-11-01 20:46:12
阅读次数：
15
数据库中有订单表tb_order，其中有order_id和user_id和user_name等字段。数据库中有用户资料表tb_user，其中有user_id和user_name等字段。现在需要使用tb_user.user_name来更新tb_order.user_name，两个表的关联条件是tb_o ...
分类：
其他好文 时间：
2020-10-29 09:47:26
阅读次数：
15
到http://mirror.bit.edu.cn/apache/hbase/下载对应的Hbase版本 我这里下载的是hbase-2.2.6-bin.tar.gz版本，是较稳定的版本。 解压： tar -zxvf /home/hadoop/桌面/hbase-2.2.6-bin.tar.gz 移动位置 ...
分类：
系统相关 时间：
2020-10-18 09:47:54
阅读次数：
26
Hbase内核的原理和机制 ###列式存储 1.概念: 列式存储-以列为单位聚合数据 Hbase以列式存储的格式在磁盘存储数据 2.目的： 高效的检索和更新 3.基于这样的假设： 对于特定的查询，不是所有的值都是必须的，尤其是在分析型数据库中，所以减少I/O 基于列式存储更恶意大幅度提高压缩比，有利 ...
分类：
其他好文 时间：
2020-10-09 21:41:28
阅读次数：
55
在平时工作当中，会遇到这种情况，而且很常见。比如：1、自动生成文件TXT或者EXCEL（电信行业该需求居多），上传至某服务器；2、双方数据对接，对方提供数据库视图针对以上情况，笔者就写下具体怎么实现1、自动生成EXCEL文件1）如上图，选择表输入（读取视图或者table数据），EXCEL输出（准备输出的EXCEL文件），连接两个控件。2）配置数据库连接（上节有介绍jdbc），后续可以通过jndi进
分类：
其他好文 时间：
2020-09-18 00:30:03
阅读次数：
37
1、基本概念 ThreadLocal叫做线程变量，意思是ThreadLocal中填充的变量属于当前线程，该变量对其他线程而言是隔离的。ThreadLocal为变量在每个线程中都创建了一个副本，那么每个线程可以访问自己内部的副本变量。 2、使用场景 1、在进行对象跨层传递的时候，使用ThreadLoc ...
分类：
其他好文 时间：
2020-09-17 16:28:42
阅读次数：
25
一、先下载JDK以及kettle 下载地址：https://pan.baidu.com/s/1k1v7t-1kCJqouoo3aRx5hw 密码：fpxq 二、创建资源库 1、点击Spoon.bat文件，启动kettle. 2、创建资源库 点击Connet,选择Pentaho Repository ...
分类：
其他好文 时间：
2020-09-17 15:43:47
阅读次数：
31
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
NoSQL 简介 NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。 在现代的计算系统上每天网络上都会产生庞大的数据量。 这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational ...
分类：
数据库 时间：
2020-08-28 14:28:59
阅读次数：
66
本文会对HBase的基本原理进行剖析，通过本文你可以了解到：CAP理论NoSQL出现的原因HBase的特点及使用场景HBase的数据模型和基本原理客户端API的基本使用易混淆知识点面试总结温馨提示:本文内容较长，如果觉得有用，建议收藏。另外记得分享、点赞、在看，素质三连哦！从BigTable说起HBase是在谷歌BigTable的基础之上进行开源实现的，是一个高可靠、高性能、面向列、可伸缩的分布式
分类：
其他好文 时间：
2020-08-13 22:24:32
阅读次数：
108
