近期，巨杉数据库正式推出了完整的SequoiaDB工具包，作为辅助工具，更好地帮助大家使用和运维管理分布式数据库。为此，巨杉技术社区还将持续推出工具系列文章，帮助大家了解巨杉数据库丰富的工具矩阵。本文作为系列第一篇，将分享巨杉数据库大数据存储工具sdblobtool的基本介绍和应用实践。巨杉工具矩阵一、对象存储与自建存储对比通俗地讲，自建存储就是自己购买服务器设备存储文件，通过运维人员手工进行文件
分类：
数据库 时间：
2019-11-21 10:20:07
阅读次数：
133
1、数据集，某宝数据。 下载数据后，利用kettle将文本文件导入mysql数据库。数据time从 2014-11-18 00到2014-12-18 23。包含如下字段： item_id（产品ID），behavior_type（包含点击、收藏、加购物车、购买四种行为，分别用数字1、2、3、4表示）， ...
分类：
其他好文 时间：
2019-11-19 01:18:17
阅读次数：
65
主花了一下午时间，收集全网，学习了下kittle,觉得该大v写的不错，特意整理给大家！学会这几个案例kittle基本就没问题了。 1.kettle案例一抽取gz格式文本内容保存到mongodb https://blog.csdn.net/zzq900503/article/details/78658 ...
分类：
其他好文 时间：
2019-11-06 13:04:40
阅读次数：
117
http://www.kettle.net.cn/ https://www.cnblogs.com/mq0036/p/9238646.html 。。。。 直接到百度下搜索kettle即可 ...
分类：
其他好文 时间：
2019-10-24 13:25:18
阅读次数：
62
前言 Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post ，REST client。 实验背景 这周二老师布置了一项实验： 建立一个转换，实现一个猫眼API热映电影的json，生成为xls文件。 猫眼的热门电影接口为： "?http://m.maoyan.com/ ...
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:24:39
阅读次数：
112
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:20:22
阅读次数：
115
动态数据连接，使JOB得以复用 移动执法系统在目前的主要的部署策略为1+N的方式，即总队部署一套，地市各部署一套，且基本都在环保专网。各地市的业务数据需要推送到总队系统，以便总队系统做整体的监督、决策。在整个数据对接过程中，基于Kettle开发的各地市对接省厅的ETL程序，除了数据链接信息不同之外， ...
分类：
其他好文 时间：
2019-09-28 00:54:03
阅读次数：
113
金融数据的来源：万得资讯、财汇、聚源，利用kettle工具和kettle脚本，将有用的数据传输到我们自己使用的数据库中。 如何测试kettle脚本。 一、背景业务知识 1、证券交易信息：投资者买卖证券的申报记录进入证券交易系统后汇总，并按照一定规则进行排序，形成申报数据库。投资者申报的内容经证券交易 ...
分类：
其他好文 时间：
2019-09-23 18:08:36
阅读次数：
310
使用kettle进行数据清洗： 1.新建转换去除手机销售信息表的重复记录 要求：去除该字段中的所有空格，方便后续聚合统计，字母统一大小写，去除该字段中的所有特殊字符（各种标点符号） 这里可选用排序加去重组件，也可用哈希去重。然后用字符串操作去括号，大小写统一。字符串替换的正则表达式去除特殊字符。 2 ...
分类：
其他好文 时间：
2019-09-08 09:36:01
阅读次数：
224
