总结一下大数据开发基本常识: JDK(做java开发必备的开发工具包) Hadoop(Apache开发的分布式系统的基础框架)三大组件:MapReduce,Yarn,Hdfs Sqoop(数据迁移,清洗) Kettle(数据清洗,格式转换) Hive(基于Hadoop的数据仓库,并不是数据库,需要安 ...
分类:
系统相关 时间:
2020-03-15 22:17:01
阅读次数:
90
1、关于mysql replace用法 update biaozhun set province=replace(province,'县','县县') 作用 将biaozhun表里的province字段中的县换为县县 字符串截取 update biaozhun set 'province'=subs ...
分类:
其他好文 时间:
2020-03-15 09:46:20
阅读次数:
52
首先“表输出”连接数据库表 接着配置表输出的具体参数 ...
分类:
其他好文 时间:
2020-03-14 01:24:59
阅读次数:
64
在数据表中,我们有时候需要获取字段中一部分内容,我们可以通过javascript来获取数据的内容 1.在主对象树中与要获取的数据的数据库创建连接,连接本地的数据库直接写localhost就可以 2. 按住shift键进行连接,选择主输出步骤,双击表输入,通过sql语句查询需要提取的字段 3.因为数据 ...
分类:
其他好文 时间:
2020-03-12 23:30:45
阅读次数:
371
ylbtech-汉语-汉字:镬 镬是古代煮牲肉的大型烹饪铜器之一。古时指无足的鼎。今南方称锅子叫镬。有三个足架空,可以燃火,两耳用铉(铜钩)和扃“jiong”(横杠)抬举。 1.返回顶部 1、 中文名:镬外文名:kettle拼 音: huò部 首:金五 笔:QAWC结 构:左右结构笔顺编号:3111 ...
分类:
其他好文 时间:
2020-03-12 19:15:02
阅读次数:
69
本此博客对自己第三周主学习进行一些总结,本周主要学习了关于python以及大型数据的一些操作,学习的主要内容基本是关于数据的获取以及对数据进行一些分析。前面的博客已经介绍过对DataX的使用了,本次介绍一下另一种数据分析工具Kettle的使用,以下是自己的实际操作例子: 一、安装 链接: https ...
分类:
其他好文 时间:
2020-03-09 00:59:34
阅读次数:
127
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度、管理工具。 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完 ...
分类:
其他好文 时间:
2020-03-05 13:24:24
阅读次数:
179
1. 案例介绍 本案例要基于MySQL数据库,使用Kettle、Apache Superset实现数据可视化。案例使用MySQL作为数据分析的存储以及查询引擎、以Kettle作为数据处理脚本执行工具、以及Apache Superset实现数据可视化展示。让我们将来能够欧快速实现数据分析、以及可视化开 ...
分类:
其他好文 时间:
2020-03-04 12:30:03
阅读次数:
92
kettle连接mysql报错 网上查询后才知道这是时区的问题,解决方法: 从cmd进入mysql进行操作: 之后成功: ...
分类:
数据库 时间:
2020-03-02 18:59:31
阅读次数:
275
日期:2020.03.01 博客期:159 星期日 我打算从三方面去实现安全性的保障! 1、访问的数据库权限 因为毕竟在做项目的时候,只是需要从数据库中抽取数据,并不需要对其进行增加、删除或修改。所以,我们 DBLink 需要使用仅支持复合查询或者简单查询的用户来访问数据库!这样,就不怕代码被恶意篡 ...
分类:
编程语言 时间:
2020-03-02 00:41:28
阅读次数:
76