先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。（1）交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。（2）主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关
分类：
其他好文 时间：
2020-03-05 19:24:21
阅读次数：
185
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度、管理工具。 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完 ...
分类：
其他好文 时间：
2020-03-05 13:24:24
阅读次数：
179
hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 ...
分类：
其他好文 时间：
2020-03-04 22:29:35
阅读次数：
152
1. 案例介绍 本案例要基于MySQL数据库，使用Kettle、Apache Superset实现数据可视化。案例使用MySQL作为数据分析的存储以及查询引擎、以Kettle作为数据处理脚本执行工具、以及Apache Superset实现数据可视化展示。让我们将来能够欧快速实现数据分析、以及可视化开 ...
分类：
其他好文 时间：
2020-03-04 12:30:03
阅读次数：
92
一：Java类于HBase数据模型 二：HBaseConfiguration 包名 ： org.apache.hadoop.hbase.HBaseConfiguration作用：对HBase进行配置。使用方法演示样例： HBaseConfiguration hconfig = new HBaseCo ...
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
kettle连接mysql报错 网上查询后才知道这是时区的问题，解决方法： 从cmd进入mysql进行操作： 之后成功： ...
分类：
数据库 时间：
2020-03-02 18:59:31
阅读次数：
275
参考德拓视频学习：http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972 kettle安装：下载包直接解压 ...
分类：
其他好文 时间：
2020-03-02 00:35:39
阅读次数：
798
对于使用kettle把csv文件导入数据库出现中文乱码问题，首先排查数据库属性中的字符集是否为utf8，其次数据库自断的字符集是否utf8，如果都没问题，那么问题就是出在kettle上，首先是kettle连接数据库的db连接处要添加一个属性，添加characterEncoding属性，值为UTF-8 ...
分类：
其他好文 时间：
2020-03-01 12:19:39
阅读次数：
52
背景 接到一个任务，是爬取广东省采购网2019年全年的采购公告、合同信息、结果公告等信息。通过python代码的编写已经完成了这个任务。但由于采购网的服务器不是太稳定等因素，因此，相当一部分的数据行没有爬取到“公布日期”。 幸好，我的数据行里面已经存有每个数据的网址来历，只要直接get，就能获取该网 ...
分类：
其他好文 时间：
2020-03-01 10:42:28
阅读次数：
212
