1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
Elasticsearch+logstash+kibana实现日志分析（实验）一、前言ElasticStack（旧称ELKStack），是一种能够从任意数据源抽取数据，并实时对数据进行搜索、分析和可视化展现的数据分析框架。（hadoop同一个开发人员）java开发的开源的全文搜索引擎工具基于lucence搜索引擎的采用res..
分类：
其他好文 时间：
2017-11-06 22:43:28
阅读次数：
224
这两天看书，发现了和数据仓库相关的还有一个叫ODS的概念，它是企业级的全局数据库，用于提供集成的，企业级一致的数据，包含如何从各个子系统中向ODS抽取数据以及面向主题的角度存储数据。 它和数据仓库的主要区别： 数据仓库是面向主题的、集成的、随时间变化的、非易失的、用于进行战略型决策的数据集合。 OD ...
分类：
其他好文 时间：
2017-10-04 14:19:52
阅读次数：
182
发生错误如下，源端EXTRACT进程异常中止，查看日志，发现如下错误。 2014-07-23 01:32:13 ERROR OGG-00446 Oracle GoldenGate Capture for Oracle, ext_mkt.prm: Could not find archived log ...
分类：
其他好文 时间：
2017-09-16 00:36:36
阅读次数：
237
《Python 基础与爬虫技术》讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本课程还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。
分类：
编程语言 时间：
2017-08-17 14:26:09
阅读次数：
279
数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform, Load)。 IBM WebSphere DataStage（下面简称为DataStage）为整个 ETL 过程提供了一个 ...
分类：
其他好文 时间：
2017-08-14 23:38:22
阅读次数：
243
在hadoop环境搭建完成后，接下来就是要把sqoop整合进来，使其可以利用hadoop和mysql-connector-java来从MySQL中抽取数据并转存到hdfs上。1.将得到的sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz解压到/usr/local/下，并建立/usr/local/sqoop软链接。mvsqoop-1.4.6.bin__hadoop-..
分类：
其他好文 时间：
2017-08-09 01:12:59
阅读次数：
616
介绍 cut用来从文本文件或标准输出中抽取数据列或者域，然后再用paste可以将这些数据粘贴起来形成相关文件。粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相同。 paste将按行将不同文件行信息放在一行。缺省情况下，paste连接时，用空格或tab键分隔新行中不同文本，除非指定- d ...
分类：
其他好文 时间：
2017-08-04 18:27:23
阅读次数：
221
一个简单粗暴的方法从MySQL数据库抽取数据到Hbase实现的过程:rowKey利用MySQL表的主键ID特性作为HBASE的idcode:#####!/usr/bin/envpython#coding=utf-8importsysreload(sys)sys.setdefaultencoding(‘utf-8‘)importMySQLdbimportdatetime,timesys.path.append(‘/usr/lib/python2..
分类：
数据库 时间：
2017-07-22 22:30:12
阅读次数：
257
转自：http://blog.csdn.net/wzy0623/article/details/73650053 一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置 ...
分类：
数据库 时间：
2017-06-27 10:07:13
阅读次数：
935
