需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
1. MongoDB相关概念 1.1 业务应用场景 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求： High performance - 对数据库高并发读写的需求。 Huge Storage - 对海量数据的高效率 ...
分类：
数据库 时间：
2021-06-20 17:35:12
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
在Java的并发包中，存在着许多高效的并发工具类，它优于synchronized关键字，在JDK中提供了一个ConcurrentLinkedQueue工具类实现了高效的并发读写工具类，该工具类具有很高效的性能，因此，本片文章笔者将通过解读ConcurrentLinkedQueue源码的方式探究该数据 ...
分类：
其他好文 时间：
2021-06-19 18:50:41
阅读次数：
0
HDFS的读取过程 HDFS的读取流程大致有以下几个步骤： （1）客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说，这个对象是DistributedFileSystem类的是一个实例，所以实际调用的是DistributedFileSystem对象的ope ...
分类：
其他好文 时间：
2021-06-19 18:42:26
阅读次数：
0
现代操作系统都使用分页机制来管理内存，这使得每个程序都拥有自己的地址空间。每当程序使用虚拟地址进行读写时，都必须转换为实际的物理地址，才能真正在内存条上定位数据。如下图所示： 内存地址的转换是通过一种叫做页表（Page Table）的机制来完成的，这是本节要讲解的重点，即： 页表是什么？为什么要采用 ...
分类：
编程语言 时间：
2021-06-18 20:12:38
阅读次数：
0
简介： 最佳实践，以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台，比传统Hadoop至少节约50%的成本。其中DLA Meta支持云上15+种数据数据源（OSS、HDFS、DB、DW）的统一视图，引入多租户、元数据发现，追求边际成本为0，免费提供使用。DLA Lakehou ...
分类：
其他好文 时间：
2021-06-18 20:06:29
阅读次数：
0
挂载IP-SAN ipsan重新分区，详见IPSAN的配置手册； 运行安装iscsi-initiator-utils-6.2.0.872-10.el6.i686.rpm 启动iscsi服务/etc/init.d/iscsi start（如果该项未能启动，直接进入下面操作） 发现网络中的存储节点，其中 ...
分类：
系统相关 时间：
2021-06-18 19:35:16
阅读次数：
0
结构 磁盘基础 检测并确认新硬盘 规划硬盘中的分区 创建文件系统 挂载、卸载文件系统 磁盘结构 硬盘的物理结构 盘片:硬盘有多个盘片,每盘片2面 磁头:每面一个磁头 硬盘的数据结构 扇区:盘片被分为多个扇形区域,每个扇区存放512字节的数据，硬盘的最小存储单位 磁道:同一盘片不同半径的同心圆,是由磁 ...
分类：
系统相关 时间：
2021-06-18 19:32:14
阅读次数：
0
