面向对象（OOP）七大原则 设计模式必须遵守OOP原则 开闭原则：对扩展开放，对修改关闭 里氏替换原则：继承必须确保超类所拥有的性质在子类中仍然成立（尽量不重写父类的方法，不要破坏继承关系） 依赖倒置原则：要面向接口编程，不要面向实现编程（降低耦合性） 单一职责原则：控制类的粒度大小、将对象解耦、提 ...
分类：
其他好文 时间：
2021-06-20 17:59:28
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
HDFS的读取过程 HDFS的读取流程大致有以下几个步骤： （1）客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说，这个对象是DistributedFileSystem类的是一个实例，所以实际调用的是DistributedFileSystem对象的ope ...
分类：
其他好文 时间：
2021-06-19 18:42:26
阅读次数：
0
Mac使用npm更新包出现问题，使用n切换到不同版本时出错信息还不相同 npm ERR! Cannot read property 'resolve' of undefined npm ERR! asyncWrite is not a function 怀疑是使用brew更新所有软件时顺带更新了no ...
分类：
系统相关 时间：
2021-06-19 18:42:10
阅读次数：
0
简介： 最佳实践，以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台，比传统Hadoop至少节约50%的成本。其中DLA Meta支持云上15+种数据数据源（OSS、HDFS、DB、DW）的统一视图，引入多租户、元数据发现，追求边际成本为0，免费提供使用。DLA Lakehou ...
分类：
其他好文 时间：
2021-06-18 20:06:29
阅读次数：
0
网络游戏逆向分析-2-搜索基础数据（血量） 人物属性是一个游戏的基础数据，所有的游戏架构都得在基础数据的基础上，所以搜索到基础数据是重中之重。 这里首先来分析人物属性的气血值这个东西。 和单机游戏搜索数据是一样的，同样是采用CE，OD等工具来进行搜索。 搜索血量 首先采用CE，通过数据变化来定位该数 ...
分类：
其他好文 时间：
2021-06-18 19:34:11
阅读次数：
0
将数据从HDFS把文件导出到RDBMS数据库 导出前，目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中 更新模式下，是生成UPDATE语句更新表数据 数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下 1201,gopal,manager,500 ...
分类：
其他好文 时间：
2021-06-18 19:31:03
阅读次数：
0
git clone 命令用于将远程分支拷贝到本地分支中，如果没有指定分支则会默认克隆主分支即master分支 想要clone指定分支，需要给这条命令添加额外参数 git clone -b branchName url // 如： git clone -b dev http://xxxxx.git 以 ...
分类：
其他好文 时间：
2021-06-18 19:18:52
阅读次数：
0
