1：sqoop的概述： （1）：sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。（2）：导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；（3）：导出数据：从Hadoop的文件系统中导出数据到关系数据库 （4 ...
分类：
数据库 时间：
2017-12-15 15:09:08
阅读次数：
199
1.1 部署LNMP架构说明 1.1.1 LNMP架构内容 01.部署linux系统 02.部署nginx网站服务 03.部署mysql数据库服务 04.部署php动态解析服务 1.1.2 配置LNMP架构步骤 01.配置Nginx配置文件 02.配置mysql数据库信息（SQL语句） 03.配置w ...
分类：
其他好文 时间：
2017-12-11 23:03:21
阅读次数：
244
1.概述 HBase的存储结构和关系型数据库不一样，HBase面向半结构化数据进行存储。所以，对于结构化的SQL语言查询，HBase自身并没有接口支持。在大数据应用中，虽然也有SQL查询引擎可以查询HBase，比如Phoenix、Drill这类。但是阅读这类SQL查询引擎的底层实现，依然是调用了HB ...
分类：
其他好文 时间：
2017-12-10 14:35:37
阅读次数：
158
实践扩容 1.要求: travelrecord 表定义为10个分片,尝试将10个分片中的 2 个分片转移到第二台MySQL上, 并完成记录要求,最快的数据迁移做法,中断业务时间最短 2.针对分片以及迁移方式 mycat中分片可以理解为dbn 而dbn可以是单独datahost中的某个database ...
分类：
其他好文 时间：
2017-12-09 19:29:41
阅读次数：
172
前两天看到西瓜哥发布的一篇文章名为《SERVER SAN一定比阵列便宜吗？请看5年TCO分析》，其中分析了几家公司产品在数据归档方面5年内的TCO分析。我非常赞同西瓜哥的看法，这种场景的未来一定是Sserver SAN的，这个结论应该不用怀疑。对于长期归档，应该用10年的跨度来对比比较合适。因为一般阵列的生命周期是5-7年，生命周期结束要更换到新的系统，必须要进行数据迁移，有一笔迁移的费用。而Se
分类：
其他好文 时间：
2017-12-04 10:23:33
阅读次数：
135
3.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 3.2 工作机制 将导入或导出命令 ...
分类：
其他好文 时间：
2017-12-01 18:36:26
阅读次数：
209
ETL是神马ETL（Extract，Transform and Load）翻译为中文就是数据提取、转换和加载。典型的大数据项目里，一般都有数据获取，数据清洗，数据发掘，数据可视化， 数据分析等步骤，而这个过程就是所谓的ETL。所以ta定义的是过程，并不是技术也不是工具。数据仓库测试 VS 数据库测试这里为什么会提到数据仓库呢？原因是ta与ETL有着千丝万缕的关系。比如，我们要盖一栋楼，那这个建筑图
分类：
其他好文 时间：
2017-12-01 11:33:10
阅读次数：
112
2017.11.29例会内容 1.今天，由于临近交作业时间，组长首先在群内对各组人员即将上交的作业资料进行了汇总 编写软件需求规格说明书小组：系统需求规格说明书 编写测试用例小组：测试用例设计说明书、场景法测试用例设计、 编写测试脚本小组：被测系统可执行程序以及对应测试数据、测试脚本原始工程和文件 ...
分类：
其他好文 时间：
2017-11-30 00:57:29
阅读次数：
183
相对于其他的语言非常易于学习 编程从来都是不是简单的事情 python就像万金油 到底能做哪些事情 爬虫 大数据 测试(自动化) web AI 人工智能 脚本处理 主流的关联 很美 Python的之禅 简洁胜于复杂 编程解决生活中的问题 ...
分类：
编程语言 时间：
2017-11-29 16:16:11
阅读次数：
151
公司最近数据迁移项目比较多，大部分都是上云服务，目前基本上是镜像上云，P2V，V2V模式，但是我也渐渐了解到很多企业也打算数据库上云服务，由于各种不同原因，没有办法P2V、V2V这种形式。需要我们就是进行应用迁移即数据库迁移。 下面几节我就oracle、mysql、sqlserver数据库迁移工具介... ...
分类：
数据库 时间：
2017-11-21 22:00:04
阅读次数：
322
