重点组件：HDFS：Hadoop的分布式文件存储系统MapReduce：Hadoop的分布式程序运算框架，也可以叫做一种编程模型Hive：基于Hadoop的类SQL数据仓库工具HBase：基于Hadoop的列式分布式NoSQL数据库ZooKeeper：分布式协调服务组件Mahout：基于MapReduce/Flink/Spark等分布式运算框架的机器学习算法库Oozie/Azkaban：工作流调度
分类：
其他好文 时间：
2019-01-11 14:19:16
阅读次数：
174
有两个海量日志文件存储在hdfs上， 其中登陆日志格式：user，ip，time，oper（枚举值：1为上线，2为下线）； 访问之日格式为：ip，time，url，假设登陆日志中上下线信息完整，切同一上下线时间段内是用的ip唯一， 计算访问日志中独立user数量最多的前10个url，用MapRedu... ...
分类：
其他好文 时间：
2019-01-09 23:33:20
阅读次数：
343
MongoDB 什么是MongoDB？ MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，皆在为WEB应用提供可扩展的高性能数据存储解决方案 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似于 ...
分类：
数据库 时间：
2019-01-08 21:15:41
阅读次数：
289
U盘下的 KadexMicro 文件夹是喷码机生成的。 其配置文件存储在如上图位置，后缀 .mjt 实为 xml 文件。 内容如： ...
分类：
其他好文 时间：
2019-01-08 19:29:44
阅读次数：
457
MongoDB简介 MongoDB是一个基于分布式文件存储的数据库，它是一个介于关系数据库和非关系数据库之间的产品，其主要目标是在键/值存储方式（提供了高性能和高度伸缩性）和传统的RDBMS系统（具有丰富的功能）之间架起一座桥梁，它集两者的优势于一身。 MongoDB支持的数据结构非常松散，是类似j ...
分类：
数据库 时间：
2019-01-08 17:14:30
阅读次数：
115
HEAD当前指向的分支信息.cconfig,当前仓库的配置信息,core,用户,远程,分支等信息.(命令操作其实就是修改当前config文件)refs heads,其实就是分支,里面包含所有的分支文件,文件存储了分支指向的指纹信息 tags 叫做里程碑,或者版本发布用等记录重要版本.文件也存储了ta ...
分类：
其他好文 时间：
2019-01-08 15:22:18
阅读次数：
135
HDFS数据块：与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。 与通常的磁盘文件系统不同的是： HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不 ...
分类：
其他好文 时间：
2019-01-08 15:04:49
阅读次数：
217
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源 Google File Sy ...
分类：
其他好文 时间：
2019-01-07 21:02:02
阅读次数：
216
linux文件下目录和颜色的关系 蓝色文件 》 目录 白色文件 》 一般性文件，如文本文件，配置文件，源码文件等 浅蓝色文件 --》链接文件，主要是使用Ln命令及案例的文件 软连接 红色闪烁表示连接的文件出现问题了 绿色文件 --》 可执行文件 ，可执行的程序 红色文件 --》 压缩文件或者是包文件 ...
分类：
系统相关 时间：
2019-01-04 21:20:19
阅读次数：
189
原文:数据库 之 高并发环境下的规则本文大部分转至沈剑老师，加上自己的一些见解。 本文前提 高并发环境 规则要点 1） 数据库字符集使用utf8mb4 无乱码风险、万国码 2）禁止使用存储过程、视图、触发器、Event 高并发大数据的互联网业务，架构设计思路是“解放数据库CPU，将计算转移到服务层”... ...
分类：
数据库 时间：
2019-01-04 00:23:32
阅读次数：
231
