1. Hadoop 概览Google 三篇论文（GFS -> HDFS，Map-Reduce -> MR，BigTable -> HBase）是 Hadoop 的思想之源。Hadoop 生态非常庞大，其最初两大核心是 HDFS 和 MR，分别负责存储和计算（Hadoop 1.x 中，MR 既负责计算 ...
@ 前言-MR概述 MapReduce是一个分布式计算框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成：编程模型和运行时环 境。其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如 ...
分类：
其他好文 时间：
2021-06-02 19:46:24
阅读次数：
0
http://poj.org/problem?id=2279 题意： 一共有n个人，要求第i行放置ai个人，且每一行从左往右人的编号递增，每一列从上往下人的编号递增，问有多少种放置方式。 杨氏矩阵： 由1——n的n个数组成，对于每一个位置，要么这个位置没有元素，要么这个元素的左方和上方都有元素，且元 ...
分类：
其他好文 时间：
2021-05-24 04:36:14
阅读次数：
0
关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR。 一、聚合 aggregate聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法： db.集合名称.aggregate([{管道:{表达式}}]) 管道：管道在Unix和Linux中一般用于 ...
分类：
数据库 时间：
2021-04-14 12:40:50
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
Hello, Mr. Houben, this is Zhou Yanzhuo. I returned to China after being in quarantine for a month before I was able to contact people. Now I have fin ...
分类：
其他好文 时间：
2021-04-01 13:16:40
阅读次数：
0
MySQL架构 Replication（MR）异步复制 无法保证当master失效后所有的updates已经复制到了slaves上，只有重启master才能继续恢复这些数据，如果master因为宿主机器物理损坏而无法修复，那些尚未复制到slaves上的updates将永久性丢失；因此异步方式存在一定 ...
分类：
数据库 时间：
2021-03-16 11:41:49
阅读次数：
0
The expensive shops in a famous arcade near Piccadilly were just opening. At this time of the morning, the arcade was almost empty. Mr. Taylor, the ow ...
分类：
其他好文 时间：
2021-02-26 13:05:25
阅读次数：
0
二、mysql会通过遍历索引将满足条件的数据读取到sort_buffer，并且按照排序字段进行快速排序 1、如果查询的字段不包含在辅助索引中，需要按照辅助索引记录的主键返回聚集索引取出所需字段 2、该方式会造成随机IO，在MySQL5.6提供了MRR的机制，会将辅助索引匹配记录的主键取出来在内存中进 ...
分类：
其他好文 时间：
2021-02-23 14:14:57
阅读次数：
0
package com.moxi.wc; import static java.lang.Math.random; /** * @author Mr.Wang * @version 1.0 * @since 1.8 */ public class StaticDemo { public static ...
分类：
其他好文 时间：
2021-02-18 13:18:25
阅读次数：
0
