#!/bin/bash#====================================================#Author:Mr.Song#CreateDate:2018-11-16#Description:#====================================================#################################
分类：
系统相关 时间：
2018-11-16 17:46:13
阅读次数：
209
通过 MapReduce 实现密码 Top10 统计，通过两次 MR 操作完成。 ...
分类：
其他好文 时间：
2018-11-16 17:23:25
阅读次数：
231
基于hadoop：存储真实数据用hdfs、计算引擎之一是mr，元数据一般存储在mysql或其他关系型数据库中 用于离线分析olap，数据仓库软件 关系型数据库三范式： 每个列必须是原子性的不可拆分 非关键属性必须依赖关键属性的全部字段，而不能仅依赖关键属性的部分字段 没关键属性只能依赖关键属性，而不 ...
分类：
其他好文 时间：
2018-11-14 20:52:55
阅读次数：
201
脚本 在D:\JDBC\20160612\下生成backup.sql文件，运行效果： https://www.cnblogs.com/Mr-kevin/p/5553651.html ...
分类：
数据库 时间：
2018-11-12 11:39:01
阅读次数：
168
无意在维基看到了一个关于概率悖论的讨论BoyorGirlparadox。有争议的的题目如下: 史密斯先生有两个孩子，至少其中之一是男孩，请问两个孩子都是男孩的可能性有多大？ 原文如下： Mr.Smithhastwochildren.Atleastoneofthemisaboy.Whatistheprobabi
分类：
其他好文 时间：
2018-11-11 23:29:38
阅读次数：
242
先说一下mr的二次排序需求： 假如文件有两列分别为name、score，需求是先按照name排序，name相同按照score排序 数据如下： 输出结果要求： 我们常见的实现思路是： 然后是不是就ok了呢，如果就结果来说是ok的。但是内部隐藏种种问题。 现在需求换了，我要输出： 那么按照之前的逻辑，立 ...
分类：
编程语言 时间：
2018-11-11 00:59:27
阅读次数：
201
Storm擅长于动态处理大量实时生产的小数据块，概念上是将小数据量的数据源源不断传给过程； Spark擅长对现有的数据全集做处理，概念是将过程传给大数据量的数据。 二者设计思路相反。Storm侧重于处理的实时性，Spark侧重处理庞大数据（类似于Hadoop的MR）。 Spark流模块(Spark ...
分类：
其他好文 时间：
2018-11-10 15:27:21
阅读次数：
170
****几个配置方式：>>>MR程序>>>mapred-site.xml>>>hive命令行 1.Map端数据输出压缩set hive.exec.compress.intermediate = true;set mapreduce.map.output.compress = true;set map ...
分类：
其他好文 时间：
2018-11-09 20:52:23
阅读次数：
139
问题背景 现在有两份数据，file1是校园新闻版块，每一条新闻点击记录；file2是校园新闻版块使用活跃度高的学生记录。用mr统计出某一天的点击记录里，使用ios/android手机的活跃学生的总的点击次数 原始数据格式如下： file 1，校园新闻点击记录 ，记录了每一次学生点击校园新闻的行为 格 ...
分类：
编程语言 时间：
2018-11-09 17:43:55
阅读次数：
202
"题目传送门" 题意 有$n$根竹子，竹子$i$初始高度为$h_i$，每天 晚上 会长高$a_i$。 每天 白天 ，你可以选择$k$根竹子（同一根竹子在同一个白天可以多次选择），把他们的高度减少$p$，若竹子当前高度$ p$后$ include include include int read(){ ...
分类：
其他好文 时间：
2018-11-04 12:40:44
阅读次数：
240
