1 package com.example.administrator.magiclamp.utils; 2 3 import java.util.regex.Pattern; 4 5 /** 6 * 校验器：利用正则表达式校验邮箱、手机号等 7 * @author Mr.duan 8 */ 9 p... ...
分类：
移动开发 时间：
2018-06-21 14:43:30
阅读次数：
224
cdh的mr样例算法的jar包在 查看该目录下的文件 可以用hadoop-examples.jar里面的wordcount做测试 可以看到里面都有些上面可以使用的类 这里我直接取wordcount类来做测试，首先上传文件到hdfs准备好计算 开始计算 检查结果 ...
分类：
其他好文 时间：
2018-06-21 11:26:54
阅读次数：
753
Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others) Problem Description Mr. Hdu is an painter, as we all know, painters n ...
分类：
其他好文 时间：
2018-06-18 11:02:43
阅读次数：
182
mr的shuffle mapShuffle 数据存到hdfs中是以块进行存储的，每一个块对应一个分片，maptask就是从分片中获取数据的 在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放到环形缓存区，这样做的目的是为了防止IO的访问次数,然后环形缓存区的 ...
分类：
其他好文 时间：
2018-06-15 01:07:09
阅读次数：
328
一、 基本的离线数据处理架构： 数据采集 Flume：Web日志写入到HDFS 数据清洗 脏数据 Spark、Hive、MR等计算框架来完成。 清洗完之后再放回HDFS 数据处理 按照需要，进行业务的统计和分析。 也通过计算框架完成 处理结果入库 存放到RDBMS、NoSQL中 数据可视化 通过图形 ...
分类：
数据库 时间：
2018-06-15 00:02:22
阅读次数：
386
Codeforces Avito Code Challenge 2018 D. Bookshelves 题目连接： "http://codeforces.com/contest/981/problem/D" Description Mr Keks is a typical white collar ...
分类：
其他好文 时间：
2018-06-11 11:06:24
阅读次数：
157
一：简介 最近学习hadoop本地运行模式，在运行期间遇到一些问题，记录下来备用；以运行hadoop下wordcount为例子。 hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置，第一个参数用来设置mr程序要在yarn集群中执行，第二个参数设置yarn集群的主节点地址。 hadoo ...
分类：
其他好文 时间：
2018-06-10 11:53:25
阅读次数：
206
这是mr的一种优化策略，通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘io，提高mr运行速度（但也相应增加了cpu运算负担） 特性： 1.mr支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积。 2.压缩特性使用得当能提高性能，但运用 ...
分类：
其他好文 时间：
2018-06-04 11:27:37
阅读次数：
138
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的标准分布式文件系统(s3,oss等),并将这些 ...
分类：
其他好文 时间：
2018-06-03 10:51:29
阅读次数：
149
Mit6.824 是我在学习一些分布式系统方面的知识的时候偶然看到的，然后就开始尝试跟课。不得不说，国外的课程难度是真的大，一周的时间居然要学一门 Go 语言，然后还要读论文，进而做MapReduce 实验。 由于 MR（MapReduce） 框架需要建立在 DFS（Distributed... ...
分类：
其他好文 时间：
2018-06-02 22:51:19
阅读次数：
200
