正确方法是模拟退火？根据wulala的讲法，我们多random_shuffle几发，对序列贪心一下就好了反正都是随机化的做法，能过就行2333 1 /************************************************************** 2 Proble...
分类：
其他好文 时间：
2015-03-09 23:57:51
阅读次数：
336
主要错误信息：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error
in shuffle in fetcher#43
解决办法：限制reduce的shuffle内存使用
hive：set mapreduce.reduce.shuffle.memory.li...
分类：
其他好文 时间：
2015-03-08 15:45:25
阅读次数：
197
上次在《【Java】在一定的范围内产生不同的随机数》（点击打开链接）上所提到的方法，尽管已经解决了一定范围内产生不同随机数的问题，运行速度已经可以的，至少不会弄很久都弄不好，其实利用Collections类下的shuffle方法思想可以更清晰、速度更快地在一定的范围内产生不同的随机数。
Collections类下的shuffle方法是可以随机打乱一个数组中的元素的程序，也叫做洗牌方法。
有...
分类：
编程语言 时间：
2015-03-08 09:17:55
阅读次数：
187
T*n已经最大已经是10的7次方了，所以这道题虽然暴力枚举前面不完整歌单的情况的思路好想，但是必须用滑动窗口（或者叫尺取法）的技巧来预处理两个数组，这样可以O（n）完成每组数据。#include#include#include#include#include#include#include#incl...
分类：
其他好文 时间：
2015-03-02 19:03:23
阅读次数：
140
一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的..
分类：
其他好文 时间：
2015-02-27 18:34:20
阅读次数：
205
题目大意：没看。反正就是求最小圆覆盖。
思路：一个神奇的算法——随机增量法。可以证明，这个算法可以在O(n)的时间复杂度内求出最小圆覆盖。虽然好像能卡掉的样子，但是加上一句random_shuffle就卡不掉了。
具体的过程是这样的：
在全局记录一个圆，表示目前的最小圆覆盖。从头开始扫描。遇到第一个不在当前最小圆覆盖内的点的时候：
将这个点与当前最小圆覆盖的圆心为直径做一个圆，作为...
分类：
其他好文 时间：
2015-02-26 11:48:11
阅读次数：
135
一、回顾Reduce阶段三大步凑 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Reduce阶段总共三个步凑，如下图所示： 其中，Step2.1就是一个Shuffle操作，它针对多个map任务的输出按照不同的分区（Partition）通过网络复制到不同的.....
分类：
其他好文 时间：
2015-02-24 01:50:52
阅读次数：
465
1. 用python乱序一个数组：1 >>> from random import shuffle2 >>> y = [[j] for j in range(100)]3 >>> shuffle(y)4 >>> print y5 [[65], [39], [2], [94], [28], [63],...
分类：
编程语言 时间：
2015-02-11 10:41:33
阅读次数：
149
String[]date={t1.getText().toString(),t2.getText().toString(),
t3.getText().toString(),t4.getText().toString(),
t5.getText().toString()};
Listlist=Arrays.asList(date);
Collections.shuffle(list);
t1.setText(""+list.get(0));
t2.setText(""+list..
分类：
移动开发 时间：
2015-02-11 02:01:57
阅读次数：
160
