1. mapper任务一般执行 输入格式解析、投影（选择相关的字段）、过滤（过滤掉无关记录）。reducer任务一般2. 对于map任务和ruduce任务，tasktracker有固定数量的任务槽。3. 分片（split）的大小一般就是文件块大小。map任务的数量取决于文件大小和块大小，不用刻意去设...
分类：
其他好文 时间：
2014-07-22 22:54:16
阅读次数：
314
在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行set mapred.job.priority=VERY_HIGH;set hive.exec.parallel=true;设置map reduce个数-- 设置map capacityset...
分类：
其他好文 时间：
2014-07-19 21:37:25
阅读次数：
264
题目：就是求在同一直线上的点最多的个数。分析：斜率相同，那么它们就在一条直线上。unordered_map 简单介绍：boost::unordered_map是计算元素的Hash值，根据Hash值判断元素是否相同。所以，对unordered_map进行遍历，结果是无序的。来自为知笔记(Wiz)
分类：
其他好文 时间：
2014-07-19 19:37:23
阅读次数：
205
PDF.NET(PWMIS数据开发框架）是一个基于SQL-MAP（将SQL语句映射成数据访问代码）和OQL（对象化的SQL查询表达式）技术的数据开发框架，兼有SQL和ORM的特点。尽管有些数据库系统能够提供SQL监视，比如SQLSERVER的事务日志跟踪，但好多数据库都没有提供这样的功能，所以很多数...
分类：
其他好文 时间：
2014-07-19 19:30:27
阅读次数：
271
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
集合lei
Collection
├List
│├LinkedList
│├ArrayList
│└Vector
│ └Stack
└Set
Map
├Hashtable
├HashMap
└WeakHashMap...
分类：
编程语言 时间：
2014-07-18 22:30:35
阅读次数：
266
Hadoop代码测试版本：2.4应用场景：在Hadoop编程的时候，有时我们在进行我们算法逻辑的时候想附带了解下数据的一些特性，比如全部数据的记录数有多少，map的输出有多少等等信息（这些是在算法运行完毕后，直接有的），就可以使用计数器Counter。如果是针对很特定的数据的一些统计，比如统计以1开头的所有记录数等等信息，这时就需要自定义Counter。自定义Counter有两种方式，第一种，定义...
分类：
其他好文 时间：
2014-07-18 22:29:12
阅读次数：
277
字典树问题（map可水）
题意是：给你一本字典，叫你翻译一段话。
先把对应关系找到，然后输出就可以。字典树用于返回这是出现的第几个未知单词，然后对应。
可以用map水过去。
Trie:
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
...
分类：
其他好文 时间：
2014-07-18 22:22:18
阅读次数：
191
这里介绍如何进行Bing Maps的开发。首先我们需要在我们的程序中引入Bing Map的SDK。具体方法，这里推荐一个链接使用Bing地图。这样一个hello world便出来了。这里主要介绍一些基本的API，进行一些基础性的开发。
在整个开发中，给我感触最深的是，在网上资料稀少的情况下，查看研究Bing Map给出的API是最有效的方法（Map API）。也许API的注释是模棱两可，但只要我...
概要学完了Map的全部内容，我们再回头开开Map的框架图。本章内容包括：第1部分 Map概括第2部分 HashMap和Hashtable异同第3部分 HashMap和WeakHashMap异同转载请注明出处：http://www.cnblogs.com/skywang12345/admin/Edit...
分类：
编程语言 时间：
2014-07-17 00:19:18
阅读次数：
1260
