码迷,mamicode.com
首页 >  
搜索关键字:hadoop 优化    ( 57270个结果
Entity Framework 数据并发访问错误原因分析与系统架构优化
ASP.NET系统中Entity Framework导致数据并发错误的原因分析与架构讨论...
分类:其他好文   时间:2014-05-01 22:16:57    阅读次数:382
hadoop技术基本架构
一、Hadoop概述 hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系 统之上,对存储在分布式文件系统中的数据进行分布式计算。 2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:其他好文   时间:2014-05-01 18:34:41    阅读次数:382
UVA 12105 - Bigger is Better(DP+高精度)
题目链接:12105 - Bigger is Better 题意:一些火柴,问你能组成整除m最大的数字是多少。 思路:dp[i][j]表示用i根火柴,组成%m余数为j的最大数字,末尾多一个数字k的状态就是dp[i + num[k]][(j * 10 + k) % m],由于最多可能50位数,所以要用高精度。 注意一个优化点,由于高精度的计算上只需要乘10+k,常规的高精度乘法复杂度还是有点高...
分类:其他好文   时间:2014-05-01 18:22:36    阅读次数:350
HDFS集中式缓存管理(Centralized Cache Management)
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中 集中式缓存管理有着许多显著的优势: 防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,...
分类:其他好文   时间:2014-05-01 17:45:58    阅读次数:379
java 内存移到堆外!!! Jvm gcih 淘宝优化JVM实践
官方地址 Jvm gcih 出自Jvm 跳转到: 导航, 搜索 目录 [隐藏] 1 GC-Invisible Heap 1.1 什么是GCIH1.2 为什么要用GCIH 1.2.1 GCIH + Hesper + Forest线上测试结果对比 2 GCIH内存共享 2.1 有关GCIH内存共享2.2 GC...
分类:编程语言   时间:2014-05-01 17:39:58    阅读次数:320
MapReduce 编程模型
一、简介 1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。 2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。   1)m a p ( ) 函数以key/value 对作为输入,产...
分类:其他好文   时间:2014-04-30 22:23:39    阅读次数:466
触摸屏驱动三部曲之硬件原理
触摸屏驱动三部曲概述 1.触摸屏驱动三部曲之硬件原理 写好一个驱动,一定要对硬件有所了解,这节我会讲解触摸屏的基础知识和电阻触摸屏的原理。 2.触摸屏驱动三部曲之输入子系统 输入子系统在驱动中占着举足轻重的位置,按键,触摸屏,鼠标等输入型设备都可以利用input接口函数来实现设备驱动。想知道具体怎么实现的就来看这节吧。 3.触摸屏驱动三部曲之功能实现及优化 ...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:359
Android代码混淆
混淆器(ProGuard) --- 混淆器通过删除从未用过的代码和使用晦涩名字重命名类、字段和方法,对代码进行压缩,优化和混淆。结果是一个比较小的.apk文件,该文件比较难进行逆向工程。因此,当你的应用程序对安全敏感(要求高),例如当你授权应用程序的时候,混淆器是一种重要的保护手段。     混淆器被集成在android 构建系统中,所以你不必手动调用它。同时混淆器仅在发布模式下进行构建...
分类:移动开发   时间:2014-04-29 13:31:20    阅读次数:448
Hadoop架构设计、运行原理详解
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 00430119...
分类:其他好文   时间:2014-04-29 13:22:20    阅读次数:309
创建Hive/hbase相关联的表异常
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类:其他好文   时间:2014-04-29 13:17:21    阅读次数:387
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!