码迷,mamicode.com
首页 >  
搜索关键字:大数据 hadoop apark flume kafka    ( 29364个结果
hadoop多次格式化后,导致datanode启动不了,怎么办?(伪分布式)
根据当初 hadoop 安装目录下 conf 目录的 core-site.xml 的设置,找到该目录:进入该目录在 data 和 name 文件夹下均有 current 文件夹 ,和 current 文件夹下有 VERSION 文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是...
分类:其他好文   时间:2014-05-09 05:15:30    阅读次数:305
Lucene suggest [转]
TheBig Data Zoneis presented bySplunk, the maker of data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk Web Framework.Liv...
分类:其他好文   时间:2014-05-08 19:31:55    阅读次数:596
基于HBase的手机数据备份系统
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server运行环境:Hadoop+HBase+Tomcat Client运行环境: Eclipse+Android2.3 ----------------------------------------------------- ...
分类:移动开发   时间:2014-05-08 16:07:49    阅读次数:390
大数据
大数据是一个体量特别大,数据类别特别大的数据集。也就是说“大数据”本身并不是一种新的技术,也不是一种新的产品, 而是我们这个时代出现的一种现象。而这个“大”达到了一种什么样的程度呢?可以说他即将突破现有常规软件所能提供的能力极限。 综上所述,我们觉得使用麦肯锡的定义可能会更为简洁明了:大数据是指无法...
分类:其他好文   时间:2014-05-08 12:30:00    阅读次数:301
Hadoop-4、Mapred数据去重
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.ap...
分类:其他好文   时间:2014-05-08 11:27:24    阅读次数:309
Hadoop-5、排序(Combiner泛谈)
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:其他好文   时间:2014-05-08 09:37:49    阅读次数:472
《大型网站技术架构》1:概述
参考自《大型网站技术架构》第1~3章 1、大型网站架构演化发展历程 (1)初始阶段的网站架构:一台服务器分别作为应用、数据、文件服务器 (2)应用服务和数据服务分离:三台服务器分别承担上述三项工作,其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存,文件服务器需要较大的硬盘。 (3)使用缓存改善网站性能:分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。 (4)使...
分类:Web程序   时间:2014-05-08 04:42:48    阅读次数:430
高精度之大数除法
高精度之大数的除法,大数据计算c语言一样强大...
分类:其他好文   时间:2014-05-08 04:27:19    阅读次数:281
性能调优
大数据量引起的高并发处理: 1、数据量超过百万时增加集群服务器,比如使查询和操作分别在不同服务器上执行,如果数据量超过千万时这样会增加服务器间相互复制数据的资源开销,这时考虑把数据资源比如用户表根据ID放在不同的数据库集群中。 2、是页面静态化,因为html比jsp更节省资源和性能,考虑将页面做成html返回给客户,比如用freemarker工具 3、缓存技术,集群中采用memcached...
分类:其他好文   时间:2014-05-08 04:18:07    阅读次数:361
hive-mysql安装配置
默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ,sudo apt-get install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类:数据库   时间:2014-05-07 20:40:00    阅读次数:554
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!