Mahout小案例学习，实现k-means算法。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget
http://archive.ics.uci.edu/ml/databas...
分类：
其他好文 时间：
2014-05-04 12:34:58
阅读次数：
340
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类：
其他好文 时间：
2014-05-04 11:08:29
阅读次数：
337
之前在写MR
job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用M...
分类：
其他好文 时间：
2014-05-04 10:54:29
阅读次数：
427
软件环境： 虚拟机：VMware Workstation 10
操作系统：ubuntu-12.04-desktop-amd64 JAVA版本：jdk-7u55-linux-x64 Hadoop版本：hadoop-1.2.1
Hadoop下载地址：http://mirrors.cnnic.cn/apa...
分类：
其他好文 时间：
2014-05-04 10:43:51
阅读次数：
370
从父子骑驴的故事随想到大数据时代与个人隐私的矛盾。对于大数据时代和隐私的矛盾，厂商对于大数据无疑是收集用户信息（例如使用习惯、搜索过的信息等等），然后推广给用户更实际的东西和更精准的广告。百度搜索、腾讯QQ、搜狗输入法、奇虎360这些常用工具一直都在收集用户所谓的隐私信息人言可畏，该说哪个厂家在.....
分类：
其他好文 时间：
2014-05-04 10:34:18
阅读次数：
375
MapReduce
job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如:part-(m|r)-00000之类。但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。...
分类：
其他好文 时间：
2014-05-04 10:22:15
阅读次数：
341
前段时间有一个业务需求，要在外网商品（TOPB2C）信息中加入联营自营识别的字段。但存在的一个问题是，商品信息和自营联营标示数据是两份数据；商品信息较大，是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join，将联营自营标识信息加入的商品信息中，最终生成我需要的数...
分类：
其他好文 时间：
2014-05-04 10:02:22
阅读次数：
565
第48期百度技术沙龙上的《大数据场景下主题检索应用》讲座介绍了很多训练大规模主题模型的技术细节。讲座回来后，我粗略整理了下讲座上涉及的主题模型和训练大规模模型相关的资料和文献。
1. 主题模型的发展历史
a. 布尔模型 Boolean model
b. 向量空间模型 VSM (Vector space model)
c. 潜在语义索引 LSI (Latent...
分类：
其他好文 时间：
2014-05-03 21:40:07
阅读次数：
371
dataNode 无法启动是配置过程中最常见的问题，主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类：
其他好文 时间：
2014-05-03 21:37:44
阅读次数：
308
一、概述：
Yarn调度器有许多实现，如Fifo, Capacity和Fair schedulers等。与其同时，正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性，调度决策受许多因素影响，如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前，评估一个调度算法是非常重要的，不幸的是，评估一个调度算法是不那么容易的，评估一个真正的集群是非常耗...
分类：
其他好文 时间：
2014-05-03 21:00:00
阅读次数：
443
