以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula...
分类：
其他好文 时间：
2015-01-06 08:38:43
阅读次数：
160
最近在配合研发做ubd的项目，简单的说就是一张大宽表，有200个字段，而且数据量特别巨大（1亿级别的数据量），传统的数据库是不适合的，因此考虑基于lucene的solr，并且推荐使用solrcloud的功能来做高可用和sharding(后面会更新对solr和lucene的代码学习）。数据从hive计算插入..
分类：
其他好文 时间：
2015-01-05 07:09:26
阅读次数：
291
线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：java.lang.VerifyError:classorg.apache.hadoop.hive.ql.io.orc.OrcProto$RowIndexoverridesfinalmethodge..
分类：
其他好文 时间：
2015-01-05 07:07:48
阅读次数：
244
Interesting ReadingsBig Data Benchmark– Benchmark of Redshift, Hive, Shark, Impala and Stiger/Tez.NoSQL Comparison– Cassandra vs MongoDB vs CouchDB vs...
分类：
其他好文 时间：
2015-01-04 11:04:53
阅读次数：
401
Hive安装部署（安装会有版本问题 hadoop1.0版本以上的请安装hive-0.90测试hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0 下载地址：http://pan.baidu.com/s/1rj6f8hive-0.12.0下载地址：http://mir...
分类：
其他好文 时间：
2015-01-02 17:26:11
阅读次数：
307
近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig..
分类：
Web程序 时间：
2014-12-31 16:32:54
阅读次数：
217
近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig的学习，会更加容...
分类：
Web程序 时间：
2014-12-31 14:23:46
阅读次数：
300
2015年其实才真正算的上是我的大数据元年，我需要在这一年中为自己的职业发展打好地基，所以需要做到但不限于：1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发，并熟悉调优，及其中的执行原理。2、阅读f...
分类：
其他好文 时间：
2014-12-31 07:35:26
阅读次数：
219
熟悉hive的人都知道，在原生版本中，目前并没有返回星期几的函数。为了解决这个问题，除了利用java自己编写udf外，也可以利用现有hive函数实现。...
分类：
其他好文 时间：
2014-12-30 17:07:30
阅读次数：
500
1.概要我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。2.步骤 注：点击链接可直接跳到指定位置（1）Hadoop社区版集群的搭建（2）hive的安装部署（3）sqoop的安装部署（4）hbase和zook...
分类：
其他好文 时间：
2014-12-30 14:57:18
阅读次数：
162
