需求
在推荐系统场景中，如果基础行为数据太少，或者过于稀疏，通过推荐算法计算得出的推荐结果很可能达不到要求的数量。
比如，希望针对每个item或user推荐20个item，但是通过计算只得到8个，剩下的12个就需要补全。
欢迎转载，请注明出处：
策略
数据补全的具体策略是：
补全时机：在挖掘计算结束后，挖掘结果导入HBase（最终web系...
分类：
数据库 时间：
2014-09-29 21:15:51
阅读次数：
295
最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：...
分类：
其他好文 时间：
2014-09-29 14:09:21
阅读次数：
315
********************************************hive***********************************************hive.cli.print.current.db 是否在命令行提示当前数据库，默认为FALSE
分类：
其他好文 时间：
2014-09-29 10:48:07
阅读次数：
146
之前遇到的一个droptable的小问题，默认任何人都可以有使用dropdb.table的权限这是一个bug,bugid:https://issues.apache.org/jira/browse/HIVE-2817解决方法：可以通过设置sethive.exec.drop.ignorenonexistent=false（DonotreportanerrorifDROPTABLE/VIEWspecifiesanon-existe..
分类：
其他好文 时间：
2014-09-28 03:24:11
阅读次数：
223
hive简单概念 hive是一种基于Hadoop的数据仓库的处理工具，目前只支持简单的类似传统关系型数据库的SQL查询，修改操作功能，他可以直接将SQL转化为MapReduce程序，开发人员不必一定要学会写MR程序，提高了开发效率...
分类：
其他好文 时间：
2014-09-26 19:40:28
阅读次数：
232
引言
HIVE的操作接口除了常用的CLI之外，还有图形界面HWI，今天尝试了下HWI，特此记录供以后参考。
过程
apache-hive-0.13.1-bin.tar.gz 的 lib 目录默认不包含 hive-hwi-0.13.1.war，我们需要到源码包中获取HWI。
（1）将源码包 apache-hive-0.13.1-src.tar.gz 下载到本地...
分类：
其他好文 时间：
2014-09-26 18:58:48
阅读次数：
231
Job Submission failed with exception 'java.io.IOException(Failed to run job : org.apache.hadoop.security.AccessControlException: User pms cannot submit applications to queue root.default)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive....
分类：
编程语言 时间：
2014-09-25 15:56:19
阅读次数：
453
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套....
分类：
Web程序 时间：
2014-09-22 20:46:13
阅读次数：
286
hive和hbase高版本集成，错误分析和解决...
分类：
其他好文 时间：
2014-09-22 20:04:03
阅读次数：
229
> select p.dt, p.cookie_qunar_global, p.refer_domain, p.kwid, p.query_word, p,traffic_type--, p.page_type > from tmp_vincent_dw_beacon_path_data_0...
分类：
其他好文 时间：
2014-09-22 18:13:52
阅读次数：
14385
