搞了一段时间,hive2solr的job终于可以稳定的跑了,实现使用hive向solr插数据,主要是实现RecordWriter接口,重写write方法和close方法。下面对遇到的问题一一列出:1.数据覆盖问题,使用原子更新参考:http://caiguangguang.blog.51cto.com/1652935/15991372.重复构建solrserv..
分类:
其他好文 时间:
2015-02-07 19:10:50
阅读次数:
186
之前介绍了github上的hive2solr项目和solr的multivalue功能。线上我们是采用hive计算完数据后推送到solr的方法,如果需要实现multivalue的话,默认的hive2solr是有些问题的。即使在hive中对于的field是多个字,导入solr之后也只是一个整体的字符串,比如下面表的数据如下:idte..
分类:
其他好文 时间:
2014-07-03 14:10:57
阅读次数:
199