hive2solr multivalue功能实现

标签：hive2solr multivalue

之前介绍了github上的hive2solr项目和solr的multivalue功能。
线上我们是采用hive计算完数据后推送到solr的方法，如果需要实现multivalue的话，默认的hive2solr是有些问题的。即使在hive中对于的field是多个字，导入solr之后也只是一个整体的字符串，比如下面表的数据如下：

id        test_s  test_ss
3       d       f d h

其中test_ss为multivalue类型,导入solr之后：

{
        "test_ss": [
          "f d h"  //识别为一个元素
        ],
        "test_s": "d",
        "id": "3",
        "_version_": 1472413953618346000
      }

如果直接由hive生成数组插入solr会报array转换string失败的错误。

select id,test_s,split(test_ss,‘ ‘) from t2;
FAILED: NoMatchingMethodException No matching method for class org.apache.hadoop.hive.ql.udf.UDFToString 
with (array<string>). Possible choices: _FUNC_(void)  _FUNC_(boolean)  _FUNC_(tinyint)  _FUNC_(smallint) 
 _FUNC_(int)  _FUNC_(bigint)  _FUNC_(float)  _FUNC_(double)  _FUNC_(string)  _FUNC_(timestamp)  _FUNC_(decimal)  _FUNC_(binary)

在hive向solr写入数据主要通过SolrWriter的write方法实现的，其最终是调用了SolrInputDocument的setField方法,可以通过更改代码为如下内容来workaround。
SolrWriter的write方法：

     @Override
     public void write(Writable w) throws IOException {
          MapWritable map = (MapWritable) w;
          SolrInputDocument doc = new SolrInputDocument();
          for (final Map.Entry<Writable, Writable> entry : map.entrySet()) {
               String key = entry.getKey().toString();
               doc.setField(key, entry.getValue().toString());  //调用了SolrInputDocument的setField方法
          }
          table.save(doc);
     }

更改为：

    @Override
    public void write(Writable w) throws IOException {
            MapWritable map = (MapWritable ) w;
            SolrInputDocument doc = new SolrInputDocument();
            for (final Map.Entry<Writable , Writable> entry : map.entrySet()) {
                    String key = entry.getKey().toString();
                    String value = entry.getValue().toString();
                    String[] sl = value.split( "\\s+");  //即把hive输入的数据通过空格分隔，切成数组（hive的sql只要concact即可）      
                    List<String> valuesl = java.util.Arrays.asList(sl);
                    log.info("add entry value lists:" + valuesl);
                    for(String vl :valuesl){
                            doc.addField(key,vl); //改为调用addFiled的方法，防止覆盖
                    }
            }
            table.save(doc);
    }

导入测试结果：

{
        "test_ss": [
          "f",
          "d",
          "h"
        ],
        "test_s": "d",
        "id": "3",
        "_version_": 1472422023801077800
      }

本文出自 “菜光光的博客” 博客，请务必保留此出处http://caiguangguang.blog.51cto.com/1652935/1433770

hive2solr multivalue功能实现,布布扣,bubuko.com

hive2solr multivalue功能实现

标签：hive2solr multivalue

原文地址：http://caiguangguang.blog.51cto.com/1652935/1433770