hive streaming 使用的时候的一些心得

标签：io   使用   sp   for   on   问题   bs   as   sql   

hive streaming 报错的解决方案：

1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using ‘python cc.py‘ as (e,f) from table,分解成：select a,b,c,d from table ，然后执行：

　　hive -e "select a,b,c,d from table" | python cc.py,这样如果是语法有问题的话就会检查出来。

2、查看是否是编码问题：如果你的sql中要使用：using “cc.py” 那么如果python脚本有编码问题的话，就会无法执行并报错。监测是否有问题的方法是：chmod 777 cc.py，然后用./cc.py执行脚本，如果报错，那么sql中肯定也报错，解决方法就是用 using “python cc.py”

3、如果你的集群配置了日志收集，那么查看问题就方便多了，直接去执行sql的hdfs 上面的application目录下面查看就可以。

4、在python 脚本中加上 import traceback ；

　except Exception,e:

　print traceback.format_exc()

hive streaming 使用的时候的一些心得

标签：io   使用   sp   for   on   问题   bs   as   sql   

原文地址：http://www.cnblogs.com/fbiswt/p/4097334.html