SparkSQL编程需注意的细节

标签：exist   port   出现   enable   sel   table   alt   字符串   alter   

• SparkSQL是把Hive转为字符串后，以参数形式传递到SparkSession.builder().enableHiveSupport().getOrcCreate().sql(Hive_String)中执行。
  例子

SparkSession spark = SparkSession.builder().enableHiveSupport().getOrcCreate();
String sql = “ALTER TABLE DB_NAME.TABLE1 DROP IF EXISTS PARTITION(pt_dt=')"+ partition_date +"')";

• SparkSQL中，分区名、分区字段需小写。
  如上面例子中的pt_dt 分区名为小写，若写成PT_DT,则会报错。
  同时，SELECT 分区字段时也需小写。
  例如

String sql = "SELECT ID, "
+"       NAME, "
+"       pt_dt "
+" FROM DB_NAME.TABLE1 "
+" WHERE pt_dt = '" + partition_date + "'"

• 对传入参数要做判空处理
  例如

if(versionNum==null || versionNum.isEmpty() || "none".equals(versionNum)) {
    versionNum = "";
}

• 字符串拼接时，注意空格问题
  若sql转为字符串没注意行首和行末的空格，可能出现sql解析时出现“粘连”现象。
  例如

String sql = "SELECT ID,"
+"       NAME, "
+"       pt_dt"
+"FROM DB_NAME.TABLE1 "
+" WHERE pt_dt = '" + partition_date + "'"

其中，字段pt_dt后没有空格，FROM前也没有空格，sql解析出来会变成pt_dtFROM，造成语法错误。

SparkSQL编程需注意的细节

标签：exist   port   出现   enable   sel   table   alt   字符串   alter   

原文地址：https://www.cnblogs.com/JasonCeng/p/12217754.html