Hive内容包含有\001会当成分割符

起因

发现某一行一列数据多了一个\001字符,导致select的时候在这一列后面的结果都不正确。

重现

hive版本:0.7.1cdh3u4

# 建表语句
CREATE TABLE test ( sn string, pv INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '`';
# 在另一个窗口构造一个错误数据文件
printf "a\001`12" > /tmp/test.txt
# 把数据LOAD进表里
LOAD DATA LOCAL INPATH '/tmp/test.txt' OVERWRITE INTO TABLE test;

这里指定了字段的分割符为反引号(`),后来发现中途并不是全部用这个分割字段。
这时如果查询

SELECT sn,pv FROM test;

返回的值居然是a NULL,而不是 a 12

原因

这条语句(select sn,pv from test;)会有三个Opertor,分别是TableScanOperator, SelectOperator, FileSinkOperator。FileSinkOperator是负责把结果输出到文件,输出前需要把对象做一次序列化存储到文件里。

//FileSinkOperator.java文件
  @Override
  public void processOp(Object row, int tag) throws HiveException {
...
        // use SerDe to serialize r, and write it out
        recordValue = serializer.serialize(row, inputObjInspectors[0]);
...
  }

这里的row是由它的父Operator(SelectOperator)传入的,值是一个数组,暂且用row = [a\001, 12]表示(实际上这里面还包裹一些对象,但不妨碍分析)。
单步跟进后,发现recordValue返回的值是a\001\00112,这里的serializer用的分割符号是\001,所以现在变成了两个\001。
那么,这个serializer哪里来的?

//FileSinkOperator.java文件
      serializer       = (Serializer) conf.getTableInfo().getDeserializerClass().newInstance();
      serializer.initialize(null, conf.getTableInfo().getProperties());

conf.getTableInfo()返回的是一个TableDesc,这个是在编译阶段genFileSinkPlan()构造的。

// SemanticAnalyzer.java
  private Operator genFileSinkPlan(String dest, QB qb, Operator input)
      throws SemanticException {
...
CreateTableDesc tblDesc = qb.getTableDesc(); //到qb里面找
...
 
      if (tblDesc == null) {
        if (qb.getIsQuery()) {
          String fileFormat = HiveConf.getVar(conf, HiveConf.ConfVars.HIVEQUERYRESULTFILEFORMAT);
          table_desc = PlanUtils.getDefaultQueryOutputTableDesc(cols, colTypes, fileFormat);
        } else {
          table_desc = PlanUtils.getDefaultTableDesc(Integer
              .toString(Utilities.ctrlaCode), cols, colTypes, false);
        }
      } else {
        table_desc = PlanUtils.getTableDesc(tblDesc, cols, colTypes);
      }
 
...
 }

发现在SemanticAnalyzer.java文件里,只有在CTAS的语句才会调用qb.setTableDesc(),所以这里tblDesc没有值,它自己用默认值创建了一个。PlanUtils.getDefaultQueryOutputTableDesc(cols, colTypes, fileFormat);分割符是Utilities.ctrlaCode,也就是\001

目前还没搞明白为什么分割符这么混乱。但可以知道为什么第二列本来应该返回数字却返回了null,是这里的分割符号是\001,那么就多了一列出来。

结论

就算你指定了分割符(FIELDS TERMINATED BY),但hive在中间交换数据时仍然使用它默认的分割符号\001-\009,暂时只想到在数据中过滤这些字符了,还不了解hive的序列化\反序列化。




fatkun

42条评论

发表评论

电子邮件地址不会被公开。