使用MultipleOutputs报File already exists错误

在reduce任务看到第一个任务因为某些原因失败了,但后续的任务都一起失败,后续的任务报File already exists错误。

原因是MultipleOutputs.write的时候可以指定输出的别名或者绝对路径,如果写的是绝对路径,目录会马上生效,MR的output commit机制会失效(先输出到临时目录,然后最后移动回正式目录)。当任务第一次失败后,第二次重试还是存在着那个文件会报错退出。

MR会在任务失败的时候清理输出,但仅限于taskAttemptPath,不会清理其他产生的文件。

  @Private
  public void abortTask(TaskAttemptContext context, Path taskAttemptPath) throws IOException {
    if (hasOutputPath()) { 
      context.progress();
      if(taskAttemptPath == null) {
        taskAttemptPath = getTaskAttemptPath(context);
      }
      FileSystem fs = taskAttemptPath.getFileSystem(context.getConfiguration());
      if(!fs.delete(taskAttemptPath, true)) {
        LOG.warn("Could not delete "+taskAttemptPath);
      }
    } else {
      LOG.warn("Output Path is null in abortTask()");
    }
  }

解决方法

想办法在第二次跑之前清理文件。最终输出的文件名是用户指定路径+数字,那个数字不太好从哪里获取到,另外如果开了推测执行,推测执行的任务也会失败。

解决的方法还是不要用绝对路径输出,按key输出文件,最后如果需要分开目录的时候再在client那边把文件移动过去。

 

相关issue

这个issue只是指出如果用绝对路径,output committing的机制会失效,加了个警告注释
https://issues.apache.org/jira/browse/MAPREDUCE-6357




fatkun

折腾一下又不会死~

没有评论


You can leave the first : )



发表评论

电子邮件地址不会被公开。