hive merge小文件

2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件(默认开启)

set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge

见:http://blog.csdn.net/yfkiss/article/details/8590486




fatkun

折腾一下又不会死~

没有评论


You can leave the first : )



发表评论

电子邮件地址不会被公开。