hadoop参数

YARN

参数 默认值 备注
yarn.nodemanager.container-metrics.enable false 关闭,避免nodemanager内存OOM,http://hackershell.cn/?p=993
yarn.resourcemanager.recovery.enabled true 启用 ResourceManager Recovery
yarn.scheduler.fair.continuous-scheduling-enabled true 启用 Fair Scheduler 持续调度
mapreduce.reduce.shuffle.memory.limit.percent 0.5
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 0.95
mapreduce.task.userlog.limit.kb 0 102400  限制container输出的日志不要太大,设置为100MB,注意要设置log.backups,不然会使用内存
yarn.app.mapreduce.task.container.log.backups 0  1  备份文件个数

HDFS

参数 备注
fs.du.interval 1200000 磁盘du间隔,du对磁盘IO影响比较大
dfs.blockreport.initialDelay 180 延迟blockreport,避免重启时集中汇报
 dfs.block.scanner.cursor.save.interval.ms  默认10分钟  10分钟保存一次scan cursor
 dfs.block.scanner.volume.bytes.per.second  4194304  默认值1MB,磁盘扫描的限速,要注意看看扫描一个磁盘会不会太慢,但设的太高也会影响IO
 dfs.datanode.scan.period.hours  3weeks 常规 磁盘扫描间隔
 dfs.namenode.checkpoint.txns  10000000  设置大一些,避免频繁的checkpoint传输

 

 

 




fatkun

折腾一下又不会死~

没有评论


You can leave the first : )



发表评论

电子邮件地址不会被公开。