hadoop.user.group.static.mapping.overrides |
dr.who=; |
dr.who=;yarn=yarn,hadoop,supergroup;
<p> <del>mapred:mapred,hadoop,supergroup</del></td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> <del>覆盖组权限，需要配置在core-site.xml里面，需要重启namenode</del> </td></tr>
<tr> <td style="width: 104px;"> dfs.namenode.posix.acl.inheritance.enabled </td>
<td style="width: 104px;"> false </td>
<td style="width: 58px;"> true </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> 在namenode hdfs-site.xml配置，在打上HDFS-6962补丁后，ACL mask权限能够继承 </td> </tr>
<tr> <td style="width: 104px;"> dfs.datanode.balance.max.concurrent.moves </td>
<td style="width: 104px;"> 5 </td>
<td style="width: 58px;"> 50 </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> 平衡的线程数，用于提高平衡效率（需要在DataNode和Balance的hdfs-site配置，需要重启DataNode） </td> </tr>
<tr> <td style="width: 104px;"> dfs.datanode.balance.bandwidthPerSec </td>
<td style="width: 104px;"> 10MB </td>
<td style="width: 58px;"> 30MB </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> 平衡的速度 </td> </tr>
<tr> <td style="width: 104px;"> ha.failover-controller.new-active.rpc-timeout.ms </td>
<td style="width: 104px;"> 60000 </td>
<td style="width: 58px;"> 300000 </td>
<td style="width: 611px;"> 全局的core-site.xml里面配置（客户端和failover controller都会用到） </td>
<td style="width: 611px;"> failover controller在转换active等待的时间，在hdfs failover controller里面配置，如果时间不够会在failover controller里面看到超时错误日志。<a href="https://issues.apache.org/jira/browse/HDFS-11254">HDFS-11254</a> 在replay editlog的时候也会很慢。<br /> 注意要先重启备机的controller，否则重启active controller，namenode会切换。 </td> </tr>
<tr> <td style="width: 104px;"> dfs.image.transfer.bandwidthPerSec </td>
<td style="width: 104px;"> </td>
<td style="width: 58px;"> 41943040 </td>
<td style="width: 611px;"> namenode hdfs-site.xml </td>
<td style="width: 611px;"> image传输限速，占用所有带宽会影响namenode rpc请求，重启active namenode才生效 </td> </tr></tbody> </table>
<p> </p>
<h2> HIVE </h2>
<table style="width: 1113px;"> <tr> <td style="width: 105px;"> 参数 </td>
<td style="width: 101px;"> 默认值 </td>
<td style="width: 159px;"> 建议值 </td>
<td style="width: 921px;"> 备注 </td> </tr>
<tr> <td style="width: 105px;"> hive.metastore.failure.retries </td>
<td style="width: 101px;"> 1 </td>
<td style="width: 159px;"> 3 </td>
<td style="width: 921px;"> metastore中途失败重试的次数，某个版本之前默认值是1，后面变为3 </td> </tr>
<tr> <td style="width: 105px;"> hive.metastore.try.direct.sql </td>
<td style="width: 101px;"> false </td>
<td style="width: 159px;"> </td>
<td style="width: 921px;"> Hive Metastore 是否应尝试使用直接 SQL 查询，而不是针对一定读取路径使用 DataNucleus。这样在获取许多分区时可以使 Metastore 性能得到数量级的提升。打开这个开关要确保打了补丁HIVE-15551，否则有内存泄露 </td> </tr>
<tr> <td style="width: 105px;"> </td>
<td style="width: 101px;"> </td>
<td style="width: 159px;"> </td>
<td style="width: 921px;"> </td> </tr> </table>
<h2> HBASE </h2>
<p> https://github.com/mattshma/bigdata/blob/master/hbase/docs/hbase_rpc.md </p>
<p> hbase.ipc.server.listen.queue.size 默认值 128 </p>
<p> hbase.ipc.server.read.threadpool.size 默认值 10 </p>
<p> hbase.regionserver.handler.count </p>
<p> hbase.regionserver.metahandler.count </p>
文章作者
fatkun
上次更新
2017-07-28
|