在eclipse远程调试mapreduce(hadoop2)

背景

线上的服务器都是linux,直接在线上debug不需要准备太多测试数据。

实现

远程调试实际上实在服务端开启一个监听端口,通过eclipse连接进行debug。调试mapreduce程序需要修改配置,让mapreduce就在本机运行。从hadoop拷贝一份配置出来,修改mapper-site.xml配置(基于hadoop2配置说明)

<property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>/tmp</value>
  </property>
   <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>local</value>
  </property>
<property>
<name>mapred.job.tracker</name>
<value>local</value>
</property>

注意检查这些标签是不是都有了。。可以放到最后覆盖原来的值

在hadoop-env.sh加上,这里的address=52902是监听的端口,suspend=y表示等待我们连接才继续执行下去

export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=52902"

执行hadoop程序,指定配置文件目录为我们改过的配置目录

hadoop --config ./conf jar xx.jar xxx

最后,在eclipse的debug configuration新增一个remote java application,填入IP和端口,点击debug即可。

调试NodeManager

在yarn-env.sh加入

YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8092"

调试ResouceManager

在yarn-env.sh加入

export YARN_RESOURCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8091"

调试appMaster

设置只有一台nodemanager,在mapred-site.xml 加入

  <property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <value> -Xmx512m -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8314</value>
  </property>

如果不可以,试多几次。。不知道为什么。检查一下进程有没有启动。 ps aux|grep MRAppMaster

不足

不能调试一个jar包有两个job,执行到第二个job时会报错,可能原因是HADOOP_CLIENT_OPTS被加载了两次,并且第二个job启动时需要更换端口,否则会冲突。
不是很清楚hadoop LocalJobRunner是怎样调用的,并且暂时没调试第二个job就不深究了。

远程调试hive

执行命令,会启动监听端口8000

hive --debug

如果报错,ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.。打开${Hadoop_HOME}/bin/hadoop,注释掉HADOOP_OPTS=”$HADOOP_OPTS $HADOOP_CLIENT_OPTS”

在hive输入以下命令,在单机执行

SET mapred.job.tracker=local;
SET hive.exec.mode.local.auto=true;
SET fs.defaultFS=file:///;

 

打印日志

hive --hiveconf hive.root.logger=DEBUG,console

via: http://fatkun.com/2012/10/debug-hive-mapreduce-with-eclipse.html

参考

hadoop2.2.0 源码远程调试 这里有图
http://www.aboutyun.com/thread-6504-1-1.html




fatkun

2条评论

AppMaster无法远程调试了,但是需要Eclipse连接后才能往下执行!修改了配置!我开始断点设置在ApplicationMaster上不进入断点,但是我把断点设置在了MRAppMaster上应该要进入断点内啊。请问你遇到过没,需要Eclipse连接,但是不进入断点

发表评论

电子邮件地址不会被公开。