HDFS 源码调试

hadoop源代码：https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2-src.tar.gz
hadoop部署文件：https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz

这里代码和部署文件要匹配，都以3.2.2为例。

编译 hadoop 代码

TODO

部署

然后按照 HDFS 单节点环境搭建 部署。

使用 idea 远程调试

修改 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 配置文件，在最后面加上：

export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"

上面是我只想调试 namenode 代码，如果我想调试其他的，那么可以：

export HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"

export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

export YARN_NODEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

修改之后，正常使用 ${HADOOP_HOME}/etc/sbin/start-dfs.sh 启动服务。
然后，使用 将与服务器一致版本的的代码导入到idea中, 导入完成,，不编译，不管报错信息，只要导入到idea , 等idea自己构建完就可以了。

配置远程连接：

image.png image.png image.png

---

参考资料
1、https://blog.csdn.net/S1124654/article/details/125522613
2、https://www.w3cschool.cn/article/96367176.html