hadoop停止不了dfs,hadoop fs

hadoop停止不了dfs,hadoop fs

˙△˙ Hadoop启动后的PID文件默认配置是保存在/tmp目录下的，而linux下/tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：no datanod然后用stop-dfs.sh和stop-all.sh命令也是一样的。hadoop@hadoop102 ~]$ stop-dfs.sh Stopping namenodes on [hadoop102] hadoop102: no namenode to stop ha

原因：HADOOP_PID_DIR 默认为/tmp 目录，如果长期不访问/tmp/目录下的文件，文件会被自动清理，因此stop-dfs.sh 无法根据pid 停止namenode, datanode。解决办执行stop-dfs.sh后，会依次执行hadoop-daemons.sh > hadoop-daemon.sh脚本，然后定位到“no $command to stop”发现脚本会在$HADOOP_PID_DIR目录里面查找hadoop

执行stop-dfs.sh后，会依次执行hadoop-daemons.sh>hadoop-daemon.sh脚本，然后定位到“no$command to stop”发现脚本会在$HADOOP_PID_DIR目录里面查找hadoop-$H1、查找问题输出显示找不到namenode、datanode等进程，但是jps查看所有进程都正常运行着。原因能存在执行的hadoop/sbin的sh脚本里。百度没有查到合适的解决办法。于是反查stop-all

那这个pid文件是啥？根据查阅资料，方知Hadoop启动后，会把进程的PID号存储在一个文件中，这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。现在问题原因很明确了，就是/tmp目录下执行./bin/stop-all.sh 脚本一直提示没有可停止的namenode、datanode、secondarynode。可是输入jps 命令，发现hadoop 已经启动。root@xxxxxx src]# bash hadoo

ˇ＾ˇ 原因：HADOOP_PID_DIR 默认为/tmp 目录，如果长期不访问/tmp/目录下的文件，文件会被自动清理，因此stop-dfs.sh 无法根据pid 停止namenode, datanode。解决办用另外的用户身份执行stop-dfs.sh 等命令解决方法：永久解决方法：修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，将export HADOOP_PID_DIR=${HADOOP_PID_D