Hadoop datanode重新加载失败无法启动现象解决方法介绍

所属分类: 电脑基础 / 电脑常识 阅读数: 115
收藏 0 赞 0 分享

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh  stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre  被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有  hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

更多精彩内容其他人还在看

电脑用户账户头像在哪里更改?怎么更改?

电脑大家都常用,有一个功能就是电脑的用户账户头像,那时你的名片或是开机启动时候最先出现的,系统默认头像都是自带的,那么电脑用户账户头像在哪里更改?怎么更改?下面小编就为大家详细介绍一下,一起来看看吧
收藏 0 赞 0 分享

电脑开机时弹出:无法打开C:\\boot.ini文件.无法更改操作系统的解决方法

这篇教程是向脚本之家的朋友介绍电脑开机时弹出:无法打开C:\\boot.ini文件.无法更改操作系统的解决方法,遇到同样问题却不知道怎么解决的朋友可以参考本文,希望能对大家有所帮助
收藏 0 赞 0 分享

全新HTTP网页出现错误代码451是怎么来的?

全新HTTP网页出现错误代码451是怎么来的?当你看到错误代码451就表明,这个页面由于法律原因而不可用,而之前由于法律禁止访问的页面错误代码是403,两者有什么区别呢?请看下文详细介绍
收藏 0 赞 0 分享

删除文件提示:文件夹访问被拒绝 需要来自administrator权限执行操作

我们在使用电脑过程中会对一些垃圾文件进行清理与优化,这样可以缓解系统垃圾的堆积,有效的提高系统性能,可是很多用户在删除文件提示:文件夹访问被拒绝 需要来自administrator权限执行操作,怎么办呢?下面小编就为大家介绍解决方法,来看看吧
收藏 0 赞 0 分享

阻止删除共享文件不能删除、如何防止文件被删除、如何禁止删除文件的方法

这篇文章主要介绍了阻止删除共享文件不能删除、如何防止文件被删除、如何禁止删除文件的方法,需要的朋友可以参考下
收藏 0 赞 0 分享

电脑通过设置路由器限制访问指定网站的方法

这篇文章主要介绍了电脑通过设置路由器限制访问指定网站的方法,一些特殊情况需要禁止访问一些特定网站,如何才能实现限制访问指定网站,本文为大家揭晓
收藏 0 赞 0 分享

台式机如何设置桌面按钮从而迅速切换到电脑桌面?

台式机如何设置桌面按钮从而迅速切换到电脑桌面?很多朋友并不知道怎么操作,其实方法很简单的,下面小编就为大家详细介绍一下,一起来看看吧
收藏 0 赞 0 分享

电脑安装软件时提示:系统管理员设置了系统策略,禁止进行此安装

电脑安装软件时提示:系统管理员设置了系统策略,禁止进行此安装,那么怎么解决呢?下面小编就为大家详细介绍一下,不会的朋友快快来学习吧
收藏 0 赞 0 分享

怎么把合并在同一个包裹内的任务栏里的图标分开?

怎么把合并在同一个包裹内的任务栏里的图标分开?很多朋友都碰到几个图标合并在一起的情况,非常麻烦,但又不知道怎么操作,所以今天小编就为大家详细介绍一下,来看看吧
收藏 0 赞 0 分享

电脑打开软件时提示从服务器返回了一个参照的原因分析及解决方法

下面小编为大家介绍电脑打开软件时提示从服务器返回了一个参照的原因分析及解决方法,对于碰到这类问题不知道怎么解决的朋友可以参考本文,希望能对大家有所帮助
收藏 0 赞 0 分享
查看更多