Hadoop datanode重新加载失败无法启动现象解决方法介绍

所属分类: 电脑基础 / 电脑常识 阅读数: 69
收藏 0 赞 0 分享

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh  stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre  被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有  hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

更多精彩内容其他人还在看

怎样重装系统声卡驱动解决驱动破坏问题

声卡驱动怎么重新安装?对于很多新手来说是个问题,装了某个软件或驱动后,破坏了声卡本身的驱动程序,通过重装声卡驱动来解决,下面是具体的操作步骤,感兴趣的朋友不要错过
收藏 0 赞 0 分享

Windows的开关机画面用什么方法才可以修改

Windows的开机画面到底怎么修改,针对这个问题有不少同学有问过,下面为大家提供个不错的解决方法,感兴趣的朋友不要错过
收藏 0 赞 0 分享

右键菜单中的打印关联在哪找不到打印选项

在一个文件上按鼠标右键时,找不到有打印这个选项,这种情况很长见,下面为大家介绍个不错的解决方法,有类似情况的朋友可以参考下
收藏 0 赞 0 分享

使用哪个邮件地址作为Microsoft帐户如何选择

这取决于你目前正在使用的电子邮件程序和其他服务,以及哪些信息与你要保留或更改的帐户关联,下面简要的为大家介绍下,感兴趣的朋友不要错过
收藏 0 赞 0 分享

将使用360强力删除功能添加到鼠标右键菜单中

安装了360之后有个“使用360强力删除”和“使用360解除占用”功能非常好用。可以将一些顽固的文件或者文件夹删除,下面就为大家介绍下如何将他们加到鼠标右键菜单中
收藏 0 赞 0 分享

后缀名为.csh是什么文件?

.csh是photoshop中用到的一个形状文件,photoshop里默认情况下有一些形状,但是那些形状远不能满足大家设计的需要,我们还可以从网上下载一些更好看更多的形状,这些形状的扩展名就是.csh,下载下来之后安装到photoshop里,就直接可以使用了
收藏 0 赞 0 分享

微信支付和支付宝哪个好?微信支付和支付宝区别是什么

最近微信推出了微信支付功能,微信坐拥的用户群可以说是手机IM通讯软件中出QQ聊天软件之外最庞大的一个,其推出的微信支付也危及到支付宝的地位,那么微信支付和支付宝哪个好呢
收藏 0 赞 0 分享

如何让电脑安全关机?让电脑使用寿命更长运行速度更快

通常就是随手按一下电源开关键,让电脑立刻关机,其实这样的关机是不安全的,想要你的电脑使用寿命更加长久, 运行速度更加快捷,那么我们就要学会让电脑安全关机
收藏 0 赞 0 分享

系统复制文字粘贴到文本文件里的文字都是乱码

在系统中执行“复制”“粘贴”操作时,粘贴到文本文件里的文字都是乱码,这个问题该怎么解决呢?这是一个很常见的现象,具体的解决方法如下,需要的朋友可以参考下
收藏 0 赞 0 分享

如何解决CMD.exe占用太多系统资源

一开机,就自动加载CMD.exe进程,用户为SYSTEM,CPU资源全被其占用,手动结束进程后,一切正常,感兴趣的朋友可以了解下
收藏 0 赞 0 分享
查看更多