Hadoop datanode重新加载失败无法启动现象解决方法介绍

所属分类: 电脑基础 / 电脑常识 阅读数: 93
收藏 0 赞 0 分享

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh  stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre  被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有  hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

更多精彩内容其他人还在看

天猫魔盒1s怎么样? 天猫魔盒1s配置评测教程

天猫魔盒1s怎么样?好不好?今天小编就为大家介绍天猫魔盒1s配置评测教程,感兴趣的朋友可以看一下
收藏 0 赞 0 分享

新浪微博如何设置开启或取消智能排序功能

有时候我们并不需要智能排序功能,那么新浪微博的智能排序可以取消吗?本文就告诉大家新浪微博如何设置或取消智能排序,一起看看吧
收藏 0 赞 0 分享

C盘Windows下的winsxs是什么文件可以删除吗

很多粉丝说C:\Windows\winsxs文件夹下有很多的系统文件,占用空间达5G之多,那那么winsxs这个文件可以删除吗?下面为大家详细介绍下,希望对大家有所帮助
收藏 0 赞 0 分享

T码是什么意思 天猫T码怎么抢

T码是天猫电器商城发放的商品优先购买资格码,用户获得T码后,对制定商品有优先购买权,比如之前中天天机与目前的天猫魔盒1S抢先在天猫电器商城开启预约抢购,如果你获得T码,将具备提前优先购买的权利,无需抢购
收藏 0 赞 0 分享

将网络歌曲下载到手机或u盘、内存卡、MP3的多种方法

音乐已成了不少人生活中不可缺少的一部分。不少播放的歌曲都是下载下来的,那怎样下载歌曲相信有很多朋友都不清楚吧,下面与大家分享下几种下载歌曲的方法
收藏 0 赞 0 分享

联想笔记本哪个系列比较好

这篇文章主要介绍了联想笔记本哪个系列比较好以及各系列的定位、路线介绍,需要的朋友可以参考下
收藏 0 赞 0 分享

SSD硬盘玩游戏的优势大不大?

固态硬盘和机械硬盘在性能上是天壤之别的,固态硬盘可以给我们带来快速的开机时间和系统响应,使用SSD玩游戏也会给我们带来一定的好处
收藏 0 赞 0 分享

怎么查宽带上网时间?比如宽带几点上网上了多少时间

想知道自己办的宽带上了多长时间,比如家庭宽带今天几点上网,上了多少时间,几点下线等这些能查到吗?下面有个不错的方法,大家可以参考下
收藏 0 赞 0 分享

ps是什么意思(常用注解或photoshop)

经常在文章中看到ps,不懂具体是什么意思,大约就是补充或注释的意思,查看了下,原来是外国进来的词
收藏 0 赞 0 分享

添益宝4g流量怎么领取 添益宝开通送4g流量活动规则详情介绍

想知道添益宝4g流量怎么领取吗?下文将告诉大家添益宝开通送4g流量活动规则,如果你最近想投资一笔互联网理财基金的话,不妨考虑一下电信翼支付添益宝哦
收藏 0 赞 0 分享
查看更多