Hadoop datanode重新加载失败无法启动现象解决方法介绍

所属分类: 电脑基础 / 电脑常识 阅读数: 61
收藏 0 赞 0 分享

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh  stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre  被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有  hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

更多精彩内容其他人还在看

电脑中毒后怎么办 用记事本杀毒的方法

电脑中毒后,上网下载专杀工具后,仍然不能杀掉。如此翻来覆去,病毒未杀掉,人却濒临崩溃,下面为大家介绍下使用记事本杀毒的方法,感兴趣的朋友不要错过
收藏 0 赞 0 分享

台式机不能设置某些分辨率的原因及解决方法

想必很多朋友都有遇到台式机不能设置分辨率的情况吧,这里所指的是某些分辨率,下面为大家介绍个不错的处理思路,希望对大家有所帮助
收藏 0 赞 0 分享

京东商城怎么退货 京东申请退换货流程图文教程详解

网购已经成为了一种消费者普通接受了的一种购物方式,网购已经变得流行。尽管网购比价、购买方便,不过在产品出现问题,需要退货或者换货方面则显得要麻烦一些,在京东商城购物,需要退货时,首先需要提交退货申请,申请单由售后专业人员审核,期间您可能会接到售后客服
收藏 0 赞 0 分享

2013年热门网络热词土豪还有他们的特点,太奇葩(图)

2013最火的网路词汇就是土豪啦!土豪我们交朋友吧成为大家开玩笑时最常说的话!
收藏 0 赞 0 分享

怎么设置电脑不待机(长时间不使用会出现这种情况)

长时间不用电脑的话就会自动进入待机状态,那么我们怎么让电脑不自动进入待机呢,下面有个不错的教程,感兴趣的朋友可以参考下
收藏 0 赞 0 分享

电脑不小心被锁了怎么办如何解除开机密码

人们设置密码的习惯有增无减,但是,密码一多就容易混淆或忘记,一旦忘记电脑就会被锁住。下面,我们就来看看如何解除开机密码,主要针对非Administrator用户以及Administrator用户
收藏 0 赞 0 分享

电脑怎么设置自动开机让电脑定时自动开机

很多新手朋友都不知道电脑怎么设置定时自动开机,主板上有实时时钟(Real Time Clock,RTC)负责系统的计时,我们可以通过RTC指定开机的时间,具体的操作步骤如下,感兴趣的朋友可以参考下
收藏 0 赞 0 分享

怎么设置电脑待机状态实现低耗节能

电脑处于待机状态可以节能,实现低功耗,同时也能实现快速启动并进入系统功能,下面为大家介绍下待机状态具体的设置方法,感兴趣的朋友不要错过
收藏 0 赞 0 分享

如何快速抢票 2014年春运抢票攻略

春运抢票马上就要开始了,现在已经有好多朋友下载好了抢票软件,等待抢票,说到抢票除了一些抢票软件之外,还是需要一些小心机的。别盲目的依靠那些抢票软件,重要的是心细手快,本文为大家介绍一些抢票时所要注意的一些小细节,让抢票的几率更大一些,一起来看看吧
收藏 0 赞 0 分享

怎么为电脑设置待机密码为电脑用户加密码教程

所谓的待机密码就是,在待机状态即无人操作下会自动锁屏,如果想要进入系统就必须输入密码,在添加待机密码之前,我们需要给电脑用户加个密码,具体的操作步骤如下,感兴趣的额朋友可以参考下
收藏 0 赞 0 分享
查看更多