Hadoop datanode重新加载失败无法启动现象解决方法介绍

所属分类: 电脑基础 / 电脑常识 阅读数: 47
收藏 0 赞 0 分享

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh  stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre  被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有  hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

更多精彩内容其他人还在看

马币怎么挖矿? 马币怎么获得? 马币虚拟币挖矿教程

马币怎么挖矿?马币虚拟币如何挖矿?马币是在2014年1月开发,马币是一款虚拟货币。可能有很多网友还不了解马币虚拟货币怎么挖矿?下面看下马币挖矿教程吧
收藏 0 赞 0 分享

解决打印照片出错储空间不足无法处理此命令问题

正如标题所示的打印照片出错储空间不足无法处理此命令,这类问题一般可以先重启电脑在看究竟,如果打印机添加比较方便,可以尝试重装打印机,有情况的朋友可以参考下
收藏 0 赞 0 分享

c盘中可以删除的文件有哪些

c盘中可以删除的文件?想必这是很多朋友都爱讨论的一个话题,本文罗列了一些可以删除的文件,感兴趣的朋友可以了解下
收藏 0 赞 0 分享

音速启动怎么卸载 删除音速启动方法介绍

音速启动是一款比较实用的桌面快捷方式管理软件,能够方便地管理文件、程序和网址、快捷方式。使用音速启动直接下载音速启动的压缩包进行解压就可以直接使用。那么如何卸载音速启动软件呢?我们一起来看看吧
收藏 0 赞 0 分享

如何快速解决计算机没有音频设备的问题

电脑出现没有声音问题,如开启电脑时无音,任务栏里的小喇叭不见了,往往使菜鸟们一筹莫展,不知如何是好
收藏 0 赞 0 分享

使用组策略来禁止程序运行的方法

禁止程序运行的方法有很多,下面为大家介绍下使用组策略来解决这个问题,不了解的朋友可以参考下
收藏 0 赞 0 分享

电脑开机为什么经常蓝屏该如何解决

电脑开机蓝屏的情况很是常见,那么到底是什么情况该如何解决呢?下面为大家详细介绍下
收藏 0 赞 0 分享

哪些原因会引起电脑蓝屏?该如何解决

引起电脑蓝屏的原因有很多,下面为大家整理了一些常见的造成引起电脑蓝屏的原因,希望对大家有所帮助
收藏 0 赞 0 分享

Winpe下让你的移动硬盘出现的五种方法

在Winpe下移动硬盘不会出现,其实PE已经认出了移动硬盘,只是没有给它分配盘符而已,看到这里想必大家已知道该如何解决了吧
收藏 0 赞 0 分享

ADSL账号密码在哪如何对其进行备份

读取ADSL账号和密码的软件Dialupass想必大家并不陌生吧,不是让大家去盗号的,是给大家这么一点有帮助的技术信息以备不时之需
收藏 0 赞 0 分享
查看更多