hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

所属分类: 软件教程 / 编程开发 阅读数: 1256
收藏 0 赞 0 分享

第一步:首先搭建java的编译环境。创建一个Java Project工程,名为upload。

第二步:选中所需的Jar包。
选中JRE System Library 选择BuildPath Configure Build Path 选择hadoop相应的jar包。
通过Add External JARS --〉Hadoop-0.20.2下所有的jar包以及lib下所有的jar包。OK。操作步骤如图:

Hadoop-0.20.2下所有的jar包。

lib下的所有jar包。

第三步:创建class名为UploadFile

第四步:编写代码。


复制代码
代码如下:

package upload;</p> <p>import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;</p> <p>
public class UploadFile {</p> <p> public static void main(String[] args) {
try {
String localStr = args[0];
String dst = args[1];
//in对应的是本地文件系统的目录
InputStream in = new BufferedInputStream(new FileInputStream(localStr));
Configuration conf = new Configuration();
//获得hadoop系统的连接
FileSystem fs = FileSystem.get(URI.create(dst),conf);

//out对应的是Hadoop文件系统中的目录
OutputStream out = fs.create(new Path(dst));
IOUtils.copyBytes(in, out, 4096,true//4096是4k字节
System.out.println("success");
} catch (Exception e) {
System.out.println(e.toString());
}
}
}

第五步:在Run Configuration里面设置两个参数,并执行。

点击 Run Configuration

在Java Application中设置 Project和MainClass

Arguments 加两个参数/home/cui/xxxx hdf://cui:9000/xxx Applay Run

第六步:查看结果。

显示运行成功。

在hadoop文件系统中已经看到了hadoop-0.20.2.tar.gz了。

至此文件通过代码上传成功!

将代码打包成jar文件,并测试。

1. 在Run Configurations里面命名为uploadfile。

2. 右击工程,执行Export,选择Runnable JAR file。点击下一步。

3. 选择刚才的configuration uploadfile,选择导出路径/home/cui。命名为upload.jar

点击下一步,导出成功。

4. 通过java命令执行。

5. 通过浏览器查看。

upload_hdfs.jar 已经存在。

更多精彩内容其他人还在看

Authorware怎么插入擦除图标?

Authorware怎么插入擦除图标?Authorware中制作课件很简单,想要插入擦除图标,该怎么制作呢?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

Authorware课件怎么绘制圆角矩形?

Authorware课件怎么绘制圆角矩形?Authorware制作课件的时候,想要绘制圆角矩形,该怎么绘制呢?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

MySQL Workbench8.0中文汉化安装破解详细教程(附汉化补丁下载)

Mysql workbench8.0中文版是一款Mysql官方推出的数据库设计建模工具,可以用Mysql workbench中文版设计和创建新的数据库图示,建立数据库文档,下面带来的是Mysql workbench8.0官方64位汉化安装步骤,大家参考下
收藏 0 赞 0 分享

vs2013同名变量或函数高亮显示怎么设置?

vs2013同名变量或函数高亮显示怎么设置?vs2013代码可以添加高亮,想要让同名变量或函数高亮显示,该怎么设置呢?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

VS2017怎么激活?Visual Studio 2017中文正式版激活破解详细教程(附key密钥)

visual studio 2017是一款微软的vs系列集成开发环境,启动速度比Visual Studio 2015快3倍,但默认只有30天的试用期,那么vs2017怎么激活呢?下面就整理了vs2017注册激活步骤,大家参考下
收藏 0 赞 0 分享

VisualStudio怎么区分三种项目工程?

VisualStudio怎么区分三种项目工程?VisualStudio经常创建三种项目工程,分别是MFC应用程序、Win32控制台程序、Win32项目,该怎么区分恩?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

VisualStudio怎么判断数据是否DBNull?

VisualStudio怎么判断数据是否DBNull?VS2015中插入的数据想要判断是否DBNull,该怎么判断呢?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

UltraEdit方案和工作区怎么备份?

UltraEdit方案和工作区怎么备份?UltraEdit经常用于编程开发,想要备份方案和工作区,该怎么设置呢?下面我们就来看看详细的教程,需要的朋友可以参考下
收藏 0 赞 0 分享

VS2017怎么新建空项目?

VS2017怎么新建空项目?VS2017中想要创建空项目,该怎么创建呢?下面我们就来看看VS2017创建空项目的教程,很简单,需要的朋友可以参考下
收藏 0 赞 0 分享

VB6.0怎么调出被关闭的工具窗口?

VB6.0怎么调出被关闭的工具窗口?VB6.0中的窗口关闭了,想要重新打开,该怎么打开呢?下面我们就来看看VB6.0打开窗口的教程,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多