hadoop笔记3--hdfs操作

这篇文章先记录一下在java代码中对hdfs的基本操作。

打开eclipse，新建一个Map/Reduce工程。后台运行起hadoop。可以看到我的目录结构如下：

eclipse中的目录

我新建了一个HdfsTest.java的类，我们就在这个类里面来实现对hdfs的基本操作。

1.hdfs上创建新文件

首先来看看利用hadoop的API如何创建新文件，主要代码如下：

public static void createFile(String dst,byte[] contents) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);
  Path dstPath = new Path(dst);

  // 打开一个输出流
  FSDataOutputStream outputStream = fs.create(dstPath);
  outputStream.write(contents); 
  outputStream.close();
  
  fs.close();
  System.out.println("创建文件成功");
}

来看看那些对应的类是什么意思？（仅仅是简单描述，具体的可看官网API）

Configuration:配置类，生成配置对象。
FileSystem:文件系统的抽象类。
Path:看名字也就看得出来代表的是路径。
FSDataOutputStream:hadoop提供的输出流。

这里用到的主要的就是上面几个类，其实整个过程就是获取到hdfs上的路径，然后通过输出流的方式将数据给写入到hdfs中。除了类略有不同外，和java操作IO流时基本一样。

2.上传文件到hdfs

接下来是上传文件，同样先看看代码：

public static void uploadFile(String src,String dis) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  //原路径
  Path srcPath = new Path(src);

  //目标路径
  Path disPath = new Path(dis);

  fs.copyFromLocalFile(srcPath,disPath);
  fs.copyFromLocalFile(true,srcPath,disPath);
  
  //打印文件路径
  System.out.println("上传的路径"+conf.get(fs.defaultFS));
  
  //获取目录信息
  FileStatus[] fileStatus = fs.listStatus(disPath);
  
  for(FileStatus file:fileStatus){
    System.out.println(file.getPath());
  }
}

这代码和创建新文件的代码看上去差不多，其实也差不多。还是那么几个类，甚至还少了输出流，利用FileSystem对象的方法就能实现上传文件到hdfs。多出来的类如下：

FileStatus:该对象封装了文件系统中文件和目录的元数据，包括文件的长度、块大小、备份数、修改时间、所有者以及权限等信息。

3.hdfs上文件的删除

文件的删除操作如下：

public static void deleteFile(String filepath) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  Path  path = new Path(filepath);
  
  //当文件系统关闭时才真正删除此文件。
  //boolean isok = fs.deleteOnExit(path);
  //删除文件或目录,后面的boolean值是true，如果path是目录，则会递归删除下面的所有文件；如果path是文件，则false或true无所谓
  boolean isok = fs.delete(path,true);


  if(isok){
    System.out.println("文件删除成功");
  }else{
    System.out.println("文件删除失败");
  }

  fs.close();
}

4.hdfs上目录的创建

代码如下：

public static void mkdir(String path) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  Path = path = new Path(path);

  boolean isok = fs.mkdirs(path);

  if(isok){
    System.out.println("创建文件夹成功");
  }else{
    System.out.println("创建文件夹失败");
  }

  fs.close();
}

5.hdfs文件的读取