Ex1. 從 local 上傳資料到 hdfs
- 請在 local 端建立資料: /home/hadooper/input
- 請檢查 hdfs 無該資料夾: /user/hadooper/program_put_input
package org.nchc.hadoop;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class PutToHdfs {
// 將檔案從local上傳到 hdfs , src 為 local 的來源, dst 為 hdfs 的目的端
static boolean putToHdfs(String src, String dst, Configuration conf) {
Path dstPath = new Path(dst);
try {
// 產生操作hdfs的物件
FileSystem hdfs = dstPath.getFileSystem(conf);
// 上傳
hdfs.copyFromLocalFile(false, new Path(src),new Path(dst));
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
static public void main(String args[]){
Configuration conf = new Configuration();
String src = "/home/hadooper/input";
String dst = "/user/hadooper/program_put_input";
boolean status = putToHdfs(src, dst, conf);
System.err.println("create? :" + status);
}
}
- 執行後請檢查 hdfs 是否有該資料夾: /user/hadooper/program_put_input
Ex2. 從 hdfs 下載資料到 local
- 接續 Ex1. 開始作,並檢查 hdfs上有該資料夾: /user/hadooper/program_put_input
- 請檢查 local 無此資料夾: /home/hadooper/program_get_input
package org.nchc.hadoop;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class GetFromHdfs {
// 將檔案從hdfs下載回local, src 為 hdfs的來源, dst 為 local 的目的端
static boolean getFromHdfs(String src,String dst, Configuration conf) {
Path dstPath = new Path(src);
try {
// 產生操作hdfs的物件
FileSystem hdfs = dstPath.getFileSystem(conf);
// 下載
hdfs.copyToLocalFile(false, new Path(src),new Path(dst));
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
static public void main(String args[]){
Configuration conf = new Configuration();
String src = "/user/hadooper/program_put_input";
String dst = "/home/hadooper/program_get_input";
boolean status = getFromHdfs(src, dst, conf);
System.err.println("create? :" + status);
}
}
- 檢查 是否有此資料夾: /home/hadooper/program_get_input
Ex3. 檢查 hdfs 上的資料,有則刪除之
- 接續 Ex2. 開始作,並檢查 hdfs 有此資料夾: /user/hadooper/program_put_input
package org.nchc.hadoop;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CheckAndDelete {
// checkAndDelete函式,檢查是否存在該資料夾,若有則刪除之
static boolean checkAndDelete(final String path, Configuration conf) {
Path dst_path = new Path(path);
try {
// 產生操作hdfs的物件
FileSystem hdfs = dst_path.getFileSystem(conf);
// 檢查是否存在
if (hdfs.exists(dst_path)) {
// 有則刪除
hdfs.delete(dst_path, true);
return true;
}else{
return false;
}
} catch (IOException e) {
e.printStackTrace();
return false;
}
}
static public void main(String args[]){
Configuration conf = new Configuration();
String path = "/user/hadooper/program_put_input";
boolean status = checkAndDelete( path, conf);
System.err.println("delete? :" + status);
}
}
- 請檢查 hdfs 無該資料夾: /user/hadooper/program_put_input