java中如何讀取hadoop文件

163次閱讀

共計 882 個字符，預計需要花費 3 分鐘才能閱讀完成。

在 Java 中讀取 Hadoop 文件可以通過 Hadoop 提供的 API 實現。以下是一個簡單的示例代碼，演示如何讀取 Hadoop 文件：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ReadHadoopFile {public static void main(String[] args) {try {Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            Path filePath = new Path("hdfs://<namenode>:<port>/path/to/hadoop/file");

            FSDataInputStream inStream = fs.open(filePath);

            byte[] buffer = new byte[1024];
            int bytesRead = 0;
            while ((bytesRead = inStream.read(buffer)) > 0) {System.out.write(buffer, 0, bytesRead);
            }

            inStream.close();
            fs.close();} catch (Exception e) {e.printStackTrace();
        }
    }
}

在上面的代碼中，首先創建一個 Configuration 對象，并獲取一個 FileSystem 實例。然后指定要讀取的 Hadoop 文件的路徑，使用 open 方法打開文件并獲取到一個 FSDataInputStream 流。然后通過循環從流中讀取數據，并輸出到控制臺。最后關閉流和文件系統對象。

需要注意的是，在實際使用中需要替換 "hdfs://:/path/to/hadoop/file" 為實際的 Hadoop 文件路徑。

丸趣 TV 網 – 提供最優質的資源集合！

正文完