HDInsightのHDFSからデータ取得

MapReduceした結果は、HDFSに格納されます。取り出すのは非常に簡単です。ソースコードは下記の通りです。

using Microsoft.Hadoop.MapReduce;
using System;

namespace test
{
    class Program
    {
        static void Main(string[] args)
        {
            //Hadoopに接続する。
            var hadoop = Hadoop.Connect();
            //ファイルを取得する。
            var files = hadoop.StorageSystem.LsFiles(@"/user/koo/output/LogFiles");
            //MapReduceした結果ファイルを取得する。
            var filepath = files[1];
            //ファイルからデータを取得する。
            var lines = hadoop.StorageSystem.ReadAllLines(filepath);
            //あとは、取得した結果からHive、SQL Server等にデータを書き込む。
        }
    }
}

ちょっと手抜きな感じですが、上記のコードでHDFSからデータを取り出すことが可能です。