Hadoop
2014年11月11日(火)~13日(木) に db tech showcase Tokyo 2014 が開催されます! 日頃、あまり勉強できていないので、この三日間でしっかり勉強したいと思います。( しかし、この期間中に出張、打ち合わせが入ってきて、すでに全日程に参加できるかどうか..…
今更感があるのですが、HDInsight 関連でまだ新しい動きがないので、Azure の HDInsight を少し試してみます。現在は Preview 版のため、Windows Azure ポータル上からは使用することができません。使用するには、ここから Preview 版 の申し込みを行う必要…
Windows IT Pro でビックデータに関する記事を見つけました。HDInsight に関する記事があったので少し読んでみました。前半部分は、ビックデータの定義とかなぜビックデータという考えが注目されるようになったかとか、可能になったかなどの記事なのでちょっ…
最近、体調があまりよくなくブログをサボりがちでした。ゴールデンウィークに入ってからは、子供からウィルス性腸炎をうつされてしまい体調が最悪です。だいぶよくなってきたので、気分転換にHDInsightネタを書きたいと思います。 HDFS上に展開されたMapRedu…
MapReduceした結果は、HDFSに格納されます。取り出すのは非常に簡単です。ソースコードは下記の通りです。 using Microsoft.Hadoop.MapReduce;using System; namespace test{ class Program { static void Main(string[] args) { //Hadoopに接続する。 var h…
Microsoft.Hadoop.MapReduce.StreamingUnitクラスのおかげて、Hadoopサービスを使用しなくても、MapReduceの一連の処理がテストができます。今回は、テストデータをHDFS上に展開して、そのテストデータに対して、MapとReduce処理を行うアセンブリを作成し処…
前回記事の続きです。(内容を少し書き直しました。) まずHadoopのお勉強から。HadoopはMap(割り当て)、Shuffle(並び替え)、Reduce(足し合わせる)ことだと思っています。 例えば、下記のようなログファイルがあるとします。(こんな簡単なアプリケーションログ…
HDInsight関連の開発を行うためにいくつかの.NETのモジュールをインストールする必要があります。Nuget Packageを取得する必要があります。 手順は下記の通りです。(Visual Studio 2012で行なっています。) 『ツール』→『ライブラリパッケージマネージャ』→…
HadoopってLinuxでしか動作しないと思ってました。(WindowsにCygwinインストールすることで、Windowsで動作させることはできましたが。)HDInsightはMicrosoftのWindows用Hadoopみたいです。(元々、Hortonworksという会社が開発したもの。)現在、Developer Pr…