HDInsight
そういえば、長いこと HDInsight に関して触れていませんでした。( だっていまいちパッとしないんだもんなぁ..... ) 新しいバージョンが出ているのかなと思い、WebPI を立ち上げて、HDInsight を探してみました。あれ、Microsoft HDInsight Emulator for Win…
Windows Azure HDInsight の正式リリースが 10/28 にアナウンスされました。Preview の期間が長かったですね。待ちに待ったリリースです。Windows Server の HDInsight Service はいつリリースされるんでしょうか? 少し試してみましょう。簡易作成から、ク…
SQL Server 2014 CTP2 のリリース日に関する記事が ここ にありました。 また、「SQL Server 2014」の第2プレビュー版も同年10月14日の週に公開する。新バージョンではインメモリ技術を提供し、処理性能が10~30倍向上するとしている。Windows Azureにも対応…
HDInsight さん、中々正式リリースされないです。はやくリリースされないですかね。HDInsight ネタ 色々書きたいんですけどね。少し前にセミナーで最新情報を聞いたんですが、特に目新しいものはなかったです。HDInsight が使用できるリージョンが増えたとか…
今更感があるのですが、HDInsight 関連でまだ新しい動きがないので、Azure の HDInsight を少し試してみます。現在は Preview 版のため、Windows Azure ポータル上からは使用することができません。使用するには、ここから Preview 版 の申し込みを行う必要…
Windows IT Pro でビックデータに関する記事を見つけました。HDInsight に関する記事があったので少し読んでみました。前半部分は、ビックデータの定義とかなぜビックデータという考えが注目されるようになったかとか、可能になったかなどの記事なのでちょっ…
MapReduceした結果は、HDFSに格納されます。取り出すのは非常に簡単です。ソースコードは下記の通りです。 using Microsoft.Hadoop.MapReduce;using System; namespace test{ class Program { static void Main(string[] args) { //Hadoopに接続する。 var h…
Microsoft.Hadoop.MapReduce.StreamingUnitクラスのおかげて、Hadoopサービスを使用しなくても、MapReduceの一連の処理がテストができます。今回は、テストデータをHDFS上に展開して、そのテストデータに対して、MapとReduce処理を行うアセンブリを作成し処…
前回記事の続きです。(内容を少し書き直しました。) まずHadoopのお勉強から。HadoopはMap(割り当て)、Shuffle(並び替え)、Reduce(足し合わせる)ことだと思っています。 例えば、下記のようなログファイルがあるとします。(こんな簡単なアプリケーションログ…
HDInsight関連の開発を行うためにいくつかの.NETのモジュールをインストールする必要があります。Nuget Packageを取得する必要があります。 手順は下記の通りです。(Visual Studio 2012で行なっています。) 『ツール』→『ライブラリパッケージマネージャ』→…
HadoopってLinuxでしか動作しないと思ってました。(WindowsにCygwinインストールすることで、Windowsで動作させることはできましたが。)HDInsightはMicrosoftのWindows用Hadoopみたいです。(元々、Hortonworksという会社が開発したもの。)現在、Developer Pr…