都内で働くSEの技術的なひとりごと

都内でサラリーマンやってます。マイクロソフト系(たまに、OSS系などマイクロソフト以外の技術も...)の技術的なことについて書いています。日々の仕事の中で、気になったことを技術要素関係なく気まぐれに選んでいるので記事内容は開発言語、インフラ等ばらばらです。なお、当ブログで発信、発言は私個人のものであり、所属する組織、企業、団体等とは何のかかわりもございません。ブログの内容もきちんと検証して使用してください。よろしくお願いします♪

Hadoop

db tech showcase Tokyo 2014 がもうすぐ開催されるので、参加するセッションをリストアップしてみた

2014年11月11日(火)~13日(木) に db tech showcase Tokyo 2014 が開催されます! 日頃、あまり勉強できていないので、この三日間でしっかり勉強したいと思います。( しかし、この期間中に出張、打ち合わせが入ってきて、すでに全日程に参加できるかどうか..…

Azure HDInsight Preview を試してみる

今更感があるのですが、HDInsight 関連でまだ新しい動きがないので、Azure の HDInsight を少し試してみます。現在は Preview 版のため、Windows Azure ポータル上からは使用することができません。使用するには、ここから Preview 版 の申し込みを行う必要…

The Big Deal about Big Data from Windows IT Pro

Windows IT Pro でビックデータに関する記事を見つけました。HDInsight に関する記事があったので少し読んでみました。前半部分は、ビックデータの定義とかなぜビックデータという考えが注目されるようになったかとか、可能になったかなどの記事なのでちょっ…

HDInsight と SQL Server 2012の連携

最近、体調があまりよくなくブログをサボりがちでした。ゴールデンウィークに入ってからは、子供からウィルス性腸炎をうつされてしまい体調が最悪です。だいぶよくなってきたので、気分転換にHDInsightネタを書きたいと思います。 HDFS上に展開されたMapRedu…

HDInsightのHDFSからデータ取得

MapReduceした結果は、HDFSに格納されます。取り出すのは非常に簡単です。ソースコードは下記の通りです。 using Microsoft.Hadoop.MapReduce;using System; namespace test{ class Program { static void Main(string[] args) { //Hadoopに接続する。 var h…

HDInsightでMapReduce処理を実行する

Microsoft.Hadoop.MapReduce.StreamingUnitクラスのおかげて、Hadoopサービスを使用しなくても、MapReduceの一連の処理がテストができます。今回は、テストデータをHDFS上に展開して、そのテストデータに対して、MapとReduce処理を行うアセンブリを作成し処…

MapReduce処理の概要とその実装手順

前回記事の続きです。(内容を少し書き直しました。) まずHadoopのお勉強から。HadoopはMap(割り当て)、Shuffle(並び替え)、Reduce(足し合わせる)ことだと思っています。 例えば、下記のようなログファイルがあるとします。(こんな簡単なアプリケーションログ…

HDInsight上でのMapReduce開発の準備

HDInsight関連の開発を行うためにいくつかの.NETのモジュールをインストールする必要があります。Nuget Packageを取得する必要があります。 手順は下記の通りです。(Visual Studio 2012で行なっています。) 『ツール』→『ライブラリパッケージマネージャ』→…

HDInsightのインストール

HadoopってLinuxでしか動作しないと思ってました。(WindowsにCygwinインストールすることで、Windowsで動作させることはできましたが。)HDInsightはMicrosoftのWindows用Hadoopみたいです。(元々、Hortonworksという会社が開発したもの。)現在、Developer Pr…