都内で働くSEの技術的なひとりごと / Technical soliloquy of System Engineer working in Tokyo

都内でサラリーマンやってます。SQL Server を中心とした (2023年からは Azure も。) マイクロソフト系(たまに、OSS系などマイクロソフト以外の技術も...)の技術的なことについて書いています。日々の仕事の中で、気になったことを技術要素関係なく気まぐれに選んでいるので記事内容は開発言語、インフラ等ばらばらです。なお、当ブログで発信、発言は私個人のものであり、所属する組織、企業、団体等とは何のかかわりもございません。ブログの内容もきちんと検証して使用してください。英語の勉強のため、英語の

HDInsight

そういえば、HDInsight のことを完全に忘れてしまっていたので、HDInsight に関することを書いてみる

そういえば、長いこと HDInsight に関して触れていませんでした。( だっていまいちパッとしないんだもんなぁ..... ) 新しいバージョンが出ているのかなと思い、WebPI を立ち上げて、HDInsight を探してみました。あれ、Microsoft HDInsight Emulator for Win…

Windows Azure HDInsight が正式版になりました

Windows Azure HDInsight の正式リリースが 10/28 にアナウンスされました。Preview の期間が長かったですね。待ちに待ったリリースです。Windows Server の HDInsight Service はいつリリースされるんでしょうか? 少し試してみましょう。簡易作成から、ク…

SQL Server 2014 CTP2 がもうすぐリリースされます

SQL Server 2014 CTP2 のリリース日に関する記事が ここ にありました。 また、「SQL Server 2014」の第2プレビュー版も同年10月14日の週に公開する。新バージョンではインメモリ技術を提供し、処理性能が10~30倍向上するとしている。Windows Azureにも対応…

HDInsight はまだまだプレビュー....

HDInsight さん、中々正式リリースされないです。はやくリリースされないですかね。HDInsight ネタ 色々書きたいんですけどね。少し前にセミナーで最新情報を聞いたんですが、特に目新しいものはなかったです。HDInsight が使用できるリージョンが増えたとか…

Azure HDInsight Preview を試してみる

今更感があるのですが、HDInsight 関連でまだ新しい動きがないので、Azure の HDInsight を少し試してみます。現在は Preview 版のため、Windows Azure ポータル上からは使用することができません。使用するには、ここから Preview 版 の申し込みを行う必要…

The Big Deal about Big Data from Windows IT Pro

Windows IT Pro でビックデータに関する記事を見つけました。HDInsight に関する記事があったので少し読んでみました。前半部分は、ビックデータの定義とかなぜビックデータという考えが注目されるようになったかとか、可能になったかなどの記事なのでちょっ…

HDInsightのHDFSからデータ取得

MapReduceした結果は、HDFSに格納されます。取り出すのは非常に簡単です。ソースコードは下記の通りです。 using Microsoft.Hadoop.MapReduce;using System; namespace test{ class Program { static void Main(string[] args) { //Hadoopに接続する。 var h…

HDInsightでMapReduce処理を実行する

Microsoft.Hadoop.MapReduce.StreamingUnitクラスのおかげて、Hadoopサービスを使用しなくても、MapReduceの一連の処理がテストができます。今回は、テストデータをHDFS上に展開して、そのテストデータに対して、MapとReduce処理を行うアセンブリを作成し処…

MapReduce処理の概要とその実装手順

前回記事の続きです。(内容を少し書き直しました。) まずHadoopのお勉強から。HadoopはMap(割り当て)、Shuffle(並び替え)、Reduce(足し合わせる)ことだと思っています。 例えば、下記のようなログファイルがあるとします。(こんな簡単なアプリケーションログ…

HDInsight上でのMapReduce開発の準備

HDInsight関連の開発を行うためにいくつかの.NETのモジュールをインストールする必要があります。Nuget Packageを取得する必要があります。 手順は下記の通りです。(Visual Studio 2012で行なっています。) 『ツール』→『ライブラリパッケージマネージャ』→…

HDInsightのインストール

HadoopってLinuxでしか動作しないと思ってました。(WindowsにCygwinインストールすることで、Windowsで動作させることはできましたが。)HDInsightはMicrosoftのWindows用Hadoopみたいです。(元々、Hortonworksという会社が開発したもの。)現在、Developer Pr…