たごもりすメモ

コードとかその他の話とか。

2011-09-01から1ヶ月間の記事一覧

Hive Client Webアプリケーション shib をつくった

(2013/04/02追記 see: http://d.hatena.ne.jp/tagomoris/20130402/1364898063 )まだ完成度がいまいちだからなーと思ってエントリ書いてなかったんだけどLTでしゃべっちゃったので、ちゃんと書いておく。Hiveにクエリを発行して結果を確認するためのWebアプリ…

Hadoop Conference Japan 2011 Fall に行ってきた&しゃべってきた

なんかすごいイベントだった。User Group主催のイベントなのに2ホールを1日貸し切り(というか施設まるごと貸切)でキャパシティ1400人のイベントとかどういうこと。しかも無料参加なのにランチボックスとか飲み物とか出てた。意味がわからん。カネのあるとこ…

npmモジュールを手元で修正するための読み込み順序メモ

npmで配られてるライブラリとかどうせ発展途上でばぐばぐだからガンガン直すんですけど git clone とかしてきたやつを以下のようにしようとしても、思ったように require されてくれない。 cd HOGE NODE_PATH=lib node var hoge = require('hoge'); 以前 npm…

Hoop (HDFS over HTTP) を試してみた

バッチ処理にかける対象ファイルの抽出には中身を見る必要があって、headやtailでいいんだけどhadoop fsコマンドではそういうオペレーションができない*1ので FUSE hdfs でLinuxにHDFSをmountしてやっている。 が、これがまたビルドするのにひと苦労だったり…

Hadoopとscribedの組合せ・2011年夏

Hadoopクラスタを組み直す機会がやってくるのでこの際だからHadoopのバージョンを上げるべくあれこれテスト中。で、それにあわせて scribed のビルドもやったのでせっかくだから記録を残しておく。なお以前(2011年当初)の状況については以下のエントリを参照…

#isucon を支えた技術: ベンチマークmaster/agentの構造とnode.jsの話

支えた技術ってほど大層なものでもないんだけど、なんとなくカッコいいのでシリーズ名にしてみようと思った。で、表題の件。 #isucon のベンチマークツールは1台のmasterと複数台のagentという構造になっていて、agentはベンチマークツールの負荷を複数台の…