HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出し…

入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。fluent/fluentd · GitHubので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以…

(2012/02/21追記: bundle gem して作成する手順をこっちに書いた http://d.hatena.ne.jp/tagomoris/20120221/1329815126 )fluentdがいい感じでパフォーマンスにも問題ない状況になってきたように見えるので、よっしゃいっちょプラグインでも書くか！ と思っ…

参加者全員が何かしらしゃべるという大変にハードコアな勉強会「Webサーバ勉強会」*1に行ってきた＆しゃべってきた。今回のお題は nginx で、あちこちで名前は聞くけどそこまでみんな使ったことがあるわけでもないという微妙な普及具合にうまく目をつけてる…

さくっとメモっておく。昨夜調べてた限りだとWeb上でぜんぜんうまいこと情報が見付けられなかったので。mod_proxy でリバースプロキシを構成するんだけど認証だけは面倒だからApache上で mod_authnz_ldap でやりたい！ ということはある。よくある。あるよね…

誰も取らないとは思うけどサブドメイン確保とかあれこれ考えてゲット。招待していただいた id:sfujiwara さんありがとうございます！で、ちょっと今日はコード書くのに忙しいのでこれだけ。

前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試…